¿Qué es la araña de un motor de búsqueda?
Una araña de motor de búsqueda es un programa que rastrea automáticamente el contenido web en Internet. Cada motor de búsqueda tiene su propia araña.
Las arañas de los motores de búsqueda también se denominan rastreadores de motores de búsqueda y robots de motores de búsqueda.
Nombres de araña de los principales motores de búsqueda nacionales:
Baidu: Baidu Spider
Google: Google Robot
Sogou: Sogou Spider p> p>
Sosospider
Búsqueda 360: 360Spider
Hay un dicho: YodaoBot
Yahoo: Yahoo Slurp
Bing: msnbot
Msn:msnbot
Los anteriores son arañas (rastreadores) de motores de búsqueda comunes. Si no desea que determinadas arañas rastreen su sitio web, puede limitar el rastreo de arañas a través de robots.txt.