¿Qué es la araña de un motor de búsqueda?

Una araña de motor de búsqueda es un programa que rastrea automáticamente el contenido web en Internet. Cada motor de búsqueda tiene su propia araña.

Las arañas de los motores de búsqueda también se denominan rastreadores de motores de búsqueda y robots de motores de búsqueda.

Nombres de araña de los principales motores de búsqueda nacionales:

Baidu: Baidu Spider

Google: Google Robot

Sogou: Sogou Spider p>

Sosospider

Búsqueda 360: 360Spider

Hay un dicho: YodaoBot

Yahoo: Yahoo Slurp

Bing: msnbot

Msn:msnbot

Los anteriores son arañas (rastreadores) de motores de búsqueda comunes. Si no desea que determinadas arañas rastreen su sitio web, puede limitar el rastreo de arañas a través de robots.txt.