¿Qué significa el motor de búsqueda "araña"?
Respuesta: uspider ajustará automáticamente la densidad de acceso según la capacidad de carga del servidor. Después de un período de acceso continuo, la araña se detendrá durante un período de tiempo para evitar una mayor presión de acceso al servidor. Por lo general, no ejercerá demasiada presión sobre el servidor de su sitio web.
2. ¿Por qué las arañas siguen rastreando mi sitio web?
Respuesta: Las arañas seguirán rastreando páginas recién generadas o actualizadas continuamente en su sitio web. Además, también puede verificar si el acceso de la araña en el registro de acceso al sitio web es normal para evitar que alguien que se haga pasar por una araña maliciosamente rastree su sitio web con frecuencia.
3. No quiero que mi sitio web sea visitado por arañas. ¿Qué debo hacer?
Respuesta: Las arañas cumplen con el Acuerdo de Robots de Internet. Puede utilizar un archivo robots.txt para desactivar completamente el acceso de las arañas a su sitio, o para impedir que las arañas accedan a ciertos archivos de su sitio.
4. ¿Por qué todavía puedo encontrarlo en Baidu aunque se haya agregado robots.txt a mi sitio web?
Respuesta: Porque lleva tiempo actualizar la base de datos del índice del motor de búsqueda. Aunque las arañas han dejado de acceder a las páginas de su sitio web, pueden pasar de dos a cuatro semanas para borrar la información del índice de las páginas que se han establecido en la base de datos del motor de búsqueda Baidu. Además, verifique que su bot esté configurado correctamente.
5. Quiero que Baidu indexe el contenido de mi sitio web, pero no quiero guardar instantáneas. ¿Qué debo hacer?
Respuesta: Spider cumple con el Acuerdo de Meta-Robot de Internet. Puede configurar el meta de la página web para que Baidu solo indexe la página web y no muestre una instantánea de la página web en los resultados de búsqueda.
Al igual que las actualizaciones de robots, las actualizaciones de la base de datos de índices de motores de búsqueda también toman tiempo, por lo que, aunque prohíbe a Baidu mostrar instantáneas de la página web en los resultados de búsqueda a través de meta en la página web, si ya está en Baidu La web La información del índice de la página se establece en la base de datos del motor de búsqueda y puede tardar de dos a cuatro semanas en surtir efecto en línea.
¿Cuánto tardará el 6.6? ¿Baduspider volvió a rastrear mi página web?
Respuesta: El motor de búsqueda Baidu se actualiza una vez por semana. La tasa de actualización de las páginas web varía según su importancia. Con una frecuencia que va desde unos pocos días hasta un mes, Baiduspider volverá a visitar y actualizará una página web.
Congestión de ancho de banda provocada por 7.7. ¿Baiduspider arrastrándose?
Respuesta: El rastreo normal de Baiduspider no bloqueará el ancho de banda de su sitio web. Puede ser causado por alguien que se hace pasar por una araña de Baidu para rastrear maliciosamente. Si descubre que un proxy llamado Baiduspider se está rastreando y provocando una congestión del ancho de banda, contáctenos lo antes posible. Puede enviar la información al Centro de quejas web de Baidu. Si puede proporcionar el registro de acceso de su sitio web en este momento, será más beneficioso para nuestro análisis.