¿Cómo iniciar sesión en Octopus Climbing Weibo?

Descarga, instalación y registro gratuitos, la versión gratuita es suficiente. Los datos para esta tarea no son grandes y el modo de recopilación local está bien. Proporciona varias plantillas, incluida una de Weibo.

Plantilla de recopilación de datos de Weibo proporcionada en Octopus Collector.

Sin embargo, la parte más problemática de Weibo es la operación de inicio de sesión, ya que hay que introducir un código de verificación de vez en cuando. Además, las estadísticas de las tareas anuales requieren mucho desplazamiento, cambio de página y otras operaciones, por lo que todavía tenemos que utilizar tareas personalizadas. Es inevitable configurar el sitio web de recopilación, el proceso de recopilación y las operaciones de inicio de sesión.

Sitios web de colecciones

Básicamente, no hay ningún problema al configurar la URL de la colección, siempre que los parámetros que deben cambiarse se puedan encontrar en la URL. Cuando hay varias páginas, se recomienda configurar el número de página desde la URL, que es más confiable. Me temo que la página pasará automáticamente. Weibo saltará e iniciará sesión tan pronto como se pase la página, por lo que el reconocimiento automático siempre es exitoso, pero no puede detectar 1 cuando comienzo a recopilar. Tomando mi página de inicio personal de Weibo como ejemplo, revisé las publicaciones del blog en junio de 2019 (/2772779897/profile?is_all = 1 amp; stat _ date = 201906 amp; Page=2#feedtop) y descubrí que la línea de tiempo es por mes. En cuanto a división, habrá más Weibo en junio y habrá cambios de páginas, por lo que es necesario modificar dos parámetros, el mes y el número de páginas.

Captura de pantalla de Weibo personal

En el recopilador de octopus, seleccione la URL generada por lotes, seleccione los parámetros que se reemplazarán en el cuadro de texto y luego haga clic en Agregar parámetro para configurarlo. Los dos parámetros establecidos aquí son que el mes es 01 ~ 12 (el software proporciona una función de llenado de ceros, lo cual es muy reflexivo) y el número de páginas es 1 ~ 4 porque el Weibo a contar este tiempo no excede. 4 páginas por mes, por lo que debe ser optimista de antemano.

Configuración de parámetros para la generación por lotes de URL

Después de generar automáticamente 48 URL, puede guardar la configuración y comenzar la tarea de edición. Luego, el software abrirá el primer sitio web, comenzará a identificar automáticamente el contenido de esta página, generará los resultados de la recopilación de datos y dará consejos de operación. Es básicamente creíble, pero no se puede confiar completamente. Haga clic en Generar configuración de colección para generar automáticamente el marco del proceso de recopilación (después de todo, es más confiable que crearlo usted mismo) y luego ajuste los detalles internos (se ha trabajado en estos detalles durante mucho tiempo).

Resultados del reconocimiento automático

Proceso de adquisición

Genere automáticamente un diagrama de flujo, el marco básico no es un problema.

Marco básico de recopilación de bucles

Empieza a configurar los detalles. No hay mucho que decir sobre la extracción de datos de listas. Simplemente elimine algunos campos innecesarios. Lo principal es abrir la página web en el bucle, hacer clic en el engranaje pequeño para abrir la configuración:

Abra la configuración de la página web en el bucle.

Antes de que se abra la página web, me temo que abriré la siguiente página antes de que esté completamente cargada. Establecí un tiempo de espera de 3 segundos. (Intenté evitar el inicio de sesión configurando una cookie aquí, pero no tuvo ningún efecto y el botón para obtener la cookie para la página actual no respondió, así que me di por vencido. Después de abrir la página web, debes configurar El desplazamiento aquí. Al principio pensé que se haría desplazándome dos veces. Más tarde, descubrí que las configuraciones eran diferentes para diferentes páginas, con un intervalo de 1 segundo. tiempo, porque siempre ocurre el mismo error. Claramente, es necesario cargar una página tres veces y finalmente se obtienen 45 datos. El resultado es que solo se capturan 15 datos y no se produce ningún desplazamiento. se debe a que no he iniciado sesión o la página se abre directamente.

Operación de inicio de sesión

Para garantizar la finalización sin problemas del rastreo de varias páginas, aún debe iniciar sesión. de lo contrario, siempre aparecerá el cuadro de diálogo de inicio de sesión y no recibirá nada. Un inicio de sesión razonable en Weibo se registra con cookies, pero no se puede colocar en la tarea de recopilación del software. Cada vez que se inicia, se requiere una nueva interfaz para iniciar sesión. en. En un abrir y cerrar de ojos, no sabe quién es y no puede recordar la configuración en la plantilla. Agregue una operación de inicio de sesión antes de que comience la colección y agréguela al diagrama de flujo.

La operación de inicio de sesión se agrega al diagrama de flujo.

Abra una página web, la URL aquí está configurada para la entrada de Weibo (weibo.com) y la configuración de operación posterior es en realidad semiautomática. Puede operar directamente en la página web de vista previa, hacer clic en el cuadro de diálogo o botón y la acción correspondiente aparecerá en el mensaje de operación. Puede registrar el texto ingresado (nombre de usuario y contraseña) y hacer clic en los elementos al iniciar sesión, simular operaciones humanas y agregarlas automáticamente al diagrama de flujo, pero es posible que deba arrastrar manualmente los cuadros en el diagrama de flujo para ajustar el orden.

Pensé que todo estaba configurado. Anoté la contraseña de mi cuenta y debería poder iniciar sesión por mí primero. Inesperadamente, al iniciar sesión, no se ingresó el nombre de usuario ni la contraseña. Como resultado, se ejecutó el siguiente paso sin iniciar sesión. El ciclo comenzó y no se detectó nada. En este momento, la espera de 3 segundos antes de abrir la página web parece haber funcionado. Aproveche estos 3 segundos, ingrese manualmente el nombre de usuario o la contraseña que la operación automática no ingresó y luego haga clic en iniciar sesión inmediatamente, complete el inicio de sesión antes de abrir la página de inicio que desea marcar como favorita y finalmente desplácese hacia abajo según sea necesario para cargar cada página con todos los datos. , Y ya está.