¿Cuáles son las funciones integradas del Octopus Data Collector?
Déjame decirlo brevemente:
1 Introducción al vocabulario introductorio
1.1.1 Números enteros
Acumulación
El subsistema es una forma de pagar los servicios de valor agregado de Octopus. Sus usos principales incluyen: recopilar y exportar datos a través del recopilador Octopus, descargar reglas en el mercado de reglas y descargar paquetes de datos en el mercado de datos. Hay diferentes tipos de cuentas disponibles en
Habrá diferentes estrategias de cobro al utilizar los servicios de valor agregado anteriores. Las estrategias de carga específicas y las diferencias se explicarán en detalle en las notas de la versión posterior. Los puntos se pueden otorgar mensualmente mediante la compra oficial de Octopus Professional o Ultimate Edition, o puede comprar puntos individualmente o ganar puntos siguiendo, registrándose, compartiendo reglas, siguiendo WeChat, vinculando cuentas sociales, etc.
Regla 1.1.2
La regla es la regla del programa utilizada por Octopus para configurar el programa de acuerdo con el proceso de operación manual. Después de configurar el software, puede recopilar datos según las reglas que configure en lugar de los pasos manuales.
1.1.3 Aceleración de la nube
El sistema Octopus adopta una implementación de clúster distribuido. Cada clúster está compuesto por una gran cantidad de nodos de nube. La capacidad de recopilación de un solo nodo es equivalente a eso. de una PC. A través de la estrategia de asignación de recursos de versión del fondo de Octopus, puede disfrutar de una aceleración varias veces según la cantidad de recursos de nodos de nube asignados. Las cuentas con versiones superiores se acelerarán con más frecuencia.
1.1.4 Prioridad de la nube
Si varios usuarios * * * comparten los recursos de un clúster de nube, existe un límite superior para el tamaño del clúster. Si se envían demasiadas tareas al clúster de la nube al mismo tiempo, lo que provoca congestión de recursos, el sistema Octopus ordenará de forma predeterminada según las diferentes versiones de cuentas de usuario, y aquellos con mayor prioridad obtendrán primero los derechos de asignación de recursos. Las tareas que no tengan recursos asignados por el momento se pondrán en cola.
1.1.5 URL
URL se refiere a la URL de un sitio web normal.
1.1.6 Colección independiente
La colección de una sola máquina significa que no ocupa los recursos del clúster en la nube y solo puede funcionar a través de la PC donde se encuentra el cliente Octopus. . Durante el proceso de trabajo, las computadoras y el software deben estar en funcionamiento, y los cortes de energía o de red interrumpirán la tarea de recopilación de datos.
1.1.7 Cloud Collection
Cloud
La colección se refiere al uso del clúster de servidores proporcionado por Octopus, que funciona 7 x 24 horas y el cliente completa la configuración de la tarea. y se puede cerrar después de enviarlo al servicio en la nube para su recopilación en la nube.
El software apaga el ordenador para realizar la recogida fuera de línea, realmente sin supervisión. Además, la recopilación en la nube puede mejorar la eficiencia de la recopilación a través del modo de implementación distribuida del clúster de servidores en la nube, y varios nodos pueden funcionar al mismo tiempo.
Evita eficazmente las estrategias de bloqueo de IP de varios sitios web.
1.1.8 Recolección programada
Recolección programada significa que el usuario inicia el programa de recolección regularmente al configurar las reglas de recolección de Octopus.
1.1.9 Bucle de URL
Bucle de URL se refiere a configurar Octopus para que recopile bucles en las URL establecidas.
Exportación automática 1.1.10
Exportación automática significa exportación de la configuración del usuario.
1.1.1 Cookie
1)
Nació la cookie
Cuando el usuario abre el navegador para realizar una solicitud de página, la servidor web Simplemente responda y cierre la conexión con el usuario. Por lo tanto, cuando un usuario inicia una solicitud al servidor web para abrir una página web,
y así sucesivamente, independientemente de si es la primera vez que abre la misma página web, el servidor web tratará esto solicitud como la primera vez. Tal falla puede Como puede imaginar, por ejemplo, debe ingresar el usuario cada vez que abre la página de inicio de sesión.
Nombre y contraseña.
Para compensar esta deficiencia, nació Cookie.
2) Descripción general de las cookies
Una cookie es un fragmento de información que el servidor almacena temporalmente en su computadora para que el servidor pueda identificar su computadora. Cuando navega por un sitio web, el servidor web primero envía una pequeña cantidad de datos a su computadora.
En el avión, las cookies te ayudarán a registrar el texto que introduces en el sitio web (como nombre de usuario y contraseña) y otras operaciones. La próxima vez que abras el mismo sitio web. El servidor web lo buscará primero.
La información de las cookies que se deje, si la hubiera, se utilizará para determinar el usuario en función del contenido de las cookies y enviarle contenido web específico.
Cómo funcionan las cookies
1.1.12 XPATH
XPATH: Es un lenguaje de consulta de rutas. En pocas palabras, usamos una expresión de ruta para encontrar la ubicación de los datos que necesitamos.
XPATH se utiliza específicamente para buscar datos a lo largo de rutas en XML, pero hay un conjunto de motores XPATH para HTML en Octopus Collector, que hace posible buscar y localizar datos con precisión en páginas web directamente a través de XPATH.
1.1.13 HTML
1)
Concepto HTML
HTML: Hypertext Markup Language es un lenguaje utilizado para describir páginas web. idioma. Se utiliza principalmente para controlar la visualización y apariencia de los datos. Los documentos HTML también se denominan páginas web.
2) Estructura HTML
Un archivo HTML completo incluye al menos
símbolos. Estas etiquetas están en pares y la etiqueta inicial es
<. p>Establece el color de fondo y la imagen de la página.2 Tutorial del proceso básico de Octopus
2.1 Abrir la página web
Este paso abre la página web de acuerdo con la URL configurada, que generalmente es el primer paso en la página web. proceso de recopilación. Abra el sitio web o la página web especificada. Si hay varios sitios web similares que deben abrirse por separado para realizar el mismo proceso de recopilación, entonces deben colocarse dentro del bucle como primer subpaso.
1) Dirección de la página web
La URL generalmente se puede copiar desde la barra de direcciones de navegadores web como IE, por ejemplo:
2) Utilice el elemento de bucle actual
Se utiliza en combinación con pasos de bucle para abrir repetidamente varias páginas web similares y luego realizar el mismo conjunto de procesos. Al abrir una página web en un bucle, debería ser el primer subpaso del paso del bucle. Si esta opción está marcada, no es necesario configurar manualmente la dirección de la página web. La dirección de la página web mostrará automáticamente el elemento del ciclo actual de la lista de URL configurada en el ciclo.
3) Bloquear ventanas emergentes
Se utiliza para bloquear anuncios emergentes en páginas web. Si la página web que abre ocasionalmente se convierte en otra página de anuncios, puede utilizar esta opción para evitar que aparezca la página de anuncios.
4) Tiempo de espera
El tiempo máximo de espera antes de cargar una página web. Si la página web se abre lentamente o no se puede abrir durante mucho tiempo, el proceso esperará como máximo el tiempo de espera especificado y luego ejecutará directamente el siguiente paso independientemente de si la página web está cargada. Intente evitar establecer un tiempo de espera demasiado largo ya que esto afectará la velocidad de recopilación.
5) Desplácese hasta el final
Después de abrir la página web, las páginas web individuales no mostrarán todos los datos. Debe desplazar la rueda del mouse o arrastrar la barra de desplazamiento hacia la parte inferior para cargar los datos que no se muestran. Utilice esta opción para desplazarse hasta el final después de que se cargue la página.
6) Reintento de activación
Si la página web no abre correctamente la página esperada, como por ejemplo mostrar un error del servidor (500), la frecuencia de acceso es demasiado rápida, etc. o saltar a otras páginas que no deberían aparecer durante la ejecución normal. Puede utilizar esta opción para volver a intentarlo, pero debe coincidir con los siguientes parámetros de reintento. Tenga en cuenta que cualquiera de los siguientes juicios resultará en un nuevo intento.
7) La URL de la página de resultados incluye
Si siempre aparece una cadena especial en la URL de la página que aparece, como 500.htm, generalmente aparece cuando la página no se puede encontrar, puede usar esta opción para determinar que la página deseada no se ha abierto y debe intentarlo nuevamente.
8) El texto de la página de resultados contiene
Si siempre aparecen cadenas especiales en el texto de la página, como "La frecuencia de acceso es demasiado rápida", puede utilizar esta opción para determinar que la La página deseada no se ha abierto. Es necesario volver a intentarlo.
9) El texto de la página de resultados no contiene
Si una página web se abre normalmente, aparecerá una cadena especial, pero no aparecerá cuando se abra de manera anormal. Se puede juzgar que la página esperada no está abierta, debe intentarlo nuevamente.
10) Número máximo de reintentos
Para evitar reintentos ilimitados, utilice esta opción para limitar el número máximo de reintentos. Si se alcanza el número máximo permitido de reintentos y aún falla, el proceso deja de reintentar y continúa con el siguiente paso.
11) Intervalo de reintento
El tiempo de espera entre dos reintentos. En términos generales, cuando se produce un error al abrir una página web, es muy probable que ocurra lo mismo al reintentar. Inmediatamente Error, si espera correctamente, puede abrir con éxito la página web deseada, pero trate de evitar establecer un tiempo de espera demasiado largo, ya que esto afectará la velocidad de recopilación.
2.2 Hacer clic en el elemento
Este paso consiste en hacer clic con el botón izquierdo del mouse en el elemento especificado en la página web, como hacer clic en un botón, hacer clic en un hipervínculo, etc.
1) Usar el elemento del bucle actual.
Concurso
Utilice el paso de bucle para hacer clic repetidamente en varios elementos establecidos en el bucle. Es adecuado para realizar un bucle en un solo elemento fijo, en un bucle de una lista de elementos fijos y en un bucle. lista de elementos variables.
Si se selecciona esta opción, no es necesario configurar el elemento en el que se hizo clic. El elemento en el que se hizo clic mostrará automáticamente los elementos del bucle actual establecidos por el bucle. Cuando se utiliza esta opción, se debe utilizar como un subpaso del paso del bucle, pero no necesariamente como el primer elemento secundario.
2) Abrir en una nueva pestaña
Por ejemplo,
Si desea que el elemento se abra en una nueva pestaña en lugar de en la página actual cuando hace clic en él, por favor marque esta opción.
En circunstancias normales, cuando necesita recorrer varios hipervínculos en una página, debe marcar esta opción para conservar la página de la lista para que pueda hacer clic en el siguiente hipervínculo de la página de la lista, pero si lo hace; bucle Haga clic en Página siguiente,
Desmarque esta opción para abrir la página al lado de la página actual.
3) Desplázate hacia abajo
Una sola página web no mostrará todos los datos después de cargarse. Debe desplazar la rueda del mouse o arrastrar la barra de desplazamiento hacia la parte inferior para cargar los datos que no se muestran. Una vez que se carga la página, use esta opción para desplazarse hasta el final.
4) Carga asincrónica de datos
La carga asincrónica, también conocida como Ajax, es una tecnología que actualiza los datos locales sin recargar la página web. Por lo tanto, el proceso no puede detectar la finalización de la carga de la página web y, por lo tanto, no puede decidir cuándo realizar el siguiente paso. Con esta opción, el proceso esperará el tiempo de espera establecido hasta que se hayan cargado los datos predeterminados antes de continuar con los pasos posteriores del proceso. Esta opción debe usarse junto con un tiempo de espera de carga asincrónica.
5) Tiempo de espera de carga asincrónica
Espera a que se complete la carga asincrónica. Una vez que haga clic en el elemento, el proceso comenzará a cronometrar. Una vez alcanzado el período de tiempo de espera, se ejecuta el siguiente paso del proceso. Esta opción debe usarse junto con la carga asincrónica. Normalmente, "Abrir en una pestaña nueva" no se puede marcar cuando se utiliza esta opción.
6) Reintento de activación
Si la página web no abre correctamente la página esperada, como por ejemplo mostrar un error del servidor (500), la frecuencia de acceso es demasiado rápida, etc. o saltar a otras páginas que no deberían aparecer durante la ejecución normal. Puede utilizar esta opción para volver a intentarlo, pero debe coincidir con los siguientes parámetros de reintento. Tenga en cuenta que cualquiera de los siguientes juicios resultará en un nuevo intento.
7) La URL de la página de resultados incluye
Si siempre aparece una cadena especial en la URL de la página que aparece, como 500.htm, generalmente aparece cuando la página no se puede encontrar, puede usar esta opción para determinar que la página deseada no se ha abierto y debe intentarlo nuevamente.
8) El texto de la página de resultados contiene
Si siempre aparecen cadenas especiales en el texto de la página, como "La frecuencia de acceso es demasiado rápida", puede utilizar esta opción para determinar que la La página deseada no se ha abierto. Es necesario volver a intentarlo.
9) El texto de la página de resultados no contiene
Si una página web se abre normalmente, aparecerá una cadena especial, pero no aparecerá cuando se abra de manera anormal. Se puede juzgar que la página esperada no está abierta, debe intentarlo nuevamente.
10) Número máximo de reintentos
Para evitar reintentos ilimitados, utilice esta opción para limitar el número máximo de reintentos. Si se alcanza el número máximo permitido de reintentos y aún falla, el proceso deja de reintentar y continúa con el siguiente paso.
11) Intervalo de reintento
El tiempo de espera entre dos reintentos. En términos generales, cuando se produce un error al abrir una página web, es muy probable que ocurra lo mismo al reintentar. Inmediatamente Error, si espera correctamente, puede abrir con éxito la página web deseada, pero trate de evitar establecer un tiempo de espera demasiado largo, ya que esto afectará la velocidad de recopilación.
2.3 Ingresar texto
En este paso, ingrese el texto especificado en el cuadro de entrada, como ingresar palabras clave de búsqueda, ingresar números de cuenta, etc.
Ingrese el texto establecido en el cuadro de entrada de la página web, como ingresar palabras clave cuando utiliza un motor de búsqueda.
2.4 Extraer datos
Este paso extrae datos de la página web según la configuración de la plantilla de extracción de datos. También se puede configurar para extraer la URL, título de la página web o generar. algunos datos, como la hora actual.
1) Obtener plantilla
Este paso extrae datos de la página web según la configuración de la plantilla de extracción de datos. También se puede configurar para extraer URL, títulos de páginas web o generar. algunos datos, como la hora actual.
2) Nombre
Nombre los campos de datos capturados, como títulos de noticias y texto de noticias.
3) Datos extraídos
Los datos extraídos de la página web se mostrarán en esta columna como ejemplos capturados.
4) Descripción
Alguna información descriptiva sobre este campo de datos.
5) Usar el elemento del bucle actual
Compete
Combinado con el paso del bucle, se utiliza para extraer repetidamente datos de múltiples conjuntos de elementos en el bucle. adecuado para bucles Un único elemento fijo, una lista cíclica de elementos fijos y una lista cíclica de elementos mutables.
Si se marca esta opción, los datos de muestra se extraerán de los elementos establecidos en el bucle de acuerdo con las reglas de rastreo. Cuando se utiliza esta opción, el paso de extracción de datos debe ser un subpaso del paso del bucle, pero no necesariamente el primer elemento secundario.
2,5 ciclos
1) Este paso se utiliza para realizar repetidamente una serie de pasos y admite múltiples modos según la configuración.
Bucle para arreglar un solo elemento, como hacer clic en el botón siguiente en cada página.
2) Recorrer una lista fija, como un bucle para procesar múltiples elementos especificados en la página; ;
p>
3) Lista de variables de bucle, utilizada cuando es necesario procesar varias páginas en un bucle, pero el número de elementos a procesar en cada página no es fijo
;4) Lista de URL de bucle, utilizada principalmente para abrir un bucle. Un lote de páginas web con URL específicas y luego realizar los mismos pasos de procesamiento.
1) Consideraciones sobre el bucle
1) El elemento está en IFRAME.
Si el conjunto de elementos en el bucle está en un IFRAME, marque esta casilla y complete el XPATH del IFRAME en el IFAMEXPah a continuación.
2)IFAMEXPah
La ruta del IFRAME donde se encuentra el elemento. Esta configuración solo tiene efecto cuando se selecciona "Elementos en IFRAME".
3) Elementos fijos
Realizar cíclicamente operaciones específicas sobre un elemento, como hacer clic en la página siguiente, desplazarse hacia abajo en la columna desplegable, etc. El bucle actual finalizará automáticamente cuando se pase la última página o se llegue al último elemento de la lista desplegable.
4) Lista de elementos fijos
Realice operaciones específicas en los elementos de la lista uno por uno, como hacer clic en un bucle, extraer datos de él y pasar el mouse sobre el elemento. Cuando se hayan bucleado todos los elementos, el bucle actual finalizará automáticamente.
5) Lista de elementos dinámicos
Cuando la lista de elementos no es fija, puede especificar una ruta dinámica (varios elementos se ajustan a esta ruta, es decir, se pueden ubicar varios elementos de acuerdo con a esta ruta), el sistema primero encontrará una lista de elementos basada en la ruta especificada y luego realizará la misma operación que la "lista de elementos fijos".
6) Lista de URL
Utilice la función de abrir páginas web para especificar una lista de URL y asegúrese de que el uso de abrir páginas web en un bucle esté marcado, para que Puede abrir la lista de URL uno por uno.
7) El número de veces que se ejecuta el bucle es igual a
Cuando el bucle se ejecuta el número de veces especificado, salga del bucle.
2.6 Lista desplegable doble
Conceptos básicos
El paso se utiliza para cambiar las listas desplegables.
1) De orden de opciones/a orden de opciones
El valor predeterminado está vacío, lo que significa cambiar del primer orden al último orden en la lista desplegable, pero a veces está Es necesario omitir las opciones del primer orden para alternar el menú desplegable desde el segundo o en algún punto intermedio.
Utiliza estas dos opciones para controlar el orden inicial y final de las transiciones. Por ejemplo, supongamos que hay cinco opciones desplegables y necesita cambiar del segundo orden al cuarto orden, entonces "Desde el orden de la opción" se establece en 2 y "Hasta"
Orden de la opción" es establecido en 4.
2) Saltar valor/a valor
El valor predeterminado está vacío, lo que indica que la lista desplegable cambia secuencialmente según la configuración. Sin embargo, si es necesario. Puede omitir un determinado elemento desplegable durante el proceso de cambio. Puede usar esta configuración para controlar el rango que se omite.
Por ejemplo, suponiendo que hay cinco opciones en la lista desplegable. valores 10, 11, 12, 13 y 14, si necesita omitir 12, deberá El valor de omisión se establece en 14.
El valor de exceso se establece en 13.
3) Utilice el elemento del bucle actual
con el paso del bucle, cambia la lista desplegable especificada en el bucle repetido a la siguiente opción
4) Carga asincrónica de. data
La carga asincrónica, también conocida como Ajax, es un método que actualiza la página web sin recargarla. Tecnología de datos local, por lo que el proceso no puede detectar la finalización de la carga de la página web y, por lo tanto, no puede decidir cuándo hacerlo. realice el siguiente paso.
Con esta opción, el proceso esperará el tiempo de espera establecido y los datos predeterminados se habrán cargado para continuar con los pasos del proceso posteriores. Esta opción debe usarse junto con la carga asincrónica. tiempo de espera
Espere a que se complete la carga asincrónica y el proceso comenzará a cronometrar. Una vez alcanzado el período de tiempo de espera, se ejecuta el siguiente paso del proceso.
6) Activar reintento. /p>
Si la página web no abre correctamente la página esperada. Error del servidor de visualización (500), la frecuencia de acceso es demasiado rápida, etc., o salta a otras páginas que no deberían aparecer durante la ejecución normal.
Sin embargo, debe utilizar el siguiente reintento. Tenga en cuenta que cualquiera de las siguientes situaciones de juicio provocará un reintento.
7) La URL de la página de resultados incluye
. Si siempre aparece en la URL de la página, una cadena especial, como 500.htm, generalmente aparece cuando no se puede encontrar la página. Puede usar esta opción para determinar que la página deseada no se ha abierto y debe intentarlo. nuevamente
8) El texto de la página de resultados contiene
Si siempre aparecen cadenas especiales en el texto de la página, como "La frecuencia de acceso es demasiado rápida", puede usar esta opción para. determine que la página deseada no se ha abierto y debe volver a intentarse.
9) El texto de la página de resultados no contiene
Si una página web se abre normalmente, un. Aparecerá una cadena especial, pero no aparecerá cuando se abra de manera anormal. Se puede juzgar que la página esperada no se abre y debe intentarse nuevamente.
10) Número máximo de reintentos
Para evitar reintentos ilimitados, use esta opción para limitar el número máximo de reintentos. Si el número de reintentos alcanza el número máximo permitido y aún falla, el proceso dejará de reintentar y continuará con el siguiente paso.
11) Intervalo de reintento
El tiempo de espera entre dos reintentos. En circunstancias normales, cuando ocurre un error al abrir una página web, es probable que ocurra el mismo error si usted. Vuelva a intentarlo inmediatamente. Si espera correctamente, es posible abrir correctamente la página web esperada, pero debe intentar evitar configurarla por mucho tiempo.
Tiempo de espera, porque esto afectará a la velocidad de recogida.
2.7 Rama Condicional
Este paso seleccionará la primera rama calificada de izquierda a derecha y la ejecutará.
1) Siempre
Sin establecer condiciones de decisión, la rama siempre cumple las condiciones de ejecución.
2) Cuando la página contiene texto
Cuando el texto especificado se incluye en la página, la rama cumple con la condición de ejecución.
3) Cuando la página contiene elementos
Cuando la página contiene los elementos especificados, la rama cumple las condiciones de ejecución y se utiliza junto con el elemento XPATH.
4) Elemento XPATH
Ruta XPATH del elemento de condición de decisión
5) En IFRAME
Si se determina que el elemento de condición es en IFRAME, verifique esto y complete el XPATH del IFRAME en IFAMEXPah a continuación.
6)IFAMEXPah
La ruta del IFRAME donde se encuentra el elemento. Esta configuración solo tiene efecto cuando se selecciona "Elementos en IFRAME".
2.8 Mouseover
Este paso se utiliza para pasar el mouse sobre el elemento especificado.
1) Usar el elemento del bucle actual.
Utilizado con el paso Bucle, coloque repetidamente el cursor sobre los elementos especificados en el bucle y luego realice el siguiente proceso.
2) Carga de datos Ajax
Ajax
También conocida como carga asincrónica, es una tecnología que actualiza los datos locales sin recargar la página web. no puede detectar la finalización de la carga de la página web y decidir cuándo dar el siguiente paso.
Cuando el mouse pasa sobre algunos elementos, muchas páginas web agregarán algunos datos de forma asincrónica y los mostrarán en la página. Usando esta opción, el proceso esperará a que se hayan cargado el tiempo de espera establecido y los datos predeterminados para continuar con la ejecución posterior.
Pasos del proceso. Esta opción debe usarse junto con un tiempo de espera de carga asincrónica.
3) Tiempo de espera de carga asincrónica
Espera a que se complete la carga asincrónica. Una vez que haga clic en el elemento, el proceso comenzará a cronometrar. Una vez alcanzado el período de tiempo de espera, se ejecuta el siguiente paso del proceso. Esta opción debe usarse con carga asincrónica.
2.9 Cómo descargar reglas de recopilación
Para
Para evitar la configuración repetida de reglas de recopilación, Octopus Collector tiene un mercado de reglas integrado donde los usuarios pueden compartir reglas de recopilación configuradas y ayudarse mutuamente.
Los beneficios de descargar reglas en el mercado de reglas son obvios, no es necesario perder tiempo investigando y configurando el proceso de recopilación. Las reglas de recopilación de muchos sitios web se pueden buscar en el mercado de reglas y se pueden recopilar después de descargarlas y ejecutarlas.
Octopus Collector requiere la descarga de reglas. Los pasos específicos son: Abrir Octopus Collector->Reglas de colección->Rules Market.
3.0 Cómo usar las reglas
1)
Usar reglas descargadas del mercado de reglas
Normalmente, las reglas descargadas del mercado de reglas El mercado está con. otd, el archivo de reglas descargado se importará automáticamente en versiones futuras. En versiones anteriores, era necesario importar manualmente el archivo de reglas descargado.
Modo de importación manual: haga doble clic en el archivo de reglas de Octopus (.OTD) para abrir el asistente de importación, o abra el Inicio rápido de Octopus Collector - gt;
Importe las reglas y luego siga las indicaciones del asistente para importar las reglas. Pero a veces se descarga en un archivo comprimido con el sufijo. El archivo comprimido contiene varios. El archivo de reglas otd está descomprimido, por lo que primero debe descomprimirse y luego importarse.
2) Usar reglas recibidas
Las reglas recibidas por correo electrónico u otro software de mensajería instantánea se pueden importar manualmente consultando las instrucciones de la sección anterior.