El rastreador con cabeza de espina rastrea títulos y enlaces de vídeos de Bilibili.

Después de estudiar durante una tarde, logré rastrear con éxito la información del video y los hipervínculos en Bilibili (aunque el método fue muy estúpido). Pero sigue siendo interesante. Registramos el proceso aquí.

Para conocer el método de instalación de scrapy utilizado en el programa, consulte /p/d2c8b1496949. Aquí, puede usar CMD directamente para crear un proyecto scrapy. Simplemente ingrese el nombre del proyecto scrapy start y se creará una nueva carpeta en el directorio actual. Después de cd en esta carpeta, ingrese el nombre de scrapy genspider y la URL de destino para crear su archivo de rastreador (por ejemplo, scrapy gen spider sample/v).

Una vez creado correctamente el rastreador, puede editarlo y ver el archivo del rastreador abierto (sample.py en este ejemplo).

A continuación, debemos definir la función parse() y usar el selector XPath para extraer el contenido de la etiqueta en la página web. El uso del asistente XPath aquí puede mejorar la eficiencia de /v/digital (área digital).

/v/Music (Área de música)

Aunque el método es estúpido, todavía estoy muy feliz de que al final haya funcionado con éxito. Continuaré estudiando reptiles en el futuro. Los métodos estúpidos son, en última instancia, indeseables.