EasySpider v0.6.5
Un rastreador web visual sin código易采集:un software de automatización del navegador/recolección de datos/rastreo web visual que permite diseñar y ejecutar tareas de rastreo sin código de forma gráfica. Alias: ServiceWrapper sistema de encapsulación inteligente de servicios orientado a aplicaciones web.
EasySpider: Rastreador Web Visual sin Código
Un software de automatización de navegador, recolección de datos/rastreador web completamente gratuito (incluyendo uso comercial y desarrollo secundario) que permite diseñar y ejecutar tareas de forma visual sin código. Solo necesita seleccionar el contenido que desea operar en la página web y seguir las indicaciones para completar el diseño y la ejecución de la tarea. Al mismo tiempo, el software también se puede ejecutar por separado en la línea de comandos, lo que permite integrarlo fácilmente en otros sistemas.
Descargar EasySpider
Vaya a la Página de Lanzamientos para descargar la última versión. Si la descarga es lenta, considere usar la dirección de descarga dentro de China: Dirección de descarga dentro de China.
Consulte la Página de Lanzamientos para descargar la última versión de EasySpider.
Ejemplo de uso del software
Ejemplo 1
(Haga clic derecho) Seleccione un bloque grande de productos -> El software detectará automáticamente bloques similares -> Haga clic en la opción 'Seleccionar todo' -> Haga clic en la opción 'Seleccionar elementos secundarios' -> Haga clic en la opción 'Recolectar datos', podrá recolectar toda la información de todos los productos y se guardará por subcampo.
Ejemplo 2
(Haga clic derecho) Seleccione un título de producto, los títulos del mismo tipo se emparejarán automáticamente, haga clic en la opción 'Seleccionar todo' -> Haga clic en la opción 'Recolectar datos', podrá recolectar la información del título de todos los productos.
Al mismo tiempo, si después de seleccionar todo elige la opción 'Hacer clic en cada elemento en bucle', se abrirá automáticamente la página de detalles de cada producto y luego podrá configurar la recolección de información de la página de detalles.
Patrocinadores
Bright Data (Datos Brillantes), como red de proxy líder a nivel mundial, cubre más de 150 millones de IP en todo el mundo, proporciona IP residenciales reales y API de recolección, y admite la recolección estable a gran escala de datos públicos de Internet con tasas de éxito probadas en la práctica. Si necesita servicios de proxy de alto rendimiento, haga clic en la imagen de arriba para registrarse y contactar al servicio de atención al cliente en chino; actualmente hay promociones como "Igual cantidad en el primer depósito" y un 50% de descuento en IP dinámicas. Bright Data también se puede usar junto con herramientas como EasySpider para la recolección de datos.
Bright Data es una red de proxy líder con más de 150 millones de IP en todo el mundo, que ofrece IP residenciales reales y un desbloqueador web para ayudarlo a recolectar datos web públicos a gran escala con tasas de éxito comprobadas y altas. Para obtener acceso a proxy rentable, haga clic en el banner de arriba para registrarse y contactar a nuestro equipo de soporte en chino; actualmente hay una promoción que iguala su primer depósito.
CapSolver es uno de los 3 principales proveedores en la industria de resolución de CAPTCHA, que ofrece servicios de resolución de CAPTCHA impulsados por IA, compatibles con reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF y más. Diseñado para la extracción web a gran escala y flujos de trabajo automatizados, potencia sus proyectos de IA y BI, con velocidades de decodificación de <3 segundos, tasa de éxito >99%, 0 tiempo de inactividad, soporte al cliente rápido y la mejor relación calidad-precio del mercado, además de un código de descuento exclusivo del 6% para EasySpider: ESN.
CapSolver es uno de los 3 principales proveedores en la industria de resolución de CAPTCHA, que ofrece soluciones impulsadas por IA compatibles con reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF y más. Diseñado para la extracción web a gran escala y flujos de trabajo automatizados, cuenta con velocidades de decodificación de <3 segundos, una tasa de éxito >99% y 0 tiempo de inactividad, potenciando sus proyectos de IA y BI. Con soporte al cliente rápido, ofrece la mejor solución de valor del mercado. Obtenga un crédito adicional del 6% usando el código de bonificación de EasySpider: ESN.
Haga clic aquí para ver cómo resolver captcha en EasySpider con la integración de CapSolver.
IPPeak proporciona una gran cantidad de IP residenciales reales + una arquitectura de red de alto rendimiento, reduciendo efectivamente la tasa de prohibición y mejorando la tasa de éxito, haciendo que cada solicitud sea más valiosa. Respuesta media < 0.5 segundos | Fuente de IP conforme y confiable | Tareas fluidas sin interrupciones
Tres soluciones principales que cubren todos los escenarios de extracción
Proxy residencial desde $0.49/GB | Concurrencia ilimitada | Localización precisa por región / ASN
Proxy residencial ilimitado Desde $8/hora | Tráfico y IP ilimitados 99.9% de disponibilidad | Funcionamiento prolongado sin presión
Proxy ISP | Operación estable a largo plazo Desde $3.7/IP | IP residencial estática dedicada | Tráfico ilimitado
Soporte profesional 24×7, IPPeak garantiza la recolección de datos estable y continua
LegionProxy es una red de proxy en rápido crecimiento que cubre más de 195 países y regiones en todo el mundo, con más de 74 millones de IP residenciales reales, que ofrece proxies residenciales reales y soporte HTTP/3, ayudando en la extracción web a gran escala y tareas automatizadas, evitando eficazmente el bloqueo de IP. Los planes residenciales comienzan desde $0.60/GB, con activación instantánea y respuesta rápida del soporte en chino.
LegionProxy es una red de proxy en rápido crecimiento con más de 74 millones de IP residenciales en más de 195 países, que ofrece proxies residenciales reales y soporte HTTP/3 para ayudarlo a ejecutar extracción y automatización a gran escala sin bloqueos de IP. Los planes residenciales comienzan desde solo $0.60/GB, con activación instantánea y soporte receptivo cuando lo necesite.
Sitio web oficial
Visite el sitio web oficial de EasySpider: www.easyspider.cn
Visite el sitio web oficial de EasySpider: www.easyspider.net
Más funciones
Desplace hasta la parte inferior de esta página para ver más funciones.
Apoyar al autor
EasySpider es un software de código abierto completamente gratuito y sin publicidad durante su uso. El desarrollo y mantenimiento del software dependen completamente del amor del autor, por lo que puede optar por apoyar al autor para que tenga más entusiasmo y energía para mantener este software, o si ha obtenido ganancias usando este software, lo invitamos a apoyar al autor a través de los siguientes métodos:
- GitHub Sponsor: haga clic directamente en el botón Sponsor a la derecha para patrocinar.
- Cuenta de Alipay: [email protected], también puede escanear el código QR a continuación.
- WeChat Pay: escanee el código QR a continuación.
- Cuenta de PayPal: naibowang, también puede escanear el código QR a continuación.
Puede apoyar al autor haciendo clic en el botón Sponsor a la derecha o pagando a través de PayPal: naibowang.
Documentación
Haga clic aquí para acceder al Tutorial de documentación. Si está en inglés, puede traducirlo temporalmente, o consultar la tesis de maestría del autor (principalmente capítulos 3 y 5).
Blog de ejemplo de eBay: https://blog.csdn.net/ihero/article/details/130805504.
La documentación se puede encontrar en GitHub Wiki.
Tutoriales en video
Tutoriales en video de Bilibili:
Introducción a EasySpider - Caso de recolección de la Red de Terremotos de China
Configurar el desplazamiento hacia abajo de la página
Cómo rastrear sitios web que requieren inicio de sesión sin código visual - Caso del sitio Zhihu
Tutorial de diseño y ejecución de tareas de rastreador del sitio web eBay en sistema MacOS
Cómo ejecutar su propio código JS y código del sistema (operaciones personalizadas)
Cómo personalizar bucles y condiciones de juicio - Primera parte
Cómo tomar capturas de pantalla de elementos y páginas web y guía de ejecución en línea de comandos
Función de reconocimiento OCR de contenido de elementos (comúnmente usado para captchas de texto)
Cómo rastrear sitios web que requieren ingresar un captcha
Cómo cambiar el grupo de IP y usar IP de túnel - Caso de recolección de páginas de detalles
Cómo ejecutar varias tareas simultáneamente (múltiples instancias en paralelo)
Resultado de cálculo de código Python como entrada en un cuadro de texto
Ejemplo - Recolección de artículos de sitios web anti-humanos y depuración de código
Tutorial de escritura en base de datos MySQL
Consulte la Lista de reproducción de YouTube para ver los tutoriales en video de EasySpider.
Tareas de muestra
Descargue las tareas de muestra de la carpeta Examples de este proyecto, renómbrelas a números mayores que 0, impórtelas en la carpeta tasks de EasySpider y luego ábralas en EasySpider.
Declaración
Este software es solo para fines de aprendizaje e intercambio. Está estrictamente prohibido utilizar el software para cualquier operación ilegal o que infrinja las normas, como rastrear sitios web gubernamentales/militares que no están permitidos para el rastreo. Todas las consecuencias causadas por el uso de este software son bajo su propio riesgo, y el autor no es responsable de ninguna consecuencia.
Para las operaciones de rastreo en sitios web gubernamentales y militares, el autor no responderá ninguna pregunta para evitar violar las leyes, regulaciones y políticas nacionales relevantes.
EasySpider cumple con el acuerdo AGPL-3.0. Cualquier individuo o empresa puede usar el software de forma gratuita y usar el código fuente del software para desarrollo secundario sin contactar al autor para obtener autorización comercial (de patente). Sin embargo, es necesario prestar atención a las reglas relacionadas del acuerdo AGPL-3.0:
1. Copyleft (Cláusula viral)
- Obras derivadas
- Cualquier modificación u obra derivada basada en el código AGPL debe publicarse bajo la misma licencia (AGPL-3.0).
- Alcance del copyleft
- Si el código AGPL se combina con otro código (por ejemplo, enlace estático, integración estrecha), toda la obra debe cumplir con AGPL.
2. Cláusula de uso en red
- SaaS desencadena obligación de código abierto
- Si el software se proporciona como servicio (por ejemplo, sitio web, API), se debe poner a disposición de todos los usuarios el código fuente completo correspondiente (incluyendo modificaciones).
- Derechos del usuario
- Los receptores del servicio pueden obtener el código fuente mediante descarga o solicitud por escrito.
3. Requisitos de provisión de código fuente
- Distribución binaria
- Se debe incluir el código fuente o proporcionar un canal para obtenerlo (por ejemplo, enlace de descarga).
- Escenario de servicio en red
- Se debe proporcionar explícitamente un enlace al código fuente a través de la interfaz de servicio, u ofrecer una oferta por escrito para proporcionar el código fuente.
4. Concesión de patentes
- Los contribuyentes otorgan automáticamente a los usuarios una licencia de patente relacionada con el software y prohíben los litigios de patentes.
5. Descargo de responsabilidad
- El software se proporciona "tal cual", sin garantías ni responsabilidades por parte del autor.
Grupo QQ de preguntas y respuestas
Número del grupo: 682921940. Se recomienda plantear preguntas a través de Issues en GitHub; solo agregue el grupo QQ si es realmente necesario, ya que el grupo tiene un límite de miembros. El grupo QQ no proporciona función de descarga de software.
Publicaciones
-
Este software ha sido aceptado por The Web Conference (WWW) 2023 (conferencia de primer nivel de la Sociedad China de Informática, CCF A): EasySpider: Un sistema visual sin código para rastrear la web, abril de 2023.
-
Patente de invención de la Administración Nacional de Propiedad Intelectual de China, Un sistema de encapsulación de servicios con proceso de extracción personalizado, mayo de 2022.
-
Tesis de maestría de la Universidad de Zhejiang, Diseño e implementación de un sistema de encapsulación de servicios inteligente orientado a aplicaciones web, junio de 2020.
Instrucciones de compilación
Consulte las Instrucciones de compilación.
Funciones compatibles
Capturas de pantalla de la interfaz en chino
Ejemplo de interfaz de software
Definición de bloques, subbloques y formularios
Ejemplo de seleccionados y pendientes de selección
Ejemplo de selección de bloque de productos de JD.com:
Ejemplo de coincidencia automática de títulos de productos de JD.com
Ejemplo de selección de todos los elementos secundarios por bloque
Ejemplo de coincidencia automática y manual de elementos del mismo tipo
Ejemplo de cuatro métodos de selección
Ejemplo de ingreso de texto
Ejemplo de hacer clic en bucle en los títulos de propiedades de 58.com para ingresar a la página de detalles y recolectar
Ejemplo de recolección de texto de elementos
Introducción a la interfaz del diagrama de flujo
Ejemplo de opciones de bucle
Ejemplo de hacer clic en bucle en la página siguiente
Ejemplo de rama condicional
Ejemplo de diagrama de flujo de recolección completo
Ejemplo de conversión del diagrama de flujo de recolección completo a un diagrama de flujo convencional
Ejemplo de información de servicio
Ejemplo de invocación de servicio
Parte de los resultados de recolección del servicio de información de propiedades de 58.com
