naibowang/easyspider
Un rastreador web visual sin código易采集:un software de automatización del navegador/recolección de datos/rastreo web visual que permite diseñar y ejecutar tareas de rastreo sin código de forma gráfica. Alias: ServiceWrapper sistema de encapsulación inteligente de servicios orientado a aplicaciones web.
Un software de automatización de navegador, recolección de datos/rastreador web completamente gratuito (incluyendo uso comercial y desarrollo secundario) que permite diseñar y ejecutar tareas de forma visual sin código. Solo necesita seleccionar el contenido que desea operar en la página web y seguir las indicaciones para completar el diseño y la ejecución de la tarea. Al mismo tiempo, el software también se puede ejecutar por separado en la línea de comandos, lo que permite integrarlo fácilmente en otros sistemas.
Vaya a la Página de Lanzamientos para descargar la última versión. Si la descarga es lenta, considere usar la dirección de descarga dentro de China: Dirección de descarga dentro de China.
Consulte la Página de Lanzamientos para descargar la última versión de EasySpider.
(Haga clic derecho) Seleccione un bloque grande de productos -> El software detectará automáticamente bloques similares -> Haga clic en la opción 'Seleccionar todo' -> Haga clic en la opción 'Seleccionar elementos secundarios' -> Haga clic en la opción 'Recolectar datos', podrá recolectar toda la información de todos los productos y se guardará por subcampo.
(Haga clic derecho) Seleccione un título de producto, los títulos del mismo tipo se emparejarán automáticamente, haga clic en la opción 'Seleccionar todo' -> Haga clic en la opción 'Recolectar datos', podrá recolectar la información del título de todos los productos.
Al mismo tiempo, si después de seleccionar todo elige la opción 'Hacer clic en cada elemento en bucle', se abrirá automáticamente la página de detalles de cada producto y luego podrá configurar la recolección de información de la página de detalles.
Bright Data (Datos Brillantes), como red de proxy líder a nivel mundial, cubre más de 150 millones de IP en todo el mundo, proporciona IP residenciales reales y API de recolección, y admite la recolección estable a gran escala de datos públicos de Internet con tasas de éxito probadas en la práctica. Si necesita servicios de proxy de alto rendimiento, haga clic en la imagen de arriba para registrarse y contactar al servicio de atención al cliente en chino; actualmente hay promociones como "Igual cantidad en el primer depósito" y un 50% de descuento en IP dinámicas. Bright Data también se puede usar junto con herramientas como EasySpider para la recolección de datos.
Bright Data es una red de proxy líder con más de 150 millones de IP en todo el mundo, que ofrece IP residenciales reales y un desbloqueador web para ayudarlo a recolectar datos web públicos a gran escala con tasas de éxito comprobadas y altas. Para obtener acceso a proxy rentable, haga clic en el banner de arriba para registrarse y contactar a nuestro equipo de soporte en chino; actualmente hay una promoción que iguala su primer depósito.
CapSolver es uno de los 3 principales proveedores en la industria de resolución de CAPTCHA, que ofrece servicios de resolución de CAPTCHA impulsados por IA, compatibles con reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF y más. Diseñado para la extracción web a gran escala y flujos de trabajo automatizados, potencia sus proyectos de IA y BI, con velocidades de decodificación de <3 segundos, tasa de éxito >99%, 0 tiempo de inactividad, soporte al cliente rápido y la mejor relación calidad-precio del mercado, además de un código de descuento exclusivo del 6% para EasySpider: ESN.
CapSolver es uno de los 3 principales proveedores en la industria de resolución de CAPTCHA, que ofrece soluciones impulsadas por IA compatibles con reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF y más. Diseñado para la extracción web a gran escala y flujos de trabajo automatizados, cuenta con velocidades de decodificación de <3 segundos, una tasa de éxito >99% y 0 tiempo de inactividad, potenciando sus proyectos de IA y BI. Con soporte al cliente rápido, ofrece la mejor solución de valor del mercado. Obtenga un crédito adicional del 6% usando el código de bonificación de EasySpider: ESN.
Haga clic aquí para ver cómo resolver captcha en EasySpider con la integración de CapSolver.
IPPeak proporciona una gran cantidad de IP residenciales reales + una arquitectura de red de alto rendimiento, reduciendo efectivamente la tasa de prohibición y mejorando la tasa de éxito, haciendo que cada solicitud sea más valiosa. Respuesta media < 0.5 segundos | Fuente de IP conforme y confiable | Tareas fluidas sin interrupciones
Tres soluciones principales que cubren todos los escenarios de extracción
Proxy residencial desde $0.49/GB | Concurrencia ilimitada | Localización precisa por región / ASN
Proxy residencial ilimitado Desde $8/hora | Tráfico y IP ilimitados 99.9% de disponibilidad | Funcionamiento prolongado sin presión
Proxy ISP | Operación estable a largo plazo Desde $3.7/IP | IP residencial estática dedicada | Tráfico ilimitado
Soporte profesional 24×7, IPPeak garantiza la recolección de datos estable y continua
LegionProxy es una red de proxy en rápido crecimiento que cubre más de 195 países y regiones en todo el mundo, con más de 74 millones de IP residenciales reales, que ofrece proxies residenciales reales y soporte HTTP/3, ayudando en la extracción web a gran escala y tareas automatizadas, evitando eficazmente el bloqueo de IP. Los planes residenciales comienzan desde $0.60/GB, con activación instantánea y respuesta rápida del soporte en chino.
LegionProxy es una red de proxy en rápido crecimiento con más de 74 millones de IP residenciales en más de 195 países, que ofrece proxies residenciales reales y soporte HTTP/3 para ayudarlo a ejecutar extracción y automatización a gran escala sin bloqueos de IP. Los planes residenciales comienzan desde solo $0.60/GB, con activación instantánea y soporte receptivo cuando lo necesite.
Visite el sitio web oficial de EasySpider: www.easyspider.cn
Visite el sitio web oficial de EasySpider: www.easyspider.net
Desplace hasta la parte inferior de esta página para ver más funciones.
EasySpider es un software de código abierto completamente gratuito y sin publicidad durante su uso. El desarrollo y mantenimiento del software dependen completamente del amor del autor, por lo que puede optar por apoyar al autor para que tenga más entusiasmo y energía para mantener este software, o si ha obtenido ganancias usando este software, lo invitamos a apoyar al autor a través de los siguientes métodos:
Puede apoyar al autor haciendo clic en el botón Sponsor a la derecha o pagando a través de PayPal: naibowang.
Haga clic aquí para acceder al Tutorial de documentación. Si está en inglés, puede traducirlo temporalmente, o consultar la tesis de maestría del autor (principalmente capítulos 3 y 5).
Blog de ejemplo de eBay: https://blog.csdn.net/ihero/article/details/130805504.
La documentación se puede encontrar en GitHub Wiki.
Tutoriales en video de Bilibili:
Introducción a EasySpider - Caso de recolección de la Red de Terremotos de China
Configurar el desplazamiento hacia abajo de la página
Cómo rastrear sitios web que requieren inicio de sesión sin código visual - Caso del sitio Zhihu
Tutorial de diseño y ejecución de tareas de rastreador del sitio web eBay en sistema MacOS
Cómo ejecutar su propio código JS y código del sistema (operaciones personalizadas)
Cómo personalizar bucles y condiciones de juicio - Primera parte
Cómo tomar capturas de pantalla de elementos y páginas web y guía de ejecución en línea de comandos
Función de reconocimiento OCR de contenido de elementos (comúnmente usado para captchas de texto)
Cómo rastrear sitios web que requieren ingresar un captcha
Cómo cambiar el grupo de IP y usar IP de túnel - Caso de recolección de páginas de detalles
Cómo ejecutar varias tareas simultáneamente (múltiples instancias en paralelo)
Resultado de cálculo de código Python como entrada en un cuadro de texto
Ejemplo - Recolección de artículos de sitios web anti-humanos y depuración de código
Tutorial de escritura en base de datos MySQL
Consulte la Lista de reproducción de YouTube para ver los tutoriales en video de EasySpider.
Descargue las tareas de muestra de la carpeta Examples de este proyecto, renómbrelas a números mayores que 0, impórtelas en la carpeta tasks de EasySpider y luego ábralas en EasySpider.
Este software es solo para fines de aprendizaje e intercambio. Está estrictamente prohibido utilizar el software para cualquier operación ilegal o que infrinja las normas, como rastrear sitios web gubernamentales/militares que no están permitidos para el rastreo. Todas las consecuencias causadas por el uso de este software son bajo su propio riesgo, y el autor no es responsable de ninguna consecuencia.
Para las operaciones de rastreo en sitios web gubernamentales y militares, el autor no responderá ninguna pregunta para evitar violar las leyes, regulaciones y políticas nacionales relevantes.
EasySpider cumple con el acuerdo AGPL-3.0. Cualquier individuo o empresa puede usar el software de forma gratuita y usar el código fuente del software para desarrollo secundario sin contactar al autor para obtener autorización comercial (de patente). Sin embargo, es necesario prestar atención a las reglas relacionadas del acuerdo AGPL-3.0:
Número del grupo: 682921940. Se recomienda plantear preguntas a través de Issues en GitHub; solo agregue el grupo QQ si es realmente necesario, ya que el grupo tiene un límite de miembros. El grupo QQ no proporciona función de descarga de software.
Este software ha sido aceptado por The Web Conference (WWW) 2023 (conferencia de primer nivel de la Sociedad China de Informática, CCF A): EasySpider: Un sistema visual sin código para rastrear la web, abril de 2023.
Patente de invención de la Administración Nacional de Propiedad Intelectual de China, Un sistema de encapsulación de servicios con proceso de extracción personalizado, mayo de 2022.
Tesis de maestría de la Universidad de Zhejiang, Diseño e implementación de un sistema de encapsulación de servicios inteligente orientado a aplicaciones web, junio de 2020.
Consulte las Instrucciones de compilación.
