EasySpider: Visueller Code-freier Web-Crawler

Ein vollständig kostenloses (einschließlich kommerzieller Nutzung und Weiterentwicklung) visuelles Browser-Automatisierungsprogramm zum Testen/Datensammeln/Crawlen, mit dem Aufgaben auf grafische und codefreie Weise entworfen und ausgeführt werden können. Sie müssen lediglich den gewünschten Inhalt auf der Webseite auswählen und den Anweisungen folgen, um die Aufgabe zu entwerfen und auszuführen. Gleichzeitig kann die Software auch separat über die Befehlszeile ausgeführt werden, sodass sie leicht in andere Systeme eingebettet werden kann.

Eine vollständig kostenlose (einschließlich kommerzieller Nutzung und Weiterentwicklung) visuelle Browser-Automatisierungssoftware zum Testen/Datensammeln/Crawlen, mit der Aufgaben auf codefreie, visuelle Weise entworfen und ausgeführt werden können. Sie müssen lediglich den gewünschten Inhalt auf der Webseite auswählen und den Anweisungen folgen, um die Aufgabe zu entwerfen und auszuführen. Gleichzeitig kann die Software auch separat über die Befehlszeile ausgeführt werden, sodass sie leicht in andere Systeme eingebettet werden kann.

EasySpider herunterladen

Gehen Sie zur Releases-Seite, um die neueste Version herunterzuladen. Wenn die Download-Geschwindigkeit langsam ist, können Sie die Download-Adresse in China verwenden: Download in China.

Siehe die Releases-Seite für den Download der neuesten Version von EasySpider.

Software-Nutzungsbeispiel

Beispiel 1

(Rechtsklick) Wählen Sie einen großen Produktblock aus -> Die Software erkennt automatisch ähnliche Blöcke -> Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Unterelemente auswählen' -> Klicken Sie auf die Option 'Daten sammeln', um alle Informationen aller Produkte zu sammeln, die in verschiedenen Feldern gespeichert werden.

(Rechtsklick) Wählen Sie einen großen Produktblock aus -> Die Software erkennt automatisch ähnliche Blöcke -> Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Unterelemente auswählen' -> Klicken Sie auf die Option 'Daten sammeln', Sie können die Informationen aller Produkte sammeln und werden nach Unterfeldern gespeichert.

Beispiel 2

(Rechtsklick) Wählen Sie einen Produkttitel aus, gleichartige Titel werden automatisch zugeordnet. Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Daten sammeln', um die Titelinformationen aller Produkte zu sammeln.

Wenn Sie nach der Auswahl aller die Option 'Jedes Element nacheinander anklicken' wählen, wird automatisch die Detailseite jedes Produkts geöffnet, und Sie können dann die Informationen der Detailseite sammeln.

(Rechtsklick) Wählen Sie einen Produkttitel aus, gleichartige Titel werden automatisch zugeordnet. Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Daten sammeln', um die Titelinformationen aller Produkte zu sammeln.

Wenn Sie nach der Auswahl aller die Option 'Jedes Element nacheinander anklicken' wählen, wird automatisch die Detailseite jedes Produkts geöffnet, und Sie können dann die Informationen der Detailseite sammeln.

Sponsoren

Bright Data（亮数据） als weltweit führendes Proxy-Netzwerk mit über 150 Millionen IPs weltweit, bietet echte Residential-IPs und Erfassungs-APIs, unterstützt die groß angelegte stabile Erfassung öffentlicher Internetdaten mit nachweislich hohen Erfolgsquoten. Für kosteneffiziente Proxy-Dienste klicken Sie auf das Bild oben, um sich zu registrieren und den chinesischen Kundendienst zu kontaktieren; derzeit gibt es Aktionen wie „Erste Einzahlung wird verdoppelt" und 50% Rabatt auf dynamische IPs. Bright Data kann auch in Verbindung mit Tools wie EasySpider für die Datenerfassung verwendet werden.

Bright Data ist ein führendes Proxy-Netzwerk mit über 150 Millionen IPs weltweit, das echte Residential-IPs und Web-Unlocker bietet, um Ihnen zu helfen, öffentliche Webdaten in großem Umfang zu sammeln, mit nachweislich hohen Erfolgsquoten. Für kostengünstigen Proxy-Zugang klicken Sie auf das Banner oben, um sich anzumelden und unser chinesisches Support-Team zu erreichen – derzeit gibt es eine Aktion, die Ihre erste Einzahlung verdoppelt.

CapSolver ist einer der Top-3-Anbieter im Bereich CAPTCHA-Lösung und bietet KI-gestützte CAPTCHA-Lösungen, die reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF und mehr unterstützen. Entwickelt für umfangreiches Web Scraping und automatisierte Workflows, stärkt es Ihre AI- und BI-Projekte mit Dekodierungsgeschwindigkeiten von <3s, einer Erfolgsrate von >99% und 0% Ausfallzeit. Schneller Kundensupport, das beste Preis-Leistungs-Verhältnis auf dem Markt, und Sie erhalten zusätzlich 6% Rabatt mit EasySpider’s Bonuscode: ESN.

CapSolver ist einer der Top-3-Anbieter in der CAPTCHA-Lösungsbranche und bietet KI-gestützte Lösungen, die reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF und mehr unterstützen. Entwickelt für umfangreiches Web Scraping und automatisierte Workflows, bietet es Dekodierungsgeschwindigkeiten von <3s, eine Erfolgsrate von >99% und 0% Ausfallzeit, und stärkt Ihre AI- und BI-Projekte. Unterstützt durch schnellen Kundenservice, bietet es das beste Preis-Leistungs-Verhältnis auf dem Markt. Holen Sie sich zusätzliche 6% Extra-Guthaben mit EasySpider’s Bonuscode: ESN.

Klicken Sie hier, um zu sehen, wie Sie CAPTCHA in EasySpider mit CapSolver-Integration lösen.

IPPeak bietet eine große Anzahl echte Residential-IPs + leistungsstarke Netzwerkarchitektur, reduziert effektiv die Sperrrate, erhöht die Erfolgsrate und macht jede Anfrage wertvoller. Durchschnittliche Antwortzeit < 0,5s | IP-Quellen legal und zuverlässig | Aufgaben unterbrechungsfrei

Drei Kernlösungen, die alle Erfassungsszenarien abdecken

Wohnungsproxys ab $0,49/GB | unbegrenzte Parallelität | präzise Standort-/ASN-Positionierung

Unbegrenzte Residential-IPs ab $8/Stunde | unbegrenztes Datenvolumen & IPs 99,9% Verfügbarkeit | Langzeitbetrieb ohne Druck

ISP-Proxys | stabiler Langzeitbetrieb ab $3,7/IP | exklusive statische Residential-IPs | unbegrenztes Datenvolumen

24/7 professioneller Support, IPPeak gewährleistet stabile und kontinuierliche Datenerfassung

LegionProxy als schnell wachsendes Proxy-Netzwerk mit über 74 Millionen echten Residential-IPs in 195+ Ländern, bietet echte Residential-Proxys und HTTP/3-Unterstützung, hilft bei groß angelegtem Web Scraping und Automatisierungsaufgaben, um IP-Sperren zu vermeiden. Residential-Pakete ab nur $0,60/GB, sofortige Aktivierung und schneller chinesischer Kundenservice.

LegionProxy ist ein schnell wachsendes Proxy-Netzwerk mit über 74 Millionen Residential-IPs in 195+ Ländern und bietet echte Residential-Proxys und HTTP/3-Unterstützung, um Ihnen zu helfen, Scraping und Automatisierung in großem Umfang ohne IP-Sperren durchzuführen. Residential-Pläne beginnen bei nur $0,60/GB, mit sofortiger Aktivierung und reaktionsschnellem Support, wann immer Sie ihn brauchen.

Offizielle Webseite

Besuchen Sie die offizielle Webseite von EasySpider: www.easyspider.cn

Besuchen Sie die offizielle Webseite von EasySpider: www.easyspider.net

Weitere Funktionen

Weitere Funktionen finden Sie am Ende dieser Seite.

Weitere Funktionen finden Sie am Ende dieser Seite.

Autor unterstützen

EasySpider ist eine völlig kostenlose Open-Source-Software ohne Werbung. Die Entwicklung und Wartung der Software erfolgt ausschließlich durch die Begeisterung des Autors. Daher können Sie den Autor unterstützen, damit er mehr Energie und Zeit für die Pflege dieser Software aufwenden kann. Wenn Sie diese Software für kommerzielle Zwecke nutzen, laden wir Sie ein, den Autor auf folgende Weise zu unterstützen:

1. Github Sponsor: Klicken Sie direkt auf die Schaltfläche Sponsor auf der rechten Seite.
2. Alipay-Konto: [email protected], oder scannen Sie den folgenden QR-Code.
3. WeChat-Zahlung: Scannen Sie den folgenden QR-Code.
4. PayPal-Konto: naibowang, oder scannen Sie den folgenden QR-Code.

You can support the author by clicking the Sponsor button on the right side or pay via PayPal: naibowang.

Dokumentation

Bitte klicken Sie hier, um zum Tutorial-Dokument zu gelangen. Falls es auf Englisch ist, übersetzen Sie es vorübergehend, oder lesen Sie die Masterarbeit des Autors (hauptsächlich Kapitel 3 und 5).

Ebay-Beispiel-Blog: https://blog.csdn.net/ihero/article/details/130805504.

Dokumentation finden Sie im GitHub Wiki.

Video-Tutorials

Bilibili Video-Tutorials:

EasySpider Einführung – Fallbeispiel Erdbeben-Monitoring in China

Seite nach unten scrollen einstellen

Wie man ohne Code visuell Websites crawlt, die eine Anmeldung erfordern – Fallbeispiel Zhihu

Schleife durch Links in einer Liste, um Detailseiten zu öffnen und Inhalte zu sammeln + dynamisches Debuggen beim Entwurf + dynamisches JS

Praktisches Crawlen von Auto-Webseitenartikeln und Herunterladen von Bildern im Artikel

Geplante Ausführung von Aufgaben + verschiedene Modi zur Auswahl von Unterelementen + Verwendung von extrahierten Werten als Variablen

【Wichtig】Benutzerdefinierte Bedingungsprüfung unter Verwendung des Rückgabewerts von JS-Befehlen innerhalb der Schleife – Teil 2

Logik der Ausführung von Flussdiagrammen – Fallbeispiel Erfassung von Immobilienbeschreibungen auf 58.com

Anleitung zum Entwerfen und Ausführen von eBay-Crawler-Aufgaben auf macOS

Wie man eigenen JS-Code und Systemcode ausführt (benutzerdefinierte Aktionen)

Wie man benutzerdefinierte Schleifen- und Bedingungsbedingungen definiert – Teil 1

Wie man Screenshots von Elementen und Webseiten macht und Anleitung zur Befehlszeilenausführung

OCR-Erkennung von Elementinhalten (häufig für Text-CAPTCHAs)

Wie man Websites crawlt, die eine CAPTCHA-Eingabe erfordern

Wie man den IP-Pool wechselt und Tunnel-IPs verwendet – Fallbeispiel Öffnen von Detailseiten

Wie man mehrere Aufgaben gleichzeitig ausführt (parallele Ausführung)

Ergebnisse von Python-Berechnungen als Eingabe in Textfelder

Beispiel – Crawlen schwieriger Websites und Code-Debugging

Anleitung zum Schreiben in MySQL-Datenbanken

Anleitung zum Kompilieren des Programms aus dem Quellcode und zum Entwerfen, Ausführen und Debuggen von Aufgaben (basierend auf Ubuntu 24.04)

Siehe die Youtube-Playlist für die Video-Tutorials von EasySpider.

Beispielaufgaben

Laden Sie Beispielaufgaben aus dem Examples-Ordner dieses Projekts herunter, benennen Sie sie in Zahlen größer als 0 um, importieren Sie sie in den tasks-Ordner in EasySpider und öffnen Sie sie dann in EasySpider.

Download sample tasks from the Examples folder of this project, rename them to numbers greater than 0, import them into the tasks folder in EasySpider, and then open them in EasySpider.

Erklärung

Diese Software dient nur zum Lernen und Austausch. Es ist strengstens verboten, die Software für rechtswidrige Handlungen zu verwenden, wie das Crawlen von nicht erlaubten Regierungs-/Militär-Webseiten. Alle Konsequenzen aus der Nutzung dieser Software trägt der Nutzer selbst und sind nicht mit dem Autor verbunden. Der Autor übernimmt keine Haftung.

This software is for learning and communication only. It is strictly forbidden to use the software for any illegal operations, such as crawling government/military websites that are not allowed to be crawled. All consequences caused by the use of this software are at the user's own risk, and the author is not responsible for any consequences.

Für Crawler-Operationen auf Regierungs- und Militär-Webseiten wird der Autor keine Fragen beantworten, um Verstöße gegen nationale Gesetze, Vorschriften und Richtlinien zu vermeiden.

For the crawler operations of government and military websites, the author will not answer any questions in order to avoid violating relevant national laws, regulations and policies.

EasySpider unterliegt der AGPL-3.0-Lizenz. Jede natürliche oder juristische Person kann die Software kostenlos nutzen oder den Quellcode für Weiterentwicklungen verwenden, ohne den Autor um kommerzielle (Patent-)Lizenzierung bitten zu müssen. Beachten Sie jedoch die relevanten Regeln der AGPL-3.0-Lizenz:

EasySpider complies with the AGPL-3.0 agreement. Any individual or enterprise can use the software for free and use the software source code for secondary development without contacting the author for commercial (patent) authorization. However, it is necessary to pay attention to the related rules of the AGPL-3.0 agreement:

1. Copyleft (Weitergabeprinzip) / Copyleft (Viral Clause)

• Abgeleitete Werke / Derivative Works
  • Jede Änderung oder jedes abgeleitete Werk, das auf AGPL-Code basiert, muss unter derselben Lizenz (AGPL-3.0) veröffentlicht werden.
  • Any modifications or derivative works based on AGPL code must be licensed under AGPL-3.0.
• Umfang des Copylefts / Scope of Copyleft
  • Wenn AGPL-Code mit anderem Code kombiniert wird (z.B. statische Verlinkung, enge Integration), muss das gesamte Werk AGPL entsprechen.
  • If AGPL code is combined with other code (e.g., static linking), the entire work must comply with AGPL.

2. Netzwerknutzungsbedingungen / Network Use Clause

• SaaS löst Open-Source-Pflicht aus / SaaS Trigger
  • Wenn die Software als Dienst bereitgestellt wird (z.B. Webseite, API), muss allen Nutzern der vollständige entsprechende Quellcode (einschließlich Änderungen) zugänglich gemacht werden.
  • If the software is provided as a service (e.g., website, API), the full corresponding source code (including modifications) must be made available to all users.
• Nutzerrechte / User Rights
  • Empfänger des Dienstes können den Quellcode per Download oder schriftlicher Anfrage erhalten.
  • Service recipients may obtain the source code via download or written request.

3. Quellcode-Bereitstellungspflicht / Source Code Provision

• Binäre Verteilung / Binary Distribution
  • Quellcode muss beigefügt oder ein Zugang (z.B. Download-Link) bereitgestellt werden.
  • Source code must be included or a download link provided.
• Netzwerkdienst-Szenario / Network Service Scenario
  • Über die Dienstschnittstelle muss explizit ein Quellcode-Link bereitgestellt werden, oder dem Nutzer ein schriftliches Angebot zur Bereitstellung des Quellcodes gemacht werden.
  • The service interface must explicitly provide a source code link or offer a written offer for source code.

4. Patenterteilung / Patent Grant

• Mitwirkende gewähren Nutzern automatisch ein Patentrecht in Bezug auf die Software und untersagen Patentklagen.
• Contributors automatically grant users patent rights related to the software, and prohibit patent litigation.

5. Haftungsausschluss / Disclaimer

• Die Software wird „wie besehen" bereitgestellt, der Autor übernimmt keinerlei Haftung (keine Gewährleistung).
• The software is provided "as is" with no warranties or liabilities.

QQ-Gruppe für Fragen

Gruppennummer: 682921940. Es wird empfohlen, Fragen über Github Issues zu stellen. Fügen Sie die QQ-Gruppe nur bei dringendem Bedarf hinzu, da die Gruppenmitgliederzahl begrenzt ist. Die QQ-Gruppe bietet keine Software-Download-Funktion.

Veröffentlichungen

• Diese Software wurde von der Web Conference (WWW) 2023 (Top-Konferenz der Chinesischen Computerföderation, CCF A) angenommen: EasySpider: A No-Code Visual System for Crawling the Web, April 2023.

• Chinesisches Nationales Patentamt für Erfindungen, Ein Dienstkapselungssystem mit benutzerdefiniertem Extraktionsprozess, Mai 2022.

• Masterarbeit der Zhejiang-Universität, Design und Implementierung eines intelligenten Dienstkapselungssystems für Webanwendungen, Juni 2020.

Kompilierungsanleitung

Siehe Kompilierungsanleitung.

Refer to Compilation Instructions.

Unterstützte Funktionen

Screenshots der deutschen Oberfläche

Beispiel der Software-Oberfläche

Block- und Unterblock-Definition sowie Formulardefinition

Beispiel für bereits ausgewählte und noch auszuwählende Elemente

Beispiel für die Auswahl von JD-Produktblöcken:

Beispiel für automatische Zuordnung von JD-Produkttiteln

Beispiel für die Auswahl aller Unterelemente eines Blocks

Beispiel für automatische und manuelle Zuordnung gleichartiger Elemente

Beispiel für vier Auswahlmodi

Beispiel für Texteingabe

Beispiel für das schrittweise Anklicken von 58.com-Immobilientiteln, um in die Detailseite zu gelangen

Beispiel für das Sammeln von Elementtext

Einführung in die Flussdiagramm-Oberfläche

Beispiel für Schleifenoptionen

Beispiel für das Anklicken der nächsten Seite in einer Schleife

Beispiel für bedingte Verzweigungen

Beispiel für ein vollständiges Erfassungs-Flussdiagramm

Beispiel für die Umwandlung eines vollständigen Erfassungs-Flussdiagramms in ein normales Flussdiagramm

Beispiel für Dienstinformationen

Beispiel für Dienstaufruf

Beispiel für einige Erfassungsergebnisse des 58.com-Immobilieninformationsdienstes