naibowang/easyspider
Ein visueller No-Code/Code-free Webcrawler/Spider 易采集：Eine visuelle Software für Browser-Automatisierungstests/Datenerfassung/Webcrawling, mit der Crawling-Aufgaben ohne Code grafisch entworfen und ausgeführt werden können. Alias: ServiceWrapper – intelligentes Service-Wrapping-System für Webanwendungen.
Ein vollständig kostenloses (einschließlich kommerzieller Nutzung und Weiterentwicklung) visuelles Browser-Automatisierungsprogramm zum Testen/Datensammeln/Crawlen, mit dem Aufgaben auf grafische und codefreie Weise entworfen und ausgeführt werden können. Sie müssen lediglich den gewünschten Inhalt auf der Webseite auswählen und den Anweisungen folgen, um die Aufgabe zu entwerfen und auszuführen. Gleichzeitig kann die Software auch separat über die Befehlszeile ausgeführt werden, sodass sie leicht in andere Systeme eingebettet werden kann.
Eine vollständig kostenlose (einschließlich kommerzieller Nutzung und Weiterentwicklung) visuelle Browser-Automatisierungssoftware zum Testen/Datensammeln/Crawlen, mit der Aufgaben auf codefreie, visuelle Weise entworfen und ausgeführt werden können. Sie müssen lediglich den gewünschten Inhalt auf der Webseite auswählen und den Anweisungen folgen, um die Aufgabe zu entwerfen und auszuführen. Gleichzeitig kann die Software auch separat über die Befehlszeile ausgeführt werden, sodass sie leicht in andere Systeme eingebettet werden kann.
Gehen Sie zur Releases-Seite, um die neueste Version herunterzuladen. Wenn die Download-Geschwindigkeit langsam ist, können Sie die Download-Adresse in China verwenden: Download in China.
Siehe die Releases-Seite für den Download der neuesten Version von EasySpider.
(Rechtsklick) Wählen Sie einen großen Produktblock aus -> Die Software erkennt automatisch ähnliche Blöcke -> Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Unterelemente auswählen' -> Klicken Sie auf die Option 'Daten sammeln', um alle Informationen aller Produkte zu sammeln, die in verschiedenen Feldern gespeichert werden.
(Rechtsklick) Wählen Sie einen großen Produktblock aus -> Die Software erkennt automatisch ähnliche Blöcke -> Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Unterelemente auswählen' -> Klicken Sie auf die Option 'Daten sammeln', Sie können die Informationen aller Produkte sammeln und werden nach Unterfeldern gespeichert.
(Rechtsklick) Wählen Sie einen Produkttitel aus, gleichartige Titel werden automatisch zugeordnet. Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Daten sammeln', um die Titelinformationen aller Produkte zu sammeln.
Wenn Sie nach der Auswahl aller die Option 'Jedes Element nacheinander anklicken' wählen, wird automatisch die Detailseite jedes Produkts geöffnet, und Sie können dann die Informationen der Detailseite sammeln.
(Rechtsklick) Wählen Sie einen Produkttitel aus, gleichartige Titel werden automatisch zugeordnet. Klicken Sie auf die Option 'Alle auswählen' -> Klicken Sie auf die Option 'Daten sammeln', um die Titelinformationen aller Produkte zu sammeln.
Wenn Sie nach der Auswahl aller die Option 'Jedes Element nacheinander anklicken' wählen, wird automatisch die Detailseite jedes Produkts geöffnet, und Sie können dann die Informationen der Detailseite sammeln.
Bright Data（亮数据） als weltweit führendes Proxy-Netzwerk mit über 150 Millionen IPs weltweit, bietet echte Residential-IPs und Erfassungs-APIs, unterstützt die groß angelegte stabile Erfassung öffentlicher Internetdaten mit nachweislich hohen Erfolgsquoten. Für kosteneffiziente Proxy-Dienste klicken Sie auf das Bild oben, um sich zu registrieren und den chinesischen Kundendienst zu kontaktieren; derzeit gibt es Aktionen wie „Erste Einzahlung wird verdoppelt" und 50% Rabatt auf dynamische IPs. Bright Data kann auch in Verbindung mit Tools wie EasySpider für die Datenerfassung verwendet werden.
Bright Data ist ein führendes Proxy-Netzwerk mit über 150 Millionen IPs weltweit, das echte Residential-IPs und Web-Unlocker bietet, um Ihnen zu helfen, öffentliche Webdaten in großem Umfang zu sammeln, mit nachweislich hohen Erfolgsquoten. Für kostengünstigen Proxy-Zugang klicken Sie auf das Banner oben, um sich anzumelden und unser chinesisches Support-Team zu erreichen – derzeit gibt es eine Aktion, die Ihre erste Einzahlung verdoppelt.
CapSolver ist einer der Top-3-Anbieter im Bereich CAPTCHA-Lösung und bietet KI-gestützte CAPTCHA-Lösungen, die reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF und mehr unterstützen. Entwickelt für umfangreiches Web Scraping und automatisierte Workflows, stärkt es Ihre AI- und BI-Projekte mit Dekodierungsgeschwindigkeiten von <3s, einer Erfolgsrate von >99% und 0% Ausfallzeit. Schneller Kundensupport, das beste Preis-Leistungs-Verhältnis auf dem Markt, und Sie erhalten zusätzlich 6% Rabatt mit EasySpider’s Bonuscode: ESN.
CapSolver ist einer der Top-3-Anbieter in der CAPTCHA-Lösungsbranche und bietet KI-gestützte Lösungen, die reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF und mehr unterstützen. Entwickelt für umfangreiches Web Scraping und automatisierte Workflows, bietet es Dekodierungsgeschwindigkeiten von <3s, eine Erfolgsrate von >99% und 0% Ausfallzeit, und stärkt Ihre AI- und BI-Projekte. Unterstützt durch schnellen Kundenservice, bietet es das beste Preis-Leistungs-Verhältnis auf dem Markt. Holen Sie sich zusätzliche 6% Extra-Guthaben mit EasySpider’s Bonuscode: ESN.
Klicken Sie hier, um zu sehen, wie Sie CAPTCHA in EasySpider mit CapSolver-Integration lösen.
IPPeak bietet eine große Anzahl echte Residential-IPs + leistungsstarke Netzwerkarchitektur, reduziert effektiv die Sperrrate, erhöht die Erfolgsrate und macht jede Anfrage wertvoller. Durchschnittliche Antwortzeit < 0,5s | IP-Quellen legal und zuverlässig | Aufgaben unterbrechungsfrei
Drei Kernlösungen, die alle Erfassungsszenarien abdecken
Wohnungsproxys ab $0,49/GB | unbegrenzte Parallelität | präzise Standort-/ASN-Positionierung
Unbegrenzte Residential-IPs ab $8/Stunde | unbegrenztes Datenvolumen & IPs 99,9% Verfügbarkeit | Langzeitbetrieb ohne Druck
ISP-Proxys | stabiler Langzeitbetrieb ab $3,7/IP | exklusive statische Residential-IPs | unbegrenztes Datenvolumen
24/7 professioneller Support, IPPeak gewährleistet stabile und kontinuierliche Datenerfassung
LegionProxy als schnell wachsendes Proxy-Netzwerk mit über 74 Millionen echten Residential-IPs in 195+ Ländern, bietet echte Residential-Proxys und HTTP/3-Unterstützung, hilft bei groß angelegtem Web Scraping und Automatisierungsaufgaben, um IP-Sperren zu vermeiden. Residential-Pakete ab nur $0,60/GB, sofortige Aktivierung und schneller chinesischer Kundenservice.
LegionProxy ist ein schnell wachsendes Proxy-Netzwerk mit über 74 Millionen Residential-IPs in 195+ Ländern und bietet echte Residential-Proxys und HTTP/3-Unterstützung, um Ihnen zu helfen, Scraping und Automatisierung in großem Umfang ohne IP-Sperren durchzuführen. Residential-Pläne beginnen bei nur $0,60/GB, mit sofortiger Aktivierung und reaktionsschnellem Support, wann immer Sie ihn brauchen.
Besuchen Sie die offizielle Webseite von EasySpider: www.easyspider.cn
Besuchen Sie die offizielle Webseite von EasySpider: www.easyspider.net
Weitere Funktionen finden Sie am Ende dieser Seite.
Weitere Funktionen finden Sie am Ende dieser Seite.
EasySpider ist eine völlig kostenlose Open-Source-Software ohne Werbung. Die Entwicklung und Wartung der Software erfolgt ausschließlich durch die Begeisterung des Autors. Daher können Sie den Autor unterstützen, damit er mehr Energie und Zeit für die Pflege dieser Software aufwenden kann. Wenn Sie diese Software für kommerzielle Zwecke nutzen, laden wir Sie ein, den Autor auf folgende Weise zu unterstützen:
You can support the author by clicking the Sponsor button on the right side or pay via PayPal: naibowang.
Bitte klicken Sie hier, um zum Tutorial-Dokument zu gelangen. Falls es auf Englisch ist, übersetzen Sie es vorübergehend, oder lesen Sie die Masterarbeit des Autors (hauptsächlich Kapitel 3 und 5).
Ebay-Beispiel-Blog: https://blog.csdn.net/ihero/article/details/130805504.
Dokumentation finden Sie im GitHub Wiki.
Bilibili Video-Tutorials:
EasySpider Einführung – Fallbeispiel Erdbeben-Monitoring in China
Seite nach unten scrollen einstellen
Wie man ohne Code visuell Websites crawlt, die eine Anmeldung erfordern – Fallbeispiel Zhihu
Praktisches Crawlen von Auto-Webseitenartikeln und Herunterladen von Bildern im Artikel
Anleitung zum Entwerfen und Ausführen von eBay-Crawler-Aufgaben auf macOS
Wie man eigenen JS-Code und Systemcode ausführt (benutzerdefinierte Aktionen)
Wie man benutzerdefinierte Schleifen- und Bedingungsbedingungen definiert – Teil 1
Wie man Screenshots von Elementen und Webseiten macht und Anleitung zur Befehlszeilenausführung
OCR-Erkennung von Elementinhalten (häufig für Text-CAPTCHAs)
Wie man Websites crawlt, die eine CAPTCHA-Eingabe erfordern
Wie man den IP-Pool wechselt und Tunnel-IPs verwendet – Fallbeispiel Öffnen von Detailseiten
Wie man mehrere Aufgaben gleichzeitig ausführt (parallele Ausführung)
Ergebnisse von Python-Berechnungen als Eingabe in Textfelder
Beispiel – Crawlen schwieriger Websites und Code-Debugging
Anleitung zum Schreiben in MySQL-Datenbanken
Siehe die Youtube-Playlist für die Video-Tutorials von EasySpider.
Laden Sie Beispielaufgaben aus dem Examples-Ordner dieses Projekts herunter, benennen Sie sie in Zahlen größer als 0 um, importieren Sie sie in den tasks-Ordner in EasySpider und öffnen Sie sie dann in EasySpider.
Download sample tasks from the Examples folder of this project, rename them to numbers greater than 0, import them into the tasks folder in EasySpider, and then open them in EasySpider.
Diese Software dient nur zum Lernen und Austausch. Es ist strengstens verboten, die Software für rechtswidrige Handlungen zu verwenden, wie das Crawlen von nicht erlaubten Regierungs-/Militär-Webseiten. Alle Konsequenzen aus der Nutzung dieser Software trägt der Nutzer selbst und sind nicht mit dem Autor verbunden. Der Autor übernimmt keine Haftung.
This software is for learning and communication only. It is strictly forbidden to use the software for any illegal operations, such as crawling government/military websites that are not allowed to be crawled. All consequences caused by the use of this software are at the user's own risk, and the author is not responsible for any consequences.
Für Crawler-Operationen auf Regierungs- und Militär-Webseiten wird der Autor keine Fragen beantworten, um Verstöße gegen nationale Gesetze, Vorschriften und Richtlinien zu vermeiden.
For the crawler operations of government and military websites, the author will not answer any questions in order to avoid violating relevant national laws, regulations and policies.
EasySpider unterliegt der AGPL-3.0-Lizenz. Jede natürliche oder juristische Person kann die Software kostenlos nutzen oder den Quellcode für Weiterentwicklungen verwenden, ohne den Autor um kommerzielle (Patent-)Lizenzierung bitten zu müssen. Beachten Sie jedoch die relevanten Regeln der AGPL-3.0-Lizenz:
EasySpider complies with the AGPL-3.0 agreement. Any individual or enterprise can use the software for free and use the software source code for secondary development without contacting the author for commercial (patent) authorization. However, it is necessary to pay attention to the related rules of the AGPL-3.0 agreement:
Gruppennummer: 682921940. Es wird empfohlen, Fragen über Github Issues zu stellen. Fügen Sie die QQ-Gruppe nur bei dringendem Bedarf hinzu, da die Gruppenmitgliederzahl begrenzt ist. Die QQ-Gruppe bietet keine Software-Download-Funktion.
Diese Software wurde von der Web Conference (WWW) 2023 (Top-Konferenz der Chinesischen Computerföderation, CCF A) angenommen: EasySpider: A No-Code Visual System for Crawling the Web, April 2023.
Chinesisches Nationales Patentamt für Erfindungen, Ein Dienstkapselungssystem mit benutzerdefiniertem Extraktionsprozess, Mai 2022.
Masterarbeit der Zhejiang-Universität, Design und Implementierung eines intelligenten Dienstkapselungssystems für Webanwendungen, Juni 2020.
Siehe Kompilierungsanleitung.
Refer to Compilation Instructions.
