naibowang/easyspider
Un crawler/araignée web visuel sans code : 易采集 est un logiciel d'automatisation de tests navigateur, de collecte de données et de crawling web, permettant de concevoir et d'exécuter graphiquement des tâches de crawl sans code. Alias : ServiceWrapper, un système d'encapsulation intelligent de services orienté applications Web.
Un logiciel totalement gratuit (y compris pour un usage commercial et le développement secondaire) de test d'automatisation de navigateur / collecte de données / robot d'exploration Web visuel, qui permet de concevoir et d'exécuter des tâches de manière visuelle et sans code. Il suffit de sélectionner le contenu que vous souhaitez manipuler sur la page Web et de suivre les invites pour terminer la conception et l'exécution de la tâche. En même temps, le logiciel peut également être exécuté séparément en ligne de commande, ce qui permet de l'intégrer facilement dans d'autres systèmes.
Un logiciel totalement gratuit (y compris pour un usage commercial et le développement secondaire) de test d'automatisation de navigateur / collecte de données / robot d'exploration Web visuel, qui peut être utilisé pour concevoir et exécuter des tâches de manière visuelle et sans code. Il vous suffit de sélectionner le contenu que vous souhaitez manipuler sur la page Web et de suivre les invites pour terminer la conception et l'exécution de la tâche. En même temps, le logiciel peut également être exécuté séparément en ligne de commande, ce qui permet de l'intégrer facilement dans d'autres systèmes.
Allez sur la Page des versions pour télécharger la dernière version. Si le téléchargement est lent, vous pouvez essayer l'adresse de téléchargement en Chine : Adresse de téléchargement en Chine.
Reportez-vous à la Page des versions pour télécharger la dernière version d'EasySpider.
(Clic droit) Sélectionnez un grand bloc de produit -> Le logiciel détecte automatiquement les blocs similaires -> Cliquez sur l'option 'Sélectionner tout' -> Cliquez sur l'option 'Sélectionner les éléments enfants' -> Cliquez sur l'option 'Collecter les données', vous pouvez collecter toutes les informations de tous les produits, qui seront enregistrées par sous-champ.
(Clic droit) Sélectionnez un grand bloc de produit -> Le logiciel détecte automatiquement les blocs similaires -> Cliquez sur l'option 'Sélectionner tout' -> Cliquez sur l'option 'Sélectionner les éléments enfants' -> Cliquez sur l'option 'Collecter les données', vous pouvez collecter les informations de tous les produits, qui seront sauvegardées par sous-champ.
(Clic droit) Sélectionnez un titre de produit, les titres du même type sont automatiquement assortis, cliquez sur l'option 'Sélectionner tout' -> Cliquez sur l'option 'Collecter les données', vous pouvez collecter les informations de titre de tous les produits.
En même temps, si vous sélectionnez l'option 'Cliquer en boucle sur chaque élément' après avoir tout sélectionné, vous pouvez automatiquement ouvrir la page de détail de chaque produit, puis définir la collecte des informations de la page de détail.
(Clic droit) Sélectionnez un titre de produit, les titres du même type sont automatiquement assortis, cliquez sur l'option 'Sélectionner tout' -> Cliquez sur l'option 'Collecter les données', vous pouvez collecter les informations de titre de tous les produits.
En même temps, si vous sélectionnez l'option 'Cliquer en boucle sur chaque élément' après avoir tout sélectionné, vous pouvez automatiquement ouvrir la page de détail de chaque produit, puis définir la collecte des informations de la page de détail.
Bright Data (Bright Data) est le premier réseau de proxy mondial, couvrant plus de 150 millions d'IP dans le monde, fournissant des IP résidentielles réelles et des API de collecte, prenant en charge la collecte stable à grande échelle de données publiques sur Internet, avec un taux de réussite éprouvé. Si vous avez besoin de services de proxy à coût élevé, vous pouvez cliquer sur l'image ci-dessus pour vous inscrire et contacter le service client chinois ; il existe actuellement des offres promotionnelles "Premier dépôt égal au montant" et "IP dynamique à 50 % de réduction". Bright Data peut également être utilisé avec des outils tels qu'EasySpider pour la collecte de données.
Bright Data est un réseau de proxy de premier plan avec plus de 150 millions d'IP dans le monde, offrant des IP résidentielles réelles et un déverrouillage Web pour vous aider à collecter des données publiques à grande échelle avec des taux de réussite élevés et éprouvés. Pour un accès proxy rentable, cliquez sur la bannière ci-dessus pour vous inscrire et contacter notre équipe de support chinois – il y a actuellement une promotion qui correspond à votre premier dépôt.
CapSolver est l'un des trois principaux fournisseurs dans le domaine de la résolution de CAPTCHA, offrant des services de résolution de CAPTCHA basés sur l'IA, prenant en charge reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF, etc. Conçu pour le scraping Web à grande échelle et les workflows automatisés, il alimente vos projets IA et BI, avec des vitesses de décodage pouvant atteindre < 3 secondes, un taux de réussite > 99 %, et une disponibilité de 0 temps d'arrêt. Support client rapide, meilleur rapport qualité-prix du marché, et vous pouvez utiliser le code promo exclusif EasySpider : ESN pour 6 % de réduction supplémentaire.
CapSolver est l'un des trois principaux fournisseurs dans le domaine de la résolution de CAPTCHA, offrant des solutions basées sur l'IA qui prennent en charge reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF, etc. Conçu pour le scraping Web à grande échelle et les workflows automatisés, il offre des vitesses de décodage < 3 secondes, un taux de réussite > 99 %, et 0 temps d'arrêt, alimentant vos projets IA et BI. Soutenu par un support client rapide, il offre le meilleur rapport qualité-prix sur le marché. Obtenez 6 % de crédit supplémentaire avec le code promo d'EasySpider : ESN.
Cliquez ici pour voir comment résoudre les CAPTCHA dans EasySpider avec l'intégration CapSolver.
IPPeak fournit un grand nombre d'IP résidentielles réelles + une architecture réseau haute performance, réduisant efficacement le taux de blocage et améliorant le taux de réussite, rendant chaque demande plus précieuse. Temps de réponse moyen < 0,5 seconde | Source IP conforme et fiable | Tâches fluides sans interruption
Trois solutions principales couvrant tous les scénarios de collecte
Proxy résidentiel à partir de 0,49 $/Go | Concurrence illimitée | Ciblage géographique / ASN précis
Proxy résidentiel illimité À partir de 8 $/heure | Trafic illimité & IP Taux de disponibilité 99,9 % | Fonctionnement prolongé sans stress
Proxy ISP | Fonctionnement stable à long terme À partir de 3,7 $/IP | IP résidentielles statiques dédiées | Trafic illimité
Support professionnel 24h/24 et 7j/7, IPPeak garantit une collecte de données stable et continue.
LegionProxy est un réseau de proxy en pleine croissance, couvrant plus de 195 pays et régions, avec plus de 74 millions d'IP résidentielles réelles, fournissant de véritables proxys résidentiels et un support HTTP/3 pour faciliter le scraping Web à grande échelle et les tâches automatisées, en évitant efficacement les blocages IP. Les forfaits résidentiels commencent à partir de 0,60 $/Go, avec activation instantanée et réponse rapide du support client chinois.
LegionProxy est un réseau de proxy en pleine croissance avec plus de 74 millions d'IP résidentielles dans plus de 195 pays, offrant de véritables proxys résidentiels et un support HTTP/3 pour vous aider à exécuter le scraping et l'automatisation à grande échelle sans blocage IP. Les forfaits résidentiels commencent à seulement 0,60 $/Go, avec activation instantanée et un support réactif lorsque vous en avez besoin.
Visitez le site officiel d'EasySpider : www.easyspider.cn
Visitez le site officiel d'EasySpider : www.easyspider.net
Pour plus de fonctionnalités, faites défiler jusqu'en bas de cette page.
EasySpider est un logiciel open source totalement gratuit et sans publicité pendant son utilisation. Le développement et la maintenance du logiciel reposent entièrement sur l'amour du développeur. Par conséquent, vous pouvez choisir de soutenir l'auteur pour lui donner plus d'enthousiasme et d'énergie pour maintenir ce logiciel. Si vous avez utilisé ce logiciel pour réaliser des bénéfices, vous êtes invités à soutenir l'auteur de la manière suivante :
Vous pouvez soutenir l'auteur en cliquant sur le bouton Sponsor à droite ou en payant via PayPal : naibowang.
Veuillez cliquer ici pour accéder au wiki de documentation. Si nécessaire, vous pouvez traduire temporairement en anglais, ou consulter la thèse de master de l'auteur (principalement les chapitres 3 et 5).
Exemple de blog eBay : https://blog.csdn.net/ihero/article/details/130805504.
La documentation est disponible sur le GitHub Wiki.
Tutoriels vidéo sur Bilibili/B站 :
Présentation d'EasySpider - Cas de collecte du réseau sismique chinois
Définir le défilement vers le bas de la page
Comment scraper sans code un site nécessitant une connexion - Cas du site Zhihu
Collecte pratique du contenu d'articles d'un site automobile et téléchargement des images
Logique d'exécution de diagramme de flux - Cas de collecte de descriptions de biens sur 58.com
Tutoriel de conception et d'exécution d'une tâche de scraping eBay sur macOS
Comment exécuter votre propre code JS et code système (opérations personnalisées)
Comment personnaliser les boucles et les conditions - Première partie
Comment capturer des éléments et des pages Web, et guide d'exécution en ligne de commande
Fonctionnalité de reconnaissance OCR du contenu des éléments (utile pour les CAPTCHA textuels)
Comment scraper un site nécessitant la saisie d'un CAPTCHA
Comment exécuter plusieurs tâches simultanément (multi-ouverture parallèle)
Utiliser le résultat d'un calcul Python comme entrée d'un champ de texte
Exemple - Collecte d'articles sur un site anti-humain et débogage de code
Tutoriel d'écriture dans une base de données MySQL
Reportez-vous à la Playlist Youtube pour voir les tutoriels vidéo d'EasySpider.
Téléchargez les exemples de tâches depuis le dossier Examples de ce projet, renommez-les avec un nombre supérieur à 0, importez-les dans le dossier tasks d'EasySpider, puis ouvrez-les dans EasySpider.
Téléchargez les exemples de tâches depuis le dossier Examples de ce projet, renommez-les en nombres supérieurs à 0, importez-les dans le dossier tasks d'EasySpider, puis ouvrez-les dans EasySpider.
Ce logiciel est destiné à l'apprentissage et à la communication uniquement. Il est strictement interdit d'utiliser le logiciel pour toute opération illégale, comme le scraping de sites Web gouvernementaux/militaires qui ne sont pas autorisés au scraping. Toutes les conséquences découlant de l'utilisation de ce logiciel sont de la seule responsabilité de l'utilisateur, et l'auteur décline toute responsabilité.
Ce logiciel est destiné à l'apprentissage et à la communication uniquement. Il est strictement interdit d'utiliser le logiciel pour toute opération illégale, comme le scraping de sites Web gouvernementaux/militaires qui ne sont pas autorisés au scraping. Toutes les conséquences découlant de l'utilisation de ce logiciel sont de la seule responsabilité de l'utilisateur, et l'auteur n'est pas responsable des conséquences.
Pour les opérations de scraping sur les sites gouvernementaux et militaires, l'auteur ne répondra à aucune question afin d'éviter de violer les lois, règlements et politiques nationaux pertinents.
EasySpider suit le protocole AGPL-3.0. Tout individu ou entreprise peut utiliser le logiciel gratuitement ou utiliser le code source pour un développement secondaire sans contacter l'auteur pour une autorisation commerciale (brevet). Cependant, il est nécessaire de prêter attention aux règles liées au protocole AGPL-3.0 :
EasySpider est conforme à l'accord AGPL-3.0. Tout individu ou entreprise peut utiliser le logiciel gratuitement et utiliser le code source du logiciel pour un développement secondaire sans contacter l'auteur pour une autorisation commerciale (brevet). Cependant, il est nécessaire de prêter attention aux règles connexes de l'accord AGPL-3.0 :
Numéro du groupe : 682921940. Il est recommandé de poser des questions via les issues GitHub. N'ajoutez le groupe QQ que si nécessaire, car le nombre de membres est limité. Le groupe QQ ne fournit pas de fonctionnalité de téléchargement du logiciel.
Ce logiciel a été accepté par The Web Conference (WWW) 2023 (Conférence de haut niveau du CCF chinois, CCF A) : EasySpider: A No-Code Visual System for Crawling the Web, avril 2023.
Brevet d'invention de l'Office national de la propriété intellectuelle de Chine, Système de conditionnement de services avec flux d'extraction personnalisé, mai 2022.
Mémoire de master de l'Université du Zhejiang, Conception et mise en œuvre d'un système de conditionnement de services intelligents pour applications Web, juin 2020.
Consultez les Instructions de compilation.
Reportez-vous aux Instructions de compilation.
