naibowang/easyspider
Un web crawler/spider visuale senza codice YiCaiJi: un software visivo per automazione test browser, raccolta dati e web scraping, che consente di progettare ed eseguire attività di crawling in modo grafico e senza codice. Alias: ServiceWrapper, sistema di incapsulamento intelligente di servizi per applicazioni Web.
# 易采集/EasySpider: Visual Code-Free Web Crawler 一个**完全免费**（**包括商业使用和二次开发**）的可视化浏览器自动化测试/数据采集/爬虫软件，可以使用图形化界面，无代码可视化的设计和执行任务。只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行。同时软件还可以单独以命令行的方式进行执行，从而可以很方便地嵌入到其他系统中。 Un software di automazione browser/test di raccolta dati/web crawler **completamente gratuito (anche per uso commerciale e sviluppo secondario)**, che può essere utilizzato per progettare ed eseguire attività in modo visivo senza codice. Devi solo selezionare il contenuto che desideri operare sulla pagina web e seguire i prompt per completare la progettazione e l'esecuzione dell'attività. Allo stesso tempo, il software può anche essere eseguito separatamente dalla riga di comando, in modo da poter essere facilmente integrato in altri sistemi. <a href="https://trendshift.io/repositories/3367" target="_blank"><img src="https://trendshift.io/api/badge/repositories/3367" alt="NaiboWang%2FEasySpider | Trendshift" style="width: 250px; height: 55px;" width="250" height="55"/></a> ## 下载易采集/Download EasySpider 进入 [Releases Page](https://github.com/NaiboWang/EasySpider/releases) 下载最新版本。如果下载速度慢，可以考虑中国境内下载地址：[中国境内下载地址](https://www.easyspider.cn/download.html)。 Fai riferimento alla [pagina delle release](https://github.com/NaiboWang/EasySpider/releases) per scaricare l'ultima versione di EasySpider. ## 软件使用示例/Software Usage Example ### 示例1/Example 1 （右键）选中一个大商品块 -> 软件自动检测到同类型商品块 -> 点击“选中全部”选项 -> 点击“选中子元素”选项 -> 点击“采集数据”选项，即可采集到所有商品的所有信息，并分成不同字段保存。 (Fai clic destro) Seleziona un grande blocco di prodotto -> Il software rileva automaticamente blocchi simili -> Fai clic sull'opzione 'Seleziona tutto' -> Fai clic sull'opzione 'Seleziona elementi figli' -> Fai clic sull'opzione 'Raccogli dati', puoi raccogliere le informazioni di tutti i prodotti e verranno salvate per sottocampo.  ### 示例2/Example 2 （右键）选中一个商品标题，同类型标题会被自动匹配，点击“选中全部”选项 -> 点击“采集数据”选项，即可采集到所有商品的标题信息。 同时，选中全部后如果选择“循环点击每个元素”选项，即可自动打开每个商品的详情页，然后可以再继续设置采集详情页的信息。 (Fai clic destro) Seleziona un titolo di prodotto, i titoli dello stesso tipo verranno automaticamente abbinati, fai clic sull'opzione 'Seleziona tutto' -> Fai clic sull'opzione 'Raccogli dati', puoi raccogliere le informazioni del titolo di tutti i prodotti. Allo stesso tempo, se selezioni l'opzione 'Clicca a ciclo su ogni elemento' dopo aver selezionato tutto, puoi aprire automaticamente la pagina dei dettagli di ogni prodotto, e poi puoi impostare la raccolta delle informazioni della pagina dei dettagli.  ## 赞助者/Sponsors <a target="_blank" href="https://get.brightdata.com/naibowang"><img src="https://assets.kitploit.com/production/public/readmes/6561/e2cd3c0518c922d90528012e14aa5de6fb3c0f323cf5415cf398d60a9556b45b.png" width=850></img></a> [Bright Data（亮数据）](https://get.brightdata.com/naibowang) 代理网络 leader globale con oltre 150 milioni di IP in tutto il mondo, offre IP residenziali reali e API di raccolta, supportando la raccolta stabile su larga scala di dati pubblici su Internet, con tassi di successo verificati sul campo. Per servizi proxy convenienti, clicca sull'immagine sopra per registrarti e contattare il supporto in cinese; attualmente c'è una promozione "abbina il primo deposito" e uno sconto del 50% sugli IP dinamici. Bright Data può anche essere utilizzato con strumenti come EasySpider per la raccolta dati. <a target="_blank" href="https://get.brightdata.com/enbd"><img src="https://assets.kitploit.com/production/public/readmes/6561/2026531b3ecce2323c90efab29ac7cc451ae3a3ec9e2f423a1e3b9554312bbc2.png" width=850></img></a> [Bright Data](https://get.brightdata.com/enbd) è una rete proxy leader con oltre 150 milioni di IP in tutto il mondo, che offre IP residenziali reali e web unlocker per aiutarti a raccogliere dati web pubblici su larga scala con tassi di successo comprovati e elevati. Per un accesso proxy conveniente, clicca sul banner sopra per iscriverti e contattare il nostro team di supporto in cinese: c'è attualmente una promozione che abbina il tuo primo deposito. <!-- <a target="_blank" href="http://www.ipidea.net/?utm-source=ycj&utm-keyword=?ycj"><img src="https://raw.githubusercontent.com/naibowang/easyspider/master/media/IPIDEA.jpg" width=850></img></a> [IPIDEA](http://www.ipidea.net/?utm-source=ycj&utm-keyword=?ycj)通过全球高质量代理系统和自动化抓取工具，帮助企业解决地理与防护限制，快速精准地获取所需数据，提升采集效率，并为AI大模型训练、跨境电商、市场调研等应用场景提供可靠的数据支持。[IPIDEA](http://www.ipidea.net/?utm-source=ycj&utm-keyword=?ycj)还提供开箱即用的标准化数据集与灵活定制的专属数据采集服务。注册即享免费测试！ --> <a target="_blank" href="https://dashboard.capsolver.com/passport/register?inviteCode=vjZG0olvd5L3"><img src="https://assets.kitploit.com/production/public/readmes/6561/3c548a201e7cf580c95a6651e9cc8594d8e032f92b7f78bcce57c06eaac6632a.png" width=850></img></a> [CapSolver](https://dashboard.capsolver.com/passport/register?inviteCode=vjZG0olvd5L3) è uno dei top 3 fornitori nel settore della risoluzione dei CAPTCHA, offrendo soluzioni basate su AI che supportano reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF e altro. Progettato per web scraping ad alto volume e flussi di lavoro automatizzati, vanta velocità di decodifica < 3 secondi, un tasso di successo > 99% e 0 tempi di inattività, potenziando i tuoi progetti AI e BI. Supportato da un'assistenza clienti rapida, offre il miglior rapporto qualità-prezzo sul mercato. Ottieni un credito extra del 6% utilizzando il codice bonus di EasySpider: **ESN**. [CapSolver](https://dashboard.capsolver.com/passport/register?inviteCode=vjZG0olvd5L3) è uno dei top 3 fornitori nel settore della risoluzione dei CAPTCHA, offrendo soluzioni basate su AI che supportano reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF e altro. Progettato per web scraping ad alto volume e flussi di lavoro automatizzati, vanta velocità di decodifica < 3 secondi, un tasso di successo > 99% e 0 tempi di inattività, potenziando i tuoi progetti AI e BI. Supportato da un'assistenza clienti rapida, offre il miglior rapporto qualità-prezzo sul mercato. Ottieni il tuo credito extra del 6% utilizzando il codice bonus di EasySpider: **ESN**. Click [here](https://www.capsolver.com/blog/web-scraping/easyspider-capsolver) to see how to solve captcha in EasySpider with CapSolver integration. <a target="_blank" href="https://www.ippeak.com/?utm_t=1&utm_i=127"><img src="https://assets.kitploit.com/production/public/readmes/6561/7622ff9b99481a88e9cf20a1aababe4c6197c668a59b77521ca8c8d65a02f142.png" width=850></img></a> [IPPeak](https://www.ippeak.com/?utm_t=1&utm_i=127)提供海量真实住宅 IP + 高性能网络架构，有效降低封禁率，提升成功率，让每一次请求都更有价值。 平均响应 < 0.5 秒 ｜IP 来源合规可靠 ｜任务流畅不中断 三大核心方案，覆盖全部采集场景 住宅代理低至 $0.49/GB ｜无限并发 ｜支持地区 / ASN精准定位 不限量住宅代理 低至 $8/小时 ｜不限流量 & IP 99.9% 在线率 ｜长时间运行无压力 ISP 代理｜稳定长期运行 低至 $3.7/IP ｜独享静态住宅 IP ｜不限流量 7×24 小时专业支持，IPPeak保障数据采集稳定持续运行 <a target="_blank" href="https://legionproxy.io/?utm_source=github&utm_campaign=easyspider"><img src="https://assets.kitploit.com/production/public/readmes/6561/87d3d89964dfbdf8007792a999e97cba8a1952b18a114035e99c357fd5372964.png" width=850></img></a> [LegionProxy](https://legionproxy.io/?utm_source=github&utm_campaign=easyspider)作为快速发展的代理网络，覆盖全球195+国家和地区，拥有7400万+真实住宅 IP，提供真实 residential proxies及HTTP/3支持，助力大规模web scraping和自动化任务，有效规避IP封锁。住宅套餐低至$0.60/GB起，支持即时开通，中文客服快速响应。 [LegionProxy](https://legionproxy.io/?utm_source=github&utm_campaign=easyspider) è una rete proxy in rapida crescita con oltre 74 milioni di IP residenziali in oltre 195 paesi, offrendo proxy residenziali reali e supporto HTTP/3 per aiutarti a eseguire scraping e automazione su larga scala senza blocchi IP. I piani residenziali partono da soli $0.60/GB, con attivazione immediata e supporto reattivo quando ne hai bisogno. ## 官方网站/Official Website 访问易采集官网：[www.easyspider.cn](http://www.easyspider.cn) Visita il sito web ufficiale di EasySpider: [www.easyspider.net](http://www.easyspider.net) ### 更多特性/More Features 更多特性请翻到页面底部查看。 Per maggiori funzionalità, scorri fino in fondo a questa pagina. ## 支持作者/Support Author 易采集EasySpider是一款完全免费且使用中无广告的开源软件，软件开发和维护全靠作者用爱发电，因此您可以选择支持作者让作者有更多的热情和精力维护此软件，或者您使用了此软件进行了盈利，欢迎您通过下面的方式支持作者： 1. Github Sponsor：直接点击右侧**Sponsor**按钮赞助。 2. 支付宝账号：[email protected]，也可以扫描下方二维码。 3. 微信收款：扫描下方二维码。 4. PayPal账号：naibowang，也可以扫描下方二维码。 Puoi supportare l'autore facendo clic sul pulsante **Sponsor** sul lato destro o pagando tramite PayPal: naibowang.  ## 文档/Documentation 请点此进入[教程文档](https://github.com/NaiboWang/EasySpider/wiki)，如有英文可暂时翻译一下，或看作者的[硕士毕业论文](https://github.com/naibowang/easyspider/blob/master/Docs/%E9%9D%A2%E5%90%91WEB%E5%BA%94%E7%94%A8%E7%9A%84%E6%99%BA%E8%83%BD%E5%8C%96%E6%9C%8D%E5%8A%A1%E5%B0%81%E8%A3%85%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0.pdf)（主要看第三章和第五章）。 Ebay样例博客：[https://blog.csdn.net/ihero/article/details/130805504](https://blog.csdn.net/ihero/article/details/130805504)。 La documentazione può essere trovata su [GitHub Wiki](https://github.com/NaiboWang/EasySpider/wiki). ## 视频教程/Video Tutorials Bilibili/B站视频教程: [EasySpider介绍 - 中国地震台网采集案例](https://www.bilibili.com/video/BV1th411A7ey/) [设置页面向下滚动](https://www.bilibili.com/video/BV1G14y1o7Qa/) [如何无代码可视化的爬取需要登录才能爬的网站 - 知乎网站案例](https://www.bilibili.com/video/BV1BN411t71C/) [循环点击列表中每个链接进入详情页采集详情页内容+设计时动态调试+动态JS](https://www.bilibili.com/video/BV12V411D7RZ) [实战采集汽车网文章内容并下载文章内图片](https://www.bilibili.com/video/BV14u4y1x7S5/) [定时执行任务+选中子元素多种模式+将提取值作为变量输入](https://www.bilibili.com/video/BV1N94y1a7Lp/) [【重要】自定义条件判断之使用循环项内的JS命令返回值 - 第二弹](https://www.bilibili.com/video/BV18C4y1V7J7/) [流程图执行逻辑解析 - 58同城房源描述采集案例](https://www.bilibili.com/video/BV14N4y1o73Y/) [MacOS系统设计和执行eBay网站爬虫任务教程](https://www.bilibili.com/video/BV1E34y137fT/) [如何执行自己写的JS代码和系统代码 （自定义操作）](https://www.bilibili.com/video/BV1UH4y1f7BM/) [如何自定义循环和判断条件 - 第一弹](https://www.bilibili.com/video/BV18w411a77e/) [如何对元素和网页截图及命令行执行指南](https://www.bilibili.com/video/BV1ch4y1E7cn/) [OCR识别元素内容功能（常用于文字验证码）](https://www.bilibili.com/video/BV1GP411y7u4/) [如何爬需要输入验证码的网站](https://www.bilibili.com/video/BV1Rw411C7Hs/) [如何切换IP池和使用隧道IP - 打开详情页采集案例](https://www.bilibili.com/video/BV1zw411w7BN/) [如何同时执行多个任务（并行多开）](https://www.bilibili.com/video/BV1Dj411b77M/) [Python代码运算后的结果作为文本框的输入](https://www.bilibili.com/video/BV1kF411R7VJ/) [实例 - 反人类网站文章采集和代码调试](https://www.bilibili.com/video/BV1XH4y1Z78i/) [写入MySQL数据库教程](https://www.bilibili.com/video/BV1os4y1679S/) [从源代码编译程序并设计运行和调试任务指南（基于Ubuntu24.04）](https://www.bilibili.com/video/BV1VE421P7yj/) Fai riferimento alla [Youtube Playlist](https://youtube.com/playlist?list=PL0kEFEkWrT7mt9MUlEBV2DTo1QsaanUTp) per vedere i video tutorial di EasySpider. ## 样例任务/Sample Tasks 从本项目的[Examples](https://github.com/naibowang/easyspider/blob/master/Examples)文件夹中下载样例任务，更名为大于0的数字，导入到EasySpider中的`tasks`文件夹中，然后在EasySpider中打开即可。 Scarica le attività di esempio dalla cartella [Examples](https://github.com/naibowang/easyspider/blob/master/Examples) di questo progetto, rinominarle con numeri maggiori di 0, importarle nella cartella `tasks` di EasySpider, e poi aprirle in EasySpider. ## 声明/Declaration 本软件仅供学习交流使用，**严禁使用软件进行任何违法违规的操作，如爬取不允许爬取的政府/军事机关网站等**。使用本软件所造成的**一切后果由使用者自负**，与作者本人无关，**作者不会承担任何责任**。 Questo software è solo per apprendimento e comunicazione. **È severamente vietato utilizzare il software per operazioni illegali, come lo scraping di siti web governativi/militari non consentiti.** Tutte le conseguenze causate dall'uso di questo software sono **a proprio rischio, e l'autore non è responsabile per alcuna conseguenza**. 对于政府和军事机关等网站的爬虫操作，**作者将不会进行任何答疑**，以免违反国家相关法律法规和政策。 Per le operazioni di crawling su siti governativi e militari, **l'autore non risponderà a nessuna domanda** per evitare di violare leggi, regolamenti e politiche nazionali pertinenti. EasySpider遵循AGPL-3.0协议，**任何个人和企业都可以免费使用软件本身或使用源代码进行二次开发，无需联系作者进行商业（专利）授权**，但需要注意AGPL-3.0协议的相关规则： EasySpider è conforme all'accordo AGPL-3.0. **Qualsiasi individuo o azienda può utilizzare il software gratuitamente e può utilizzare il codice sorgente del software per sviluppo secondario senza contattare l'autore per autorizzazione commerciale (brevetto).** Tuttavia, è necessario prestare attenzione alle regole correlate dell'accordo AGPL-3.0: ### 1. Copyleft（传染性） / Copyleft (Viral Clause) - **衍生作品 / Derivative Works** - 任何基于 AGPL 代码的修改或衍生作品，必须**以相同许可证（AGPL-3.0）发布**。 - Qualsiasi modifica o opera derivata basata su codice AGPL deve essere **concessa in licenza sotto AGPL-3.0**. - **联动范围 / Scope of Copyleft** - 若 AGPL 代码与其他代码结合（如静态链接、紧密集成），整个作品需遵守 AGPL。 - Se il codice AGPL viene combinato con altro codice (ad esempio, collegamento statico), l'intero lavoro deve essere conforme ad AGPL. ### 2. 网络使用条款 / Network Use Clause - **SaaS 触发开源义务 / SaaS Trigger** - 若软件以服务形式提供（如网站、API），必须向所有用户公开**完整对应源代码**（包括修改后的代码）。 - Se il software viene fornito come servizio (ad esempio, sito web, API), il **codice sorgente completo corrispondente** (incluse le modifiche) deve essere reso disponibile a tutti gli utenti. - **用户权利 / User Rights** - 服务的接收者可通过下载或书面请求获取源码。 - I destinatari del servizio possono ottenere il codice sorgente tramite download o richiesta scritta. ### 3. 源码提供要求 / Source Code Provision - **二进制分发 / Binary Distribution** - 必须附带源码或提供获取渠道（如下载链接）。 - Il codice sorgente deve essere incluso o deve essere fornito un link per il download. - **网络服务场景 / Network Service Scenario** - 需通过服务界面**显式提供源码链接**，或向用户书面承诺提供源码。 - L'interfaccia del servizio deve **fornire esplicitamente un link al codice sorgente** o offrire una promessa scritta di fornire il codice sorgente. ### 4. 专利授权 / Patent Grant - 贡献者自动授予用户与软件相关的专利许可，禁止专利诉讼。 - I contributori concedono automaticamente agli utenti diritti di brevetto relativi al software e vietano controversie sui brevetti. ### 5. 免责声明 / Disclaimer - 软件按“原样”提供，作者**不承担任何责任**（无担保条款）。 - Il software viene fornito "così com'è" senza **garanzie o responsabilità**. ## 答疑QQ群 群号：**682921940**，建议通过Github提Issue的方式答疑，如果实在有需要才请加QQ群，因为群人数有上限，**QQ群不提供软件下载功能**。 ## 出版物/Publications - This software has been accepted by The Web Conference (WWW) 2023 (中国计算机学会顶级会议，CCF A): [EasySpider: A No-Code Visual System for Crawling the Web](https://dl.acm.org/doi/abs/10.1145/3543873.3587345), April 2023. - 中国国家知识产权局发明专利，[一种自定义提取流程的服务封装系统](https://github.com/naibowang/easyspider/blob/master/media/patent.png)， 2022年5月。 - [浙江大学硕士论文](https://d.wanfangdata.com.cn/thesis/Y3691829)，[面向WEB应用的智能化服务封装系统设计与实现](https://github.com/naibowang/easyspider/blob/master/Docs/%E9%9D%A2%E5%90%91WEB%E5%BA%94%E7%94%A8%E7%9A%84%E6%99%BA%E8%83%BD%E5%8C%96%E6%9C%8D%E5%8A%A1%E5%B0%81%E8%A3%85%E7%B3%BB%E7%BB%9F%E8%AE%BE%E8%AE%A1%E4%B8%8E%E5%AE%9E%E7%8E%B0.pdf)，2020年6月。 <!-- - See the [Copyright Declaration Page](https://github.com/NaiboWang/EasySpider/blob/master/media/readme_back.md) here. --> ## 编译说明/Compilation Instructions 查看[编译说明](https://github.com/naibowang/easyspider/blob/master/ElectronJS/README.md)。 Fai riferimento alle [Istruzioni di compilazione](https://github.com/naibowang/easyspider/blob/master/ElectronJS/README.md). ## 支持特性/Supported Features   ## 中文界面截图 #### 软件界面示例  #### 块和子块及表单定义  #### 已选中和待选择示例  #### 京东商品块选择示例：  #### 京东商品标题自动匹配选择示例  #### 分块选择所有子元素示例  #### 同类型元素自动和手动匹配示例  #### 四种选择方式示例  #### 输入文字示例  #### 循环点击58同城房屋标题以进入详情页采集示例  #### 采集元素文本示例  #### 流程图界面介绍  #### 循环选项示例  #### 循环点击下一页示例  #### 条件分支示例  #### 完整采集流程图示例  #### 完整采集流程图转换为常规流程图示例  #### 服务信息示例  #### 服务调用示例  #### 58 同城房源信息采集服务部分采集结果展示  <!-- ## Ethics Discussion Various fields can benefit from web crawlers due to their open access nature. Inevitably, there will be some risk of malicious use or data infringement issue, e.g., automatic order swiping and ticket grabbing, but this is contrary to our expectations. As a tool developer, we only hope that it can be used for legitimate purposes. We advocate the reasonable and legal utilization of our system, respecting and protecting the data security and privacy. -->
