易采集/EasySpider: Визуальный веб-скрейпер без кода

Полностью бесплатное (включая коммерческое использование и вторичную разработку) программное обеспечение для визуальной автоматизации тестирования браузера / сбора данных / краулинга, позволяющее проектировать и выполнять задачи с помощью графического интерфейса без кода. Достаточно выбрать на веб-странице желаемое содержимое и следовать подсказкам для завершения проектирования и выполнения задачи. Кроме того, ПО может выполняться отдельно в командной строке, что позволяет легко встраивать его в другие системы.

下载易采集/Скачать EasySpider

Перейдите на страницу релизов, чтобы загрузить последнюю версию. Если скорость загрузки низкая, рассмотрите адрес для загрузки на территории Китая: ссылка для скачивания на территории Китая.

Смотрите страницу релизов, чтобы загрузить последнюю версию EasySpider.

软件使用示例/Пример использования

示例1/Пример 1

(Правый клик) Выберите крупный блок товара -> ПО автоматически обнаружит подобные блоки -> Нажмите опцию "Выбрать все" -> Нажмите опцию "Выбрать дочерние элементы" -> Нажмите опцию "Собрать данные", и вы сможете собрать всю информацию о всех товарах, которая будет сохранена по отдельным полям.

示例2/Пример 2

(Правый клик) Выберите заголовок товара, заголовки того же типа будут автоматически сопоставлены. Нажмите опцию "Выбрать все" -> Нажмите опцию "Собрать данные", и вы сможете собрать информацию о заголовках всех товаров.

В то же время, если после выбора всего вы выберете опцию "Циклически нажимать на каждый элемент", вы сможете автоматически открывать страницу с деталями каждого товара, а затем настроить сбор информации со страницы деталей.

赞助者/Спонсоры

Bright Data (亮数据) — ведущая прокси-сеть, охватывающая более 150 миллионов IP-адресов по всему миру. Предоставляет реальные резидентные IP и API для сбора данных, поддерживая масштабный и стабильный сбор открытых данных из интернета с проверенным высоким процентом успеха. Если вам нужны экономичные прокси-услуги, нажмите на изображение выше, чтобы зарегистрироваться, и свяжитесь с русскоязычной службой поддержки. В настоящее время действуют акции: "первое пополнение — удвоение" и 50% скидка на динамические IP. Bright Data также можно использовать с EasySpider и другими инструментами для сбора данных.

Bright Data — ведущая прокси-сеть с более чем 150 миллионами IP-адресов по всему миру, предлагающая реальные резидентные IP и инструменты для обхода блокировок, чтобы помочь вам собирать открытые веб-данные в больших масштабах с проверенным высоким процентом успеха. Для экономичного доступа к прокси нажмите на баннер выше, зарегистрируйтесь и свяжитесь с нашей русскоязычной службой поддержки — в настоящее время действует акция, которая удваивает ваш первый депозит.

CapSolver — один из трёх ведущих поставщиков в области решения CAPTCHA. Предлагает решения CAPTCHA на основе ИИ, поддерживает reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF и другие. Разработан для масштабного веб-скрапинга и автоматизации, поддерживает ваши AI- и BI-проекты. Скорость декодирования менее 3 секунд, процент успеха >99%, нулевое время простоя, быстрая поддержка клиентов, лучшее соотношение цены и качества на рынке. Вы также можете получить эксклюзивную 6% скидку EasySpider по коду: ESN.

CapSolver — один из трёх ведущих поставщиков в области решения CAPTCHA. Предлагает решения на основе ИИ, поддерживающие reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF и другие. Разработан для масштабного веб-скрапинга и автоматизации, может похвастаться скоростью декодирования менее 3 секунд, процентом успеха >99% и нулевым временем простоя, что способствует вашим AI- и BI-проектам. При быстрой поддержке клиентов он предлагает лучшее соотношение цены и качества на рынке. Получите дополнительные 6% кредита, используя бонусный код EasySpider: ESN.

Нажмите здесь, чтобы узнать, как решать капчу в EasySpider с интеграцией CapSolver.

IPPeak предоставляет огромное количество реальных резидентных IP-адресов + высокопроизводительную сетевую архитектуру, эффективно снижая процент блокировок и повышая процент успеха, делая каждый запрос более ценным. Среднее время отклика < 0,5 сек | Источники IP законны и надежны | Задачи выполняются без сбоев

Три ключевых решения, охватывающих все сценарии сбора

Резидентные прокси от $0,49/ГБ | Безлимитный параллелизм | Точное позиционирование по региону/ASN

Безлимитные резидентные прокси От $8/час | Безлимитный трафик и IP 99,9% доступность | Без проблем при длительной работе

ISP-прокси | Стабильная долгосрочная работа От $3,7/IP | Выделенные статические резидентные IP | Безлимитный трафик

Профессиональная поддержка 24/7, IPPeak гарантирует стабильный и непрерывный сбор данных.

LegionProxy — быстрорастущая прокси-сеть, охватывающая более 195 стран и регионов, с более чем 74 миллионами реальных резидентных IP-адресов. Предоставляет реальные резидентные прокси и поддержку HTTP/3, помогая в масштабном веб-скрапинге и автоматизации, эффективно избегая блокировки IP. Резидентные планы начинаются от $0,60/ГБ, мгновенная активация, быстрый отклик русскоязычной службы поддержки.

LegionProxy — быстрорастущая прокси-сеть с более чем 74 миллионами резидентных IP-адресов в более чем 195 странах. Предлагает реальные резидентные прокси и поддержку HTTP/3, чтобы помочь вам выполнять скрапинг и автоматизацию в масштабе без блокировок IP. Резидентные планы начинаются от $0,60/ГБ, с мгновенной активацией и отзывчивой поддержкой, когда она вам нужна.

官方网站/Oфициальный сайт

Посетите официальный сайт EasySpider: www.easyspider.cn

Посетите официальный сайт EasySpider: www.easyspider.net

更多特性/Ещё возможности

Прокрутите вниз этой страницы, чтобы увидеть больше возможностей.

支持作者/Поддержать автора

EasySpider — полностью бесплатное программное обеспечение с открытым исходным кодом, без рекламы. Разработка и поддержка ПО осуществляются автором исключительно за счёт энтузиазма. Поэтому вы можете поддержать автора, чтобы у него было больше энтузиазма и энергии для поддержки этого ПО, или, если вы используете это ПО для получения прибыли, вы можете поддержать автора следующими способами:

1. Github Sponsor: нажмите кнопку Sponsor справа, чтобы спонсировать.
2. Alipay: [email protected], или отсканируйте QR-код ниже.
3. WeChat Pay: отсканируйте QR-код ниже.
4. PayPal: naibowang, или отсканируйте QR-код ниже.

Вы можете поддержать автора, нажав кнопку Sponsor справа или оплатив через PayPal: naibowang.

文档/Документация

Нажмите здесь, чтобы перейти к учебной документации. Если документация на английском, временно переведите её или посмотрите магистерскую диссертацию автора (в основном главы 3 и 5).

Пример eBay в блоге: https://blog.csdn.net/ihero/article/details/130805504.

Документацию можно найти на GitHub Wiki.

视频教程/Bидеоуроки

Видеоуроки на Bilibili:

Введение в EasySpider - Пример сбора данных Китайской сети сейсмических станций

Настройка прокрутки страницы вниз

Как без кода визуально сканировать сайты, требующие входа в систему - Пример Zhihu

Циклический переход по каждой ссылке в списке на страницу деталей + динамическая отладка при проектировании + динамический JS

Практический сбор содержимого статей автомобильного сайта и загрузка изображений из статей

Выполнение задач по расписанию + выбор дочерних элементов в различных режимах + использование извлечённого значения в качестве входной переменной

【Важно】Настройка условных суждений с использованием возвращаемого значения JS-команды внутри цикла - Вторая часть

Логика выполнения блок-схемы - Пример сбора описаний недвижимости 58同城

Руководство по проектированию и выполнению задач краулинга сайта eBay на MacOS

Как выполнять собственный JS-код и системный код (пользовательские операции)

Как настроить циклы и условия - Часть 1

Как делать скриншоты элементов и веб-страниц и руководство по выполнению из командной строки

Функция распознавания содержимого элемента с помощью OCR (часто используется для текстовых капч)

Как сканировать сайты, требующие ввода капчи

Как переключать пулы IP и использовать туннельные IP - Пример сбора со страницы деталей

Как выполнять несколько задач одновременно (параллельный запуск)

Использование результата вычислений Python в качестве ввода в текстовое поле

Пример - Сбор статей с "неудобного" сайта и отладка кода

Учебник по записи в базу данных MySQL

Руководство по компиляции программы из исходного кода, проектированию, запуску и отладке задач (на основе Ubuntu 24.04)

Смотрите плейлист на YouTube, чтобы увидеть видеоуроки по EasySpider.

样例任务/Примеры задач

Загрузите примеры задач из папки Examples этого проекта, переименуйте их в числа больше 0, импортируйте в папку tasks в EasySpider и откройте в EasySpider.

声明/Заявление

Данное программное обеспечение предназначено только для обучения и общения. Категорически запрещается использовать ПО для любых незаконных операций, таких как сканирование государственных/военных сайтов, которые не разрешены для сканирования. Все последствия использования этого ПО ложатся на пользователя и не связаны с автором. Автор не несёт никакой ответственности.

В отношении операций сканирования государственных и военных сайтов автор не будет отвечать на вопросы, чтобы не нарушать соответствующие национальные законы, нормативные акты и политику.

EasySpider распространяется по лицензии AGPL-3.0. Любое физическое или юридическое лицо может бесплатно использовать само ПО или использовать исходный код для вторичной разработки без необходимости обращаться к автору за коммерческой (патентной) лицензией. Однако необходимо соблюдать соответствующие правила лицензии AGPL-3.0:

1. Copyleft (Вирусная оговорка)

• Производные работы
  • Любые модификации или производные работы на основе кода AGPL должны распространяться под той же лицензией (AGPL-3.0).
• Область действия вирусной оговорки
  • Если код AGPL комбинируется с другим кодом (например, статическая компоновка, тесная интеграция), вся работа должна соответствовать AGPL.

2. Правило сетевого использования

• SaaS-триггер
  • Если ПО предоставляется в виде услуги (например, сайт, API), необходимо предоставить всем пользователям полный соответствующий исходный код (включая модификации).
• Права пользователей
  • Получатели услуги могут получить исходный код через загрузку или письменный запрос.

3. Требования к предоставлению исходного кода

• Распространение в бинарной форме
  • Исходный код должен быть приложен или предоставлен способ его получения (например, ссылка для загрузки).
• Сценарий сетевой услуги
  • Необходимо явно предоставить ссылку на исходный код в интерфейсе услуги или письменно обязаться предоставить исходный код.

4. Патентная лицензия

• Участники автоматически предоставляют пользователям патентные права, связанные с ПО, и запрещают патентные иски.

5. Отказ от ответственности

• ПО предоставляется "как есть", автор не несёт никакой ответственности (без гарантий).

答疑QQ群

Номер группы: 682921940. Рекомендуется задавать вопросы через Issues на GitHub. Если это крайне необходимо, присоединяйтесь к QQ-группе, так как количество участников ограничено. QQ-группа не предоставляет возможности загрузки ПО.

出版物/Публикации

• Это ПО было принято на конференцию The Web Conference (WWW) 2023 (ведущая конференция CCF A): EasySpider: A No-Code Visual System for Crawling the Web, апрель 2023.

• Патент на изобретение Национального управления интеллектуальной собственности Китая, Система упаковки услуг с настраиваемым процессом извлечения, май 2022.

• Магистерская диссертация Чжэцзянского университета, Проектирование и реализация интеллектуальной системы упаковки услуг для веб-приложений, июнь 2020.

编译说明/Инструкции по сборке

Смотрите инструкции по сборке.

支持特性/Поддерживаемые возможности

中文界面截图/Скриншоты русского интерфейса

Пример интерфейса ПО

Определение блоков, подблоков и форм

Пример выбранных и ожидающих выбора элементов

Пример выбора блока товара на JD.com:

Пример автоматического сопоставления заголовков товаров на JD.com

Пример выбора всех дочерних элементов блока

Пример автоматического и ручного сопоставления однотипных элементов

Пример четырёх способов выбора

Пример ввода текста

Пример циклического нажатия на заголовки недвижимости 58同城 для перехода на страницу деталей

Пример сбора текста элементов

Описание интерфейса блок-схемы

Пример опций цикла

Пример циклического нажатия на "Следующая страница"

Пример условного ветвления

Пример полной блок-схемы сбора

Пример преобразования полной блок-схемы сбора в обычную блок-схему

Пример информации об услуге

Пример вызова услуги

Пример результатов сбора услуги по сбору информации о недвижимости 58同城