naibowang/easyspiderВизуальный веб-краулер/паук без кода/без программирования 易采集: визуальное программное обеспечение для браузерной автоматизации тестирования/сбора данных/веб-скрейпинга, позволяющее разрабатывать и выполнять задачи краулинга без кода с помощью графического интерфейса. Псевдоним: ServiceWrapper — интеллектуальная система инкапсуляции сервисов для веб-приложений.
Полностью бесплатное (включая коммерческое использование и вторичную разработку) программное обеспечение для визуальной автоматизации тестирования браузера / сбора данных / краулинга, позволяющее проектировать и выполнять задачи с помощью графического интерфейса без кода. Достаточно выбрать на веб-странице желаемое содержимое и следовать подсказкам для завершения проектирования и выполнения задачи. Кроме того, ПО может выполняться отдельно в командной строке, что позволяет легко встраивать его в другие системы.
Перейдите на страницу релизов, чтобы загрузить последнюю версию. Если скорость загрузки низкая, рассмотрите адрес для загрузки на территории Китая: ссылка для скачивания на территории Китая.
Смотрите страницу релизов, чтобы загрузить последнюю версию EasySpider.
(Правый клик) Выберите крупный блок товара -> ПО автоматически обнаружит подобные блоки -> Нажмите опцию "Выбрать все" -> Нажмите опцию "Выбрать дочерние элементы" -> Нажмите опцию "Собрать данные", и вы сможете собрать всю информацию о всех товарах, которая будет сохранена по отдельным полям.
(Правый клик) Выберите заголовок товара, заголовки того же типа будут автоматически сопоставлены. Нажмите опцию "Выбрать все" -> Нажмите опцию "Собрать данные", и вы сможете собрать информацию о заголовках всех товаров.
В то же время, если после выбора всего вы выберете опцию "Циклически нажимать на каждый элемент", вы сможете автоматически открывать страницу с деталями каждого товара, а затем настроить сбор информации со страницы деталей.
Bright Data (亮数据) — ведущая прокси-сеть, охватывающая более 150 миллионов IP-адресов по всему миру. Предоставляет реальные резидентные IP и API для сбора данных, поддерживая масштабный и стабильный сбор открытых данных из интернета с проверенным высоким процентом успеха. Если вам нужны экономичные прокси-услуги, нажмите на изображение выше, чтобы зарегистрироваться, и свяжитесь с русскоязычной службой поддержки. В настоящее время действуют акции: "первое пополнение — удвоение" и 50% скидка на динамические IP. Bright Data также можно использовать с EasySpider и другими инструментами для сбора данных.
Bright Data — ведущая прокси-сеть с более чем 150 миллионами IP-адресов по всему миру, предлагающая реальные резидентные IP и инструменты для обхода блокировок, чтобы помочь вам собирать открытые веб-данные в больших масштабах с проверенным высоким процентом успеха. Для экономичного доступа к прокси нажмите на баннер выше, зарегистрируйтесь и свяжитесь с нашей русскоязычной службой поддержки — в настоящее время действует акция, которая удваивает ваш первый депозит.
CapSolver — один из трёх ведущих поставщиков в области решения CAPTCHA. Предлагает решения CAPTCHA на основе ИИ, поддерживает reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF и другие. Разработан для масштабного веб-скрапинга и автоматизации, поддерживает ваши AI- и BI-проекты. Скорость декодирования менее 3 секунд, процент успеха >99%, нулевое время простоя, быстрая поддержка клиентов, лучшее соотношение цены и качества на рынке. Вы также можете получить эксклюзивную 6% скидку EasySpider по коду: ESN.
CapSolver — один из трёх ведущих поставщиков в области решения CAPTCHA. Предлагает решения на основе ИИ, поддерживающие reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF и другие. Разработан для масштабного веб-скрапинга и автоматизации, может похвастаться скоростью декодирования менее 3 секунд, процентом успеха >99% и нулевым временем простоя, что способствует вашим AI- и BI-проектам. При быстрой поддержке клиентов он предлагает лучшее соотношение цены и качества на рынке. Получите дополнительные 6% кредита, используя бонусный код EasySpider: ESN.
Нажмите здесь, чтобы узнать, как решать капчу в EasySpider с интеграцией CapSolver.
IPPeak предоставляет огромное количество реальных резидентных IP-адресов + высокопроизводительную сетевую архитектуру, эффективно снижая процент блокировок и повышая процент успеха, делая каждый запрос более ценным. Среднее время отклика < 0,5 сек | Источники IP законны и надежны | Задачи выполняются без сбоев
Три ключевых решения, охватывающих все сценарии сбора
Резидентные прокси от $0,49/ГБ | Безлимитный параллелизм | Точное позиционирование по региону/ASN
Безлимитные резидентные прокси От $8/час | Безлимитный трафик и IP 99,9% доступность | Без проблем при длительной работе
ISP-прокси | Стабильная долгосрочная работа От $3,7/IP | Выделенные статические резидентные IP | Безлимитный трафик
Профессиональная поддержка 24/7, IPPeak гарантирует стабильный и непрерывный сбор данных.
LegionProxy — быстрорастущая прокси-сеть, охватывающая более 195 стран и регионов, с более чем 74 миллионами реальных резидентных IP-адресов. Предоставляет реальные резидентные прокси и поддержку HTTP/3, помогая в масштабном веб-скрапинге и автоматизации, эффективно избегая блокировки IP. Резидентные планы начинаются от $0,60/ГБ, мгновенная активация, быстрый отклик русскоязычной службы поддержки.
LegionProxy — быстрорастущая прокси-сеть с более чем 74 миллионами резидентных IP-адресов в более чем 195 странах. Предлагает реальные резидентные прокси и поддержку HTTP/3, чтобы помочь вам выполнять скрапинг и автоматизацию в масштабе без блокировок IP. Резидентные планы начинаются от $0,60/ГБ, с мгновенной активацией и отзывчивой поддержкой, когда она вам нужна.
Посетите официальный сайт EasySpider: www.easyspider.cn
Посетите официальный сайт EasySpider: www.easyspider.net
Прокрутите вниз этой страницы, чтобы увидеть больше возможностей.
EasySpider — полностью бесплатное программное обеспечение с открытым исходным кодом, без рекламы. Разработка и поддержка ПО осуществляются автором исключительно за счёт энтузиазма. Поэтому вы можете поддержать автора, чтобы у него было больше энтузиазма и энергии для поддержки этого ПО, или, если вы используете это ПО для получения прибыли, вы можете поддержать автора следующими способами:
Вы можете поддержать автора, нажав кнопку Sponsor справа или оплатив через PayPal: naibowang.
Нажмите здесь, чтобы перейти к учебной документации. Если документация на английском, временно переведите её или посмотрите магистерскую диссертацию автора (в основном главы 3 и 5).
Пример eBay в блоге: https://blog.csdn.net/ihero/article/details/130805504.
Документацию можно найти на GitHub Wiki.
Видеоуроки на Bilibili:
Введение в EasySpider - Пример сбора данных Китайской сети сейсмических станций
Настройка прокрутки страницы вниз
Как без кода визуально сканировать сайты, требующие входа в систему - Пример Zhihu
Практический сбор содержимого статей автомобильного сайта и загрузка изображений из статей
Логика выполнения блок-схемы - Пример сбора описаний недвижимости 58同城
Руководство по проектированию и выполнению задач краулинга сайта eBay на MacOS
Как выполнять собственный JS-код и системный код (пользовательские операции)
Как настроить циклы и условия - Часть 1
Как делать скриншоты элементов и веб-страниц и руководство по выполнению из командной строки
Функция распознавания содержимого элемента с помощью OCR (часто используется для текстовых капч)
Как сканировать сайты, требующие ввода капчи
Как переключать пулы IP и использовать туннельные IP - Пример сбора со страницы деталей
Как выполнять несколько задач одновременно (параллельный запуск)
Использование результата вычислений Python в качестве ввода в текстовое поле
Пример - Сбор статей с "неудобного" сайта и отладка кода
Учебник по записи в базу данных MySQL
Смотрите плейлист на YouTube, чтобы увидеть видеоуроки по EasySpider.
Загрузите примеры задач из папки Examples этого проекта, переименуйте их в числа больше 0, импортируйте в папку tasks в EasySpider и откройте в EasySpider.
Данное программное обеспечение предназначено только для обучения и общения. Категорически запрещается использовать ПО для любых незаконных операций, таких как сканирование государственных/военных сайтов, которые не разрешены для сканирования. Все последствия использования этого ПО ложатся на пользователя и не связаны с автором. Автор не несёт никакой ответственности.
В отношении операций сканирования государственных и военных сайтов автор не будет отвечать на вопросы, чтобы не нарушать соответствующие национальные законы, нормативные акты и политику.
EasySpider распространяется по лицензии AGPL-3.0. Любое физическое или юридическое лицо может бесплатно использовать само ПО или использовать исходный код для вторичной разработки без необходимости обращаться к автору за коммерческой (патентной) лицензией. Однако необходимо соблюдать соответствующие правила лицензии AGPL-3.0:
Номер группы: 682921940. Рекомендуется задавать вопросы через Issues на GitHub. Если это крайне необходимо, присоединяйтесь к QQ-группе, так как количество участников ограничено. QQ-группа не предоставляет возможности загрузки ПО.
Это ПО было принято на конференцию The Web Conference (WWW) 2023 (ведущая конференция CCF A): EasySpider: A No-Code Visual System for Crawling the Web, апрель 2023.
Патент на изобретение Национального управления интеллектуальной собственности Китая, Система упаковки услуг с настраиваемым процессом извлечения, май 2022.
Магистерская диссертация Чжэцзянского университета, Проектирование и реализация интеллектуальной системы упаковки услуг для веб-приложений, июнь 2020.
Смотрите инструкции по сборке.
