EasySpider v0.6.5
A visual no-code/code-free web crawler/spider易采集：시각적 브라우저 자동화 테스트/데이터 수집/웹 크롤러 소프트웨어로, 코드 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭：ServiceWrapper는 웹 애플리케이션을 위한 지능형 서비스 래핑 시스템입니다.
EasySpider: 코드 없는 시각적 웹 크롤러
완전 무료 (상업적 사용 및 2차 개발 포함)인 시각적 브라우저 자동화 테스트/데이터 수집/크롤러 소프트웨어로, 그래픽 인터페이스를 사용하여 코드 없이 시각적으로 작업을 설계하고 실행할 수 있습니다. 웹 페이지에서 원하는 내용을 선택하고 안내에 따라 작업을 완료하기만 하면 됩니다. 또한 명령줄에서 별도로 실행할 수 있어 다른 시스템에 쉽게 통합할 수 있습니다.
EasySpider 다운로드
Releases Page에서 최신 버전을 다운로드하세요. 다운로드 속도가 느리다면 중국 내 다운로드 주소를 고려하세요: 중국 내 다운로드 주소.
소프트웨어 사용 예시
예시 1
(마우스 오른쪽 버튼) 큰 상품 블록 선택 -> 소프트웨어가 자동으로 동일한 유형의 상품 블록 감지 -> '모두 선택' 옵션 클릭 -> '하위 요소 선택' 옵션 클릭 -> '데이터 수집' 옵션 클릭 -> 모든 상품의 모든 정보를 수집하여 하위 필드별로 저장합니다.
예시 2
(마우스 오른쪽 버튼) 상품 제목 하나 선택 -> 동일한 유형의 제목이 자동으로 매칭됨 -> '모두 선택' 옵션 클릭 -> '데이터 수집' 옵션 클릭 -> 모든 상품의 제목 정보를 수집합니다.
동시에 모두 선택 후 '각 요소를 반복 클릭' 옵션을 선택하면 각 상품의 상세 페이지가 자동으로 열리고, 상세 페이지 정보 수집을 추가로 설정할 수 있습니다.
스폰서
Bright Data는 전 세계 1억 5천만 개 이상의 IP를 보유한 선도적인 프록시 네트워크입니다. 실제 주거용 IP 및 수집 API를 제공하여 대규모로 안정적인 인터넷 공개 데이터 수집을 지원하며, 실전에서 검증된 성공률을 자랑합니다. 비용 효율적인 프록시 서비스가 필요하다면 위 이미지를 클릭하여 등록하고 중국어 고객 지원팀에 문의하세요. 현재 첫 충전 매칭 프로모션과 동적 IP 50% 할인 혜택이 있습니다. Bright Data는 EasySpider와 같은 도구와 함께 데이터 수집에 사용할 수 있습니다.
Bright Data is a leading proxy network with 150M+ IPs worldwide, offering real residential Ips and web unlocker to help you collect public web data at scale with proven, high success rates. For cost-effective proxy access, click the banner above to sign up and reach our Chinese support team—there’s currently a promo that matches your first deposit.
CapSolver는 CAPTCHA 해결 분야의 Top 3 공급업체입니다. AI 기반 CAPTCHA 해결 서비스를 제공하며 reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF 등을 지원합니다. 대량 웹 스크래핑 및 자동화 워크플로우를 위해 설계되었으며, AI 및 BI 프로젝트를 강화합니다. 디코딩 속도는 3초 미만, 성공률 99% 이상, 가동 중단 시간 0%, 빠른 고객 지원으로 시장에서 최고의 가성비를 제공합니다. EasySpider 전용 할인 코드 ESN을 사용하여 추가 6% 크레딧을 받으세요.
Click here to see how to solve captcha in EasySpider with CapSolver integration.
IPPeak는 대규모 실제 주거용 IP와 고성능 네트워크 아키텍처를 제공하여 차단율을 낮추고 성공률을 높여 모든 요청의 가치를 높입니다. 평균 응답 시간 < 0.5초 | IP 출처 합법적이고 신뢰 가능 | 중단 없는 작업 흐름
모든 수집 시나리오를 포괄하는 세 가지 핵심 솔루션
주거용 프록시 GB당 $0.49부터 | 무제한 동시 연결 | 지역/ASN 정밀 타겟팅 지원
무제한 주거용 프록시 시간당 $8부터 | 무제한 트래픽 및 IP 99.9% 가동률 | 장시간 실행 부담 없음
ISP 프록시 | 안정적인 장기 실행 IP당 $3.7부터 | 전용 고정 주거용 IP | 무제한 트래픽
연중무휴 전문 지원, IPPeak는 데이터 수집의 안정적이고 지속적인 실행을 보장합니다.
LegionProxy는 빠르게 성장하는 프록시 네트워크로, 전 세계 195개 이상의 국가 및 지역에 걸쳐 7400만 개 이상의 실제 주거용 IP를 보유하고 있습니다. 실제 주거용 프록시와 HTTP/3 지원을 제공하여 대규모 웹 스크래핑 및 자동화 작업에 IP 차단을 효과적으로 회피할 수 있도록 돕습니다. 주거용 요금제는 GB당 $0.60부터 시작하며 즉시 활성화되고 빠른 중국어 고객 지원이 제공됩니다.
공식 웹사이트
EasySpider 공식 웹사이트 방문: www.easyspider.cn
Visit the official website of EasySpider: www.easyspider.net
더 많은 기능
더 많은 기능을 보려면 이 페이지 하단으로 스크롤하세요.
저자 지원
EasySpider는 완전 무료이며 사용 중 광고가 없는 오픈 소스 소프트웨어입니다. 소프트웨어 개발 및 유지보수는 전적으로 저자의 열정에 의존하므로, 저자가 이 소프트웨어를 유지하는 데 더 많은 열정과 노력을 쏟을 수 있도록 지원하거나 이 소프트웨어를 사용하여 수익을 창출했다면 아래 방법을 통해 저자를 지원해 주시기 바랍니다:
- Github Sponsor: 오른쪽의 Sponsor 버튼을 직접 클릭하여 후원하세요.
- 알리페이 계정: [email protected]
- 위챗 페이: 아래 QR 코드 스캔
- PayPal 계정: naibowang, 아래 QR 코드 스캔
You can support the author by clicking the Sponsor button at right side or pay via paypal: naibowang.
문서
튜토리얼 문서를 참조하세요. 저자의 석사 논문 (주로 3장과 5장 참조)를 참조할 수도 있습니다.
Ebay 예제 블로그: https://blog.csdn.net/ihero/article/details/130805504
비디오 튜토리얼
Bilibili/B站 비디오 튜토리얼:
로그인이 필요한 웹사이트를 코드 없이 시각적으로 크롤링하는 방법 - Zhihu 사례
리스트의 각 링크를 반복 클릭하여 상세 페이지로 이동 및 내용 수집 + 설계 중 동적 디버깅 + 동적 JS
자동차 웹사이트 기사 내용 수집 및 기사 내 이미지 다운로드 실습
작업 예약 실행 + 하위 요소 선택의 다양한 모드 + 추출 값을 변수로 입력
【중요】반복 항목 내 JS 명령 반환 값을 사용한 사용자 정의 조건 판단 - 두 번째
플로우차트 실행 로직 분석 - 58.com 주택 설명 수집 사례
MacOS에서 eBay 웹사이트 크롤러 작업 설계 및 실행 튜토리얼
자체 JS 코드 및 시스템 코드 실행 방법 (사용자 정의 작업)
OCR 요소 내용 인식 기능 (주로 문자 CAPTCHA에 사용)
IP 풀 전환 및 터널 IP 사용 방법 - 상세 페이지 열기 수집 사례
Python 코드 계산 결과를 텍스트 상자 입력으로 사용
소스 코드에서 프로그램 컴파일, 작업 설계, 실행 및 디버깅 가이드 (Ubuntu24.04 기반)
YouTube 재생 목록에서 EasySpider의 비디오 튜토리얼을 참조하세요: Youtube Playlist
샘플 작업
이 프로젝트의 Examples 폴더에서 샘플 작업을 다운로드하고, 0보다 큰 숫자로 이름을 바꾼 후 EasySpider의 tasks 폴더로 가져온 다음 EasySpider에서 열어보세요.
선언
이 소프트웨어는 학습 및 교류용으로만 제공됩니다. 소프트웨어를 사용한 불법 행위(예: 크롤링이 허용되지 않는 정부/군사 기관 웹사이트 크롤링)는 엄격히 금지됩니다. 이 소프트웨어 사용으로 인한 모든 결과는 사용자 본인의 책임이며 저자와 무관합니다. 저자는 어떠한 책임도 지지 않습니다.
정부 및 군사 기관 웹사이트의 크롤러 작업에 대해서는 국가 관련 법률, 규정 및 정책 위반을 피하기 위해 저자는 질문에 답변하지 않습니다.
EasySpider는 AGPL-3.0 프로토콜을 따릅니다. 개인 및 기업 모두 상업적(특허) 라이선스를 위해 저자에게 연락할 필요 없이 소프트웨어 자체를 무료로 사용하거나 소스 코드를 2차 개발에 사용할 수 있습니다. 단, AGPL-3.0 프로토콜의 관련 규칙을 주의해야 합니다:
1. Copyleft (전염성)
- 파생 저작물
- AGPL 코드를 기반으로 한 수정 또는 파생 저작물은 동일한 라이선스(AGPL-3.0)로 배포되어야 합니다.
- 연동 범위
- AGPL 코드가 다른 코드와 결합된 경우(예: 정적 링크, 긴밀한 통합) 전체 저작물은 AGPL을 준수해야 합니다.
2. 네트워크 사용 조항
- SaaS 트리거
- 소프트웨어가 서비스 형태(예: 웹사이트, API)로 제공되는 경우 모든 사용자에게 전체 해당 소스 코드(수정된 코드 포함)를 공개해야 합니다.
- 사용자 권리
- 서비스 수신자는 다운로드 또는 서면 요청을 통해 소스 코드를 얻을 수 있습니다.
3. 소스 코드 제공 요구 사항
- 바이너리 배포
- 소스 코드를 포함하거나 획득 채널(예: 다운로드 링크)을 제공해야 합니다.
- 네트워크 서비스 시나리오
- 서비스 인터페이스를 통해 소스 코드 링크를 명시적으로 제공하거나 사용자에게 소스 코드 제공 서약을 서면으로 제공해야 합니다.
4. 특허 라이선스
- 기여자는 사용자에게 소프트웨어와 관련된 특허 권한을 자동으로 부여하며 특허 소송을 금지합니다.
5. 면책 조항
- 소프트웨어는 "있는 그대로" 제공되며 저자는 어떠한 책임도 지지 않습니다(보증 조항 없음).
Q&A QQ 그룹
그룹 번호: 682921940. Github Issue를 통해 질문하는 것을 권장합니다. 정말 필요한 경우에만 QQ 그룹에 가입해 주세요. 그룹 인원수에 제한이 있으며 QQ 그룹은 소프트웨어 다운로드 기능을 제공하지 않습니다.
출판물
-
이 소프트웨어는 The Web Conference (WWW) 2023 (중국 컴퓨터 학회 최상위 학회, CCF A)에 채택되었습니다: EasySpider: A No-Code Visual System for Crawling the Web, 2023년 4월.
-
중국 국가지식재산권 발명 특허, 사용자 정의 추출 프로세스를 위한 서비스 패키징 시스템, 2022년 5월.
-
저장대학교 석사 논문, 웹 애플리케이션을 위한 지능형 서비스 패키징 시스템 설계 및 구현, 2020년 6월.
컴파일 지침
컴파일 지침 참조
지원 기능
한글 인터페이스 스크린샷
소프트웨어 인터페이스 예시
블록, 하위 블록 및 양식 정의
선택됨 및 선택 대기 중 예시
JD.com 상품 블록 선택 예시:
JD.com 상품 제목 자동 매칭 선택 예시
블록별 모든 하위 요소 선택 예시
동일 유형 요소 자동 및 수동 매칭 예시
네 가지 선택 방식 예시
텍스트 입력 예시
58.com 주택 제목 반복 클릭하여 상세 페이지 진입 및 수집 예시
요소 텍스트 수집 예시
플로우차트 인터페이스 소개
루프 옵션 예시
다음 페이지 반복 클릭 예시
조건 분기 예시
완전한 수집 플로우차트 예시
완전한 수집 플로우차트를 일반 플로우차트로 변환 예시
서비스 정보 예시
서비스 호출 예시
58.com 주택 정보 수집 서비스 수집 결과 일부 표시
