naibowang/easyspider
A visual no-code/code-free web crawler/spider易采集: um software de automação de testes de navegador visual/coleta de dados/raspagem web que permite projetar e executar tarefas de raspagem sem código graficamente. Alias: ServiceWrapper Sistema de encapsulamento de serviços inteligentes para aplicações web.
Um software de teste de automação de navegador/coleta de dados/rastreamento completamente gratuito (incluindo para uso comercial e desenvolvimento secundário) que pode ser usado para projetar e executar tarefas de forma visual e sem código. Basta selecionar o conteúdo que deseja operar na página web e seguir as instruções para concluir o design e a execução da tarefa. Ao mesmo tempo, o software também pode ser executado separadamente na linha de comando, permitindo que seja facilmente incorporado a outros sistemas.
Acesse a Página de Releases para baixar a versão mais recente. Se o download estiver lento, considere o endereço de download na China: Endereço de download na China.
Consulte a Página de Releases para baixar a versão mais recente do EasySpider.
(Clique direito) Selecione um bloco de produto grande -> O software detecta automaticamente blocos de produto semelhantes -> Clique na opção 'Selecionar Todos' -> Clique na opção 'Selecionar Elementos Filhos' -> Clique na opção 'Coletar Dados', você pode coletar todas as informações de todos os produtos, que serão salvas em subcampos.
(Clique direito) Selecione um título de produto, os títulos do mesmo tipo serão automaticamente correspondidos, clique na opção 'Selecionar Todos' -> Clique na opção 'Coletar Dados', você pode coletar as informações do título de todos os produtos.
Ao mesmo tempo, se você selecionar a opção 'Clicar em loop em cada elemento' após selecionar todos, você pode abrir automaticamente a página de detalhes de cada produto e, em seguida, configurar a coleta das informações da página de detalhes.
Bright Data, como uma das principais redes de proxy do mundo, cobre mais de 150 milhões de IPs globalmente, fornecendo IPs residenciais reais e API de coleta, suportando a coleta estável de dados públicos da internet em grande escala, com taxas de sucesso comprovadas na prática. Se precisar de serviços de proxy de alto custo-benefício, clique na imagem acima para se registrar e entre em contato com o atendimento ao cliente em chinês; atualmente há uma promoção de "deposite quanto, ganhe quanto" e 50% de desconto em IPs dinâmicos. O Bright Data também pode ser usado em conjunto com ferramentas como o EasySpider para coleta de dados.
Bright Data é uma rede de proxy líder com mais de 150 milhões de IPs em todo o mundo, oferecendo IPs residenciais reais e um desbloqueador da web para ajudar você a coletar dados públicos da web em escala com taxas de sucesso comprovadas e altas. Para acesso a proxy com boa relação custo-benefício, clique no banner acima para se inscrever e entre em contato com nossa equipe de suporte em chinês — atualmente há uma promoção que iguala seu primeiro depósito.
CapSolver é um dos 3 principais fornecedores no setor de resolução de CAPTCHA, oferecendo soluções de resolução de CAPTCHA baseadas em IA, suportando reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF e muito mais. Projetado para raspagem web em grande escala e fluxos de trabalho automatizados, capacitando seus projetos de IA e BI, com velocidades de decodificação < 3s, taxa de sucesso > 99%, tempo de inatividade zero, suporte ao cliente rápido, melhor custo-benefício do mercado e você pode obter um código de desconto exclusivo de 6% do EasySpider: ESN.
CapSolver é um dos 3 principais fornecedores no setor de resolução de CAPTCHA, oferecendo soluções baseadas em IA que suportam reCAPTCHA, Image CAPTCHA, Cloudflare, AWS WAF e muito mais. Projetado para raspagem web de alto volume e fluxos de trabalho automatizados, possui velocidades de decodificação inferiores a 3 segundos, uma taxa de sucesso superior a 99% e tempo de inatividade zero, capacitando seus projetos de IA e BI. Com suporte ao cliente rápido, oferece a melhor relação custo-benefício do mercado. Obtenha seus 6% extras de crédito usando o código de bônus do EasySpider: ESN.
Clique aqui para ver como resolver captcha no EasySpider com a integração do CapSolver.
IPPeak oferece um grande número de IPs residenciais reais + uma arquitetura de rede de alto desempenho, reduzindo efetivamente a taxa de bloqueio, aumentando a taxa de sucesso e tornando cada requisição mais valiosa. Tempo médio de resposta < 0,5 segundos ｜Fonte de IP confiável e conforme ｜Tarefas ininterruptas sem problemas
Três soluções principais, cobrindo todos os cenários de coleta
Proxy residencial a partir de $0,49/GB ｜Concursos ilimitados ｜Localização precisa por região / ASN
Proxy residencial ilimitado a partir de $8/hora ｜Tráfego e IP ilimitados 99,9% de disponibilidade ｜Operação prolongada sem estresse
Proxy ISP ｜Operação estável de longo prazo a partir de $3,7/IP ｜IP residencial estático dedicado ｜Tráfego ilimitado
Suporte profissional 24 horas por dia, 7 dias por semana, a IPPeak garante a operação estável e contínua da coleta de dados
LegionProxy, como uma rede de proxy em rápido crescimento, cobre mais de 195 países e regiões em todo o mundo, possui mais de 74 milhões de IPs residenciais reais, oferece proxies residenciais reais e suporte a HTTP/3, auxiliando na raspagem web em grande escala e tarefas de automação, evitando efetivamente o bloqueio de IP. Os pacotes residenciais começam em apenas $0,60/GB, com ativação instantânea e suporte ao cliente em chinês com resposta rápida.
LegionProxy é uma rede de proxy em rápido crescimento com mais de 74 milhões de IPs residenciais em mais de 195 países, oferecendo proxies residenciais reais e suporte a HTTP/3 para ajudar você a executar raspagem e automação em escala sem bloqueios de IP. Os planos residenciais começam em apenas $0,60/GB, com ativação instantânea e suporte responsivo quando você precisar.
Visite o site oficial do EasySpider: www.easyspider.cn
Visite o site oficial do EasySpider: www.easyspider.net
Mais recursos, role até o final desta página para visualizar.
O EasySpider é um software de código aberto completamente gratuito e sem anúncios durante o uso. O desenvolvimento e a manutenção do software dependem inteiramente do amor do autor, portanto, você pode optar por apoiar o autor para que ele tenha mais entusiasmo e energia para manter este software, ou se você usou este software para obter lucro, seja bem-vindo para apoiar o autor através das seguintes maneiras:
Você pode apoiar o autor clicando no botão Sponsor à direita ou pagando via paypal: naibowang.
Clique aqui para acessar a Documentação do Tutorial. Se estiver em inglês, traduza temporariamente ou consulte a dissertação de mestrado do autor (veja principalmente os capítulos 3 e 5).
Blog de exemplo do Ebay: https://blog.csdn.net/ihero/article/details/130805504.
A documentação pode ser encontrada no GitHub Wiki.
Tutoriais em vídeo no Bilibili/B站:
Introdução ao EasySpider - Caso de coleta da Rede Sísmica da China
Configurar rolagem para baixo da página
Como rastrear visualmente, sem código, sites que exigem login - Caso do site Zhihu
Coleta prática de conteúdo de artigos de site de automóveis e download de imagens dos artigos
Análise da lógica de execução do fluxograma - Caso de coleta de descrições de imóveis no 58.com
Tutorial de design e execução de tarefas de rastreador do site eBay no sistema MacOS
Como executar seu próprio código JS e código do sistema (operações personalizadas)
Como personalizar loops e condições de julgamento - Primeira parte
Como fazer capturas de tela de elementos e páginas da web e guia de execução de linha de comando
Função de reconhecimento OCR de conteúdo de elementos (comumente usada para captcha de texto)
Como rastejar sites que exigem inserção de código de verificação
Como alternar o pool de IP e usar IP de túnel - Caso de coleta de página de detalhes aberta
Como executar várias tarefas simultaneamente (multi-instância paralela)
Resultado da operação do código Python como entrada de caixa de texto
Exemplo - Coleta de artigos de site hostil e depuração de código
Tutorial de gravação em banco de dados MySQL
Consulte a Playlist do Youtube para ver os tutoriais em vídeo do EasySpider.
Baixe as tarefas de exemplo da pasta Examples deste projeto, renomeie-as para números maiores que 0, importe-as para a pasta tasks no EasySpider e, em seguida, abra-as no EasySpider.
Baixe as tarefas de exemplo da pasta Examples deste projeto, renomeie-as para números maiores que 0, importe-as para a pasta tasks no EasySpider e, em seguida, abra-as no EasySpider.
Este software é apenas para aprendizado e comunicação. É estritamente proibido usar o software para qualquer operação ilegal, como rastejar sites governamentais/militares que não são permitidos para rastreamento. Todas as consequências decorrentes do uso deste software são de responsabilidade exclusiva do usuário, e o autor não se responsabiliza por quaisquer consequências.
Para operações de rastreamento de sites governamentais e militares, o autor não responderá a nenhuma pergunta para evitar violar leis, regulamentos e políticas nacionais relevantes.
O EasySpider está em conformidade com o acordo AGPL-3.0. Qualquer indivíduo ou empresa pode usar o software gratuitamente ou usar o código-fonte do software para desenvolvimento secundário sem entrar em contato com o autor para autorização comercial (de patente). No entanto, é necessário prestar atenção às regras relacionadas do acordo AGPL-3.0:
O EasySpider está em conformidade com o acordo AGPL-3.0. Qualquer indivíduo ou empresa pode usar o software gratuitamente e usar o código-fonte do software para desenvolvimento secundário sem entrar em contato com o autor para autorização comercial (de patente). No entanto, é necessário prestar atenção às regras relacionadas do acordo AGPL-3.0:
Número do grupo: 682921940. Recomenda-se usar o Github Issues para tirar dúvidas. Se realmente for necessário, adicione o grupo QQ, pois o grupo tem limite de membros. O grupo QQ não oferece função de download de software.
Este software foi aceito na The Web Conference (WWW) 2023 (conferência de alto nível da China Computer Federation, CCF A): EasySpider: A No-Code Visual System for Crawling the Web, abril de 2023.
Patente de invenção do Escritório Nacional de Propriedade Intelectual da China, Um sistema de encapsulamento de serviço com fluxo de extração personalizado, maio de 2022.
Dissertação de mestrado da Universidade de Zhejiang, Design e implementação de um sistema de encapsulamento de serviço inteligente para aplicações WEB, junho de 2020.
Consulte Instruções de Compilação.
Consulte Instruções de Compilação.
