dirtyfilthy/freshonions-torscraperFresh Onions é um spider TOR de código aberto / rastreador de serviços ocultos onion hospedado em zlal32teyptf4tvi.onion
Esta é uma cópia do código-fonte do serviço oculto http://zlal32teyptf4tvi.onion, que implementa um rastreador / spider de serviços ocultos Tor e um site.
Este software é disponibilizado sob a Licença GNU Affero GPL 3.. Isso significa que, se você implantar este software como parte de um software em rede disponível ao público, deve disponibilizar o código-fonte (e quaisquer modificações).
Do site GNU:
A Licença Pública Geral Affero GNU é uma versão modificada da GNU GPL versão 3 comum. Ela tem um requisito adicional: se você executar um programa modificado em um servidor e permitir que outros usuários se comuniquem com ele lá, seu servidor também deve permitir que eles baixem o código-fonte correspondente à versão modificada em execução.
pip install -r requirements.txt
Crie o banco de dados MySQL a partir do schema.sql
Edite etc/database para a configuração do seu banco de dados
Edite etc/proxy para a configuração do seu TOR
script/push.sh someoniondirectory.onion
script/push.sh anotheroniondirectory.onion
Edite etc/uwsgi_only e defina BASEDIR para onde o torscraper estiver instalado (ex.: /home/user/torscraper)
Execute:
init/scraper_service.sh # para iniciar o rastreamento
init/isup_service.sh # para manter o status do site atualizado
O torscraper vem com capacidade opcional de elasticsearch (ativada por padrão). Edite etc/elasticsearch e defina as variáveis ou defina ELASTICSEARCH_ENABLED=false para desativar. Execute scripts/elasticsearch_migrate.sh para realizar a configuração inicial após a configuração.
se o elasticsearch estiver desabilitado, não haverá pesquisa de texto completo, no entanto, o rastreamento e a descoberta de novos sites ainda funcionarão.
# coleta cebolas de várias fontes
1 18 * * * /home/scraper/torscraper/scripts/harvest.sh
# obtém impressões digitais SSH para novos sites
1 4,16 * * * /home/scraper/torscraper/scripts/update_fingerprints.sh
# marca sites como genuínos/falsos a partir da superlista /r/darknetmarkets
1 9 * * 1 /home/scraper/torscraper/scripts/get_valid.sh
# extrai pastebin para cebolas (requer conta paga / lista de permissões de IP)
*/5 * * * * /home/scraper/torscraper/scripts/pastebin.sh
# escaneia portas de novas cebolas
1 */6 * * * /home/scraper/torscraper/scripts/portscan_up.sh
# extrai stronghold paste
32 */2 * * * /home/scraper/torscraper/scripts/stronghold_paste_rip.sh
# detecta clones
16 3 * * * /home/scraper/torscraper/scripts/detect_clones.sh
O Fresh Onions é executado em dois servidores: um host frontend executando o banco de dados e o site do serviço oculto, e um host backend executando o rastreador. Provavelmente o mais interessante para o leitor é a configuração do backend. O TOR como cliente é COMPLETAMENTE MONOTHREAD. Eu sei! Estamos em 2017 e, junto com a completa falta de carros voadores, o TOR é executado em uma única thread. O que isso significa é que se você tentar executar um rastreador em uma única instância do TOR, rapidamente descobrirá que está usando 100% da CPU.
A solução para este problema é executar várias instâncias do TOR e conectar-se a elas através de algum tipo de frontend que distribuirá suas requisições em round-robin. O rastreador Fresh Onions executa oito instâncias do Tor.
O Debian (e Ubuntu) vem com um programa útil "tor-instance-create" para criar rapidamente múltiplas instâncias do TOR. Usei o Squid como meu proxy frontend, mas infelizmente ele não pode se conectar diretamente ao SOCKS, então usei o "privoxy" como proxy intermediário. Você precisará de uma instância do privoxy para cada instância do TOR. Há um script em "scripts/create_privoxy.sh" para ajudar a criar instâncias do privoxy em sistemas Debian. Também ajuda substituir /etc/privoxy/default.filter por um arquivo vazio, para reduzir a carga da CPU removendo regexes desnecessárias.
Além disso, este recurso https://www.howtoforge.com/ultimate-security-proxy-with-tor pode ser útil na configuração do squid. Se tudo o que você está fazendo é rastrear e não se importa com anonimato, também recomendo executar o TOR no modo tor2web (requer recompilação) para maior velocidade.