soxoj/socid-extractor⛏️ O motor de extração por trás do Maigret: transforme qualquer URL de perfil em um registro OSINT estruturado em mais de 150 sites
Transforme qualquer página de perfil público em um registro de conta estruturado — nomes de usuário, nomes de exibição, bios, avatares, localizações, datas de entrada, contagens de seguidores, links externos e os identificadores internos estáveis que fixam unicamente uma conta através de renomeações, reformulações e exclusões.
socid_extractor analisa páginas HTML e respostas de API de mais de 250 esquemas e retorna um dicionário plano e legível por máquina de campos de conta. Não são necessárias chaves de API, nem navegador headless — apenas uma única chamada de função no texto da resposta.
Por que é útil
extract() para Instagram, GitHub, VK, Reddit, Substack, Bluesky, TikTok — sem código de integração específico por plataforma do seu lado.username, fullname, created_at, is_verified, …) para que pipelines downstream não precisem de 130 mapeamentos.Python: 3.10+.
pip install socid-extractor
Para uma instalação limpa via CLI em uma estação de trabalho:
pipx install socid-extractor
A versão de desenvolvimento mais recente:
pip install -U git+https://github.com/soxoj/socid-extractor.git
Como CLI:
$ socid_extractor --url https://www.deviantart.com/muse1908
country: France
created_at: 2005-06-16 18:17:41
gender: female
username: Muse1908
website: www.patreon.com/musemercier
links: ['https://www.facebook.com/musemercier', 'https://www.instagram.com/muse.mercier/', 'https://www.patreon.com/musemercier']
tagline: Nothing worth having is easy...
Como uma biblioteca Python:
import requests
import socid_extractor
r = requests.get('https://www.patreon.com/annetlovart')
print(socid_extractor.extract(r.text))
# {'patreon_id': '33913189', 'patreon_username': 'annetlovart',
# 'fullname': 'Annet Lovart',
# 'links': "['https://www.facebook.com/322598031832479', ...]"}
Dica — execuções em lote: passe --skip-fetch-if-no-url-hint para ignorar a requisição HTTP quando a URL não corresponder a nenhuma dica de site conhecida (mais rápido, mas pode ignorar mecanismos genéricos, como templates de fórum):
$ socid_extractor --url https://example.com/foo --skip-fetch-if-no-url-hint
Uma amostra não exaustiva:
…e muitos outros.
Para exemplos de dados, consulte tests/test_e2e.py; para a lógica de parsing, consulte socid_extractor/schemes.py; para a ontologia de campos, consulte FIELDS.md.
O socid_extractor de código aberto é licenciado sob MIT e gratuito para uso comercial sem restrições — mas os parsers de páginas quebram com o tempo à medida que as plataformas alteram seu HTML e APIs, e precisam de manutenção ativa.
Para uso comercial sério — uma API de extração hospedada, ou manutenção dos parsers dos quais seu produto depende — entre em contato: 📧 [email protected]
socid_extractor ao seu produtoMapeia para as seguintes técnicas SOWEL: