katrielmoses/voidaccessPlateforme OSINT auto-hébergée pour le dark web. Renseignement automatisé sur les menaces, de la requête au graphique en 13 étapes. Alternative gratuite à Recorded Future, DarkOwl et Flare.
<p align="center"> <img src="https://raw.githubusercontent.com/katrielmoses/voidaccess/main/public/logo_circle.png" width="160" alt="Logo VoidAccess"> </p> <h1 align="center">VoidAccess</h1> <p align="center"> <a href="https://github.com/katrielmoses/voidaccess/blob/main/LICENSE"><img src="https://img.shields.io/badge/License-MIT-blue.svg" alt="License: MIT"></a> <a href="https://www.python.org/"><img src="https://img.shields.io/badge/Python-3.10+-blue.svg" alt="Python 3.10+"></a> <a href="https://github.com/katrielmoses/voidaccess/blob/main/docker-compose.yml"><img src="https://img.shields.io/badge/Docker-Compose-blue.svg" alt="Docker Compose"></a> <a href="https://pypi.org/project/voidaccess/"><img src="https://img.shields.io/pypi/v/voidaccess?logo=pypi&logoColor=white" alt="PyPI version"></a> <a href="https://pypi.org/project/voidaccess/"><img src="https://img.shields.io/pypi/dm/voidaccess" alt="PyPI downloads"></a> </p> OSINT auto-hébergeable pour transformer des requêtes de recherche sur le dark web en renseignements structurés sur les menaces. Conçu pour les chercheurs en sécurité, les équipes de renseignement sur les menaces et les enquêteurs autorisés qui ont besoin de collecte, d'enrichissement, de cartographie des relations et d'exportation dans un seul flux de travail. ## Sortie du Terminal  ## Démarrage Rapide ```bash pip install voidaccess voidaccess investigate "LockBit ransomware" --no-llm --no-tor --depth shallow voidaccess list voidaccess actors voidaccess status ```  ## Ce Qu'il Fait - **Collecte parallèle** - recherche dans les index Tor, les sites de paste, les forges de code, les flux de sécurité et les graines `.onion` sélectionnées. - **Extraction d'entités** - détecte les IOC, portefeuilles, identifiants, pseudonymes, vulnérabilités, acteurs, logiciels malveillants, personnes et organisations. - **Enrichissement multi-sources** - ajoute du contexte sur la réputation, les fuites, le DNS passif, les sandbox, la blockchain et les flux de menaces. - **Renseignement sur les acteurs** - conserve les alias, l'infrastructure, les notes, les chronologies et les relations entre investigations. - **Graphes de relations** - construit des graphes de cooccurrence, des communautés, des chemins et des clusters d'infrastructure. - **Sûreté du contenu** - filtre les requêtes, URL, contenus et entités extraits interdits à des étapes obligatoires du pipeline. - **Exports structurés** - produit des paquets STIX 2.1, MISP, Sigma, YARA, Snort, Suricata, CSV, Markdown, JSON et IOC. - **CLI et interface web** - fonctionne localement avec SQLite ou comme pile Docker Compose avec PostgreSQL et une interface navigateur. ## Pipeline | Étape | Action | |---|---| | 1 | Affiner la requête d'investigation avec le LLM sélectionné | | 2 | Collecter en parallèle depuis la recherche Tor, les sites de paste, les forges de code, les flux RSS et les graines sélectionnées | | 3 | Filtrer les pages bruitées ou non pertinentes | | 4 | Enrichir la requête et les indicateurs précoces à partir des sources de renseignement sur les menaces | | 5 | Découvrir récursivement des liens `.onion` supplémentaires | | 6 | Réutiliser les pages récemment traitées depuis le cache vectoriel | | 7 | Récupérer les pages sélectionnées via Tor avec des limites de taille de réponse | | 8 | Conserver le contenu nouvellement collecté | | 9 | Fusionner les renseignements collectés et enrichis | | 10 | Extraire les entités avec des regex, NER et une analyse LLM facultative | | 11 | Recouper les entités avec les ensembles de données historiques et de graines | | 12 | Construire les relations, communautés et clusters d'infrastructure | | 13 | Générer le résumé final des renseignements et le résultat prêt à l'exportation | Le comportement complet du pipeline, les délais d'attente, la reprise et le flux de données sont documentés dans [Architecture](https://github.com/katrielmoses/voidaccess/blob/main/docs/architecture.md). ## Types d'Entités | Catégorie | Exemples | |---|---| | Cryptomonnaie | Bitcoin, Ethereum, Monero, Litecoin, Zcash, Solana, Tron, ENS | | Indicateurs réseau | IPv4, IPv6, domaines, URL, adresses `.onion`, adresses MAC, clés PGP | | Indicateurs de fichier | MD5, SHA-1, SHA-256, familles de logiciels malveillants | | Identifiants | Clés cloud, jetons, JWT, clés API, journaux de stealer, entrées de combo-lists | | Messagerie | Telegram, Discord, XMPP, Tox, Session, Matrix, Wire, ICQ, Wickr | | Vulnérabilités | CVE, techniques et tactiques MITRE ATT&CK, identifiants Exploit-DB | | Contenu de détection | Règles YARA, modèles Nuclei, indicateurs Snort et Suricata | | Renseignement sur les menaces | Pseudonymes d'acteurs, groupes de ransomware, liens de paste, personnes, organisations, lieux | ## Collecte et Enrichissement | Couche | Sources | |---|---| | Recherche sur le dark web | Plus de 16 moteurs de recherche Tor et des graines `.onion` sélectionnées | | Collecte sur le web ouvert | Pastebin, dpaste, paste.ee, Rentry, GitHub, GitLab et des flux RSS sélectionnés | | Flux de menaces | AlienVault OTX, abuse.ch, MalwareBazaar, ThreatFox, URLhaus, ransomware.live, CISA KEV | | Contexte IP et domaine | Shodan InternetDB, GreyNoise, AbuseIPDB, Feodo Tracker, C2IntelFeeds, crt.sh, URLScan.io, Wayback Machine, CIRCL PDNS, RDAP | | Contexte fichier et identité | VirusTotal, Hybrid Analysis, Have I Been Pwned, EmailRep | | Blockchain | BlockCypher et Etherscan | Les sources qui nécessitent des clés API sont simplement ignorées lorsque leurs clés sont absentes. La référence complète des clés et de la configuration se trouve dans [Architecture](https://github.com/katrielmoses/voidaccess/blob/main/docs/architecture.md#13-configuration-reference). ### Embeddings vectoriels facultatifs L'installation par défaut peut fonctionner sans PyTorch. Lorsque la pile d'embedding n'est pas disponible, VoidAccess enregistre qu'il utilise un encodeur de secours déterministe SHA-256. Installez les dépendances NLP facultatives pour activer les embeddings vectoriels complets de sentence-transformer : ```bash pip install "voidaccess[nlp]" ``` ## Fournisseurs de LLM | Fournisseur | Modèles typiques | Notes | |---|---|---| | OpenRouter | DeepSeek, Llama, Claude | Route par défaut ; des modèles gratuits sont disponibles | | Groq | Llama | Inférence hébergée rapide avec un niveau gratuit | | OpenAI | Modèles GPT | Clé API requise | | Anthropic | Claude | Claude Haiku est le modèle par défaut testé | | Google Gemini | Gemini Flash et Pro | Clé Google AI Studio requise | | Ollama | Tout modèle local installé | Local et adapté aux déploiements air-gapped | ## Référence CLI | Commande | Description | |---------|-------------| | `voidaccess investigate "QUERY"` | Lancer une investigation | | `voidaccess show` | Ouvrir le navigateur d'entités interactif | | `voidaccess export INVESTIGATION_ID --format FORMAT` | Exporter au format STIX, MISP, Sigma, YARA, Snort, Suricata, package, CSV, Markdown ou JSON | | `voidaccess package INVESTIGATION_ID` | Créer un package ZIP d'IOC | | `voidaccess enrich INVESTIGATION_ID` | Ré-enrichir une investigation enregistrée | | `voidaccess list` | Lister les investigations enregistrées | | `voidaccess status` | Afficher l'état de la configuration, de Tor, du cache, du moteur et des graines | | `voidaccess actors` | Lister les profils d'acteurs persistants | | `voidaccess actor HANDLE` | Afficher un profil d'acteur | | `voidaccess actor HANDLE --timeline` | Afficher la chronologie d'activité d'un acteur | | `voidaccess actor HANDLE --note "TEXT"` | Ajouter une note d'analyste à un profil d'acteur | | `voidaccess timeline HANDLE` | Ouvrir directement la chronologie d'un acteur | | `voidaccess configure` | Exécuter l'assistant de configuration | | `voidaccess configure llm` | Configurer le fournisseur de LLM, le modèle et la clé | | `voidaccess configure keys` | Configurer les clés API d'enrichissement | | `voidaccess configure tor` | Remplacer l'hôte et le port du proxy Tor | | `voidaccess version` | Afficher la version installée | Les requêtes clearnet facultatives peuvent utiliser [ScrapingAnt](https://scrapingant.com/?ref=mzliyzh) avec `--use-scraping-api` ou `--use-proxies` ; le trafic Tor, `.onion`, GitHub et GitLab n'est pas concerné. ## Auto-Hébergement Exécutez la pile complète PostgreSQL, Tor, FastAPI et Next.js avec Docker Compose. Le [guide d'auto-hébergement](https://github.com/katrielmoses/voidaccess/blob/main/docs/self-hosting.md) couvre l'installation guidée, la configuration de l'environnement, les opérations et le dépannage. ## Liens | | | |-|-| | [Guide d'auto-hébergement](https://github.com/katrielmoses/voidaccess/blob/main/docs/self-hosting.md) | Docker Compose, configuration de l'environnement, opérations et dépannage | | [Architecture](https://github.com/katrielmoses/voidaccess/blob/main/docs/architecture.md) | Internes du pipeline, modules, schéma, API, enrichissement, graphe et référence de configuration | | [Contribuer](https://github.com/katrielmoses/voidaccess/blob/main/CONTRIBUTING.md) | Configuration de développement, normes et pull requests | | [Sécurité](https://github.com/katrielmoses/voidaccess/blob/main/SECURITY.md) | Versions prises en charge et signalement privé des vulnérabilités | | [Politique d'utilisation](https://github.com/katrielmoses/voidaccess/blob/main/docs/USAGE_POLICY.md) | Exigences d'utilisation autorisée et activité interdite | | [PyPI](https://pypi.org/project/voidaccess/) | Package publié et fichiers de version | | [GitHub](https://github.com/KatrielMoses/VoidAccess) | Code source, problèmes et versions | ## Licence MIT. Utilisez VoidAccess uniquement pour la recherche en sécurité autorisée et le travail de renseignement sur les menaces ; consultez la [Politique d'utilisation](https://github.com/katrielmoses/voidaccess/blob/main/docs/USAGE_POLICY.md).
