inquest/omnibusL'OSINT Omnibus (versione beta)
Un Omnibus è definito come un volume contenente diversi romanzi o altri elementi precedentemente pubblicati separatamente ed è esattamente ciò che il progetto InQuest Omnibus intende essere per la raccolta di Open Source Intelligence, la ricerca e la gestione degli artifact.
Fornendo un'applicazione a riga di comando interattiva e facile da usare, gli utenti possono creare sessioni per investigare vari artifact come indirizzi IP, nomi di dominio, indirizzi email, nomi utente, hash di file, indirizzi Bitcoin e altro ancora, man mano che continuiamo ad espanderci.
Questo progetto ha tratto ispirazione dai grandi che ci hanno preceduto, come SpiderFoot, Harpoon e DataSploit. Un grande ringraziamento a quegli eccezionali autori per il loro contributo al mondo dell'open source.
L'applicazione è scritta pensando a Python 2.7 ed è stata testata con successo su ambienti OSX e Ubuntu 16.04.
Questa è una beta dell'applicazione finale, quindi potrebbero esserci alcuni bug o altre stranezze durante l'uso. Per la maggior parte, Omnibus è pienamente funzionante e può essere utilizzato per iniziare immediatamente un'indagine di OSINT.
Omnibus è costruito in modo modulare che consente di aggiungere facilmente moduli di fonti dati OSINT e moduli di import/export. Ogni modulo per categoria è incluso in una singola directory e, aggiungendo poche righe di codice, il tuo modulo potrebbe essere il prossimo!
Man mano che la Wiki continua a crescere, avremo esempi completi su come scrivere plugin personalizzati.
Se noti bug o altri problemi, crea un Issue e/o una Pull Request. Saremmo inoltre lieti del supporto della comunità nella creazione di più moduli e nell'espansione dei casi d'uso di Omnibus. Fork e Pull Request per nuove funzionalità sono più che benvenuti!
Questo file README funge da rapida panoramica di Omnibus e delle sue funzionalità. La documentazione completa è disponibile nella cartella 'docs' di questo repository.
Prima di iniziare, è necessario coprire alcuni termini utilizzati da Omnibus.
new o venendo scoperti attraverso l'esecuzione di moduliAvviare Omnibus per un'indagine è semplice come clonare questo repository GitHub, installare i requisiti Python usando pip install -r requirements.txt ed eseguire python omnibus-cli.py.
Omnibus Shell - Avvio Principale
Per un riferimento visivo della CLI, nell'immagine sopra è mostrata la console di Omnibus dopo l'avvio di una nuova sessione, l'aggiunta di 2 artifact, e la visualizzazione del menu help.
È necessario impostare tutte le chiavi API che si desidera utilizzare all'interno dei moduli nel file omnibus/etc/apikeys.json.
Questo file è un documento JSON con segnaposto per tutti i servizi che richiedono chiavi API e viene accesso da Omnibus solo su base per modulo per recuperare la chiave API esatta di cui un modulo ha bisogno per eseguire.
Va notato che la maggior parte dei servizi che richiedono chiavi API hanno account gratuiti e chiavi API. Alcuni account gratuiti potrebbero avere limiti di risorse inferiori, ma ciò non è stato un problema durante indagini quotidiane più piccole o test dell'applicazione.
Un suggerimento utile: usa il comando cat apikeys per visualizzare quali chiavi hai effettivamente memorizzato.
Se i moduli falliscono o non restituiscono risultati, controlla prima qui per assicurarti che la tua chiave API sia salvata correttamente.
Quando esegui la CLI per la prima volta, verrai accolto da un menu di aiuto con alcune informazioni di base.
Omnibus cerca di utilizzare comandi che imitano alcuni comuni comandi Linux per familiarità e facilità d'uso. Ad esempio, il comando cat per mostrare informazioni su un artifact, rm per rimuovere un artifact dal database, ls per visualizzare gli artifact della sessione corrente e supporto per il reindirizzamento dell'output per qualsiasi comando usando il carattere >.
Come esempio di reindirizzamento dell'output, se desideri recuperare i dettagli di un artifact chiamato "inquest.net" salvati in un file JSON sul tuo disco locale, esegui semplicemente il comando:
cat inquest.net > inquest-report.json ed eccolo lì!
Questa funzionalità funziona anche con percorsi di file completi invece di percorsi relativi.
I comandi di alto livello più utilizzati in Omnibus sono:
session
new <nome artifact>
modules
open <percorso file>
ls
rm
wipe
cat <nome artifact | id sessione>
<nome modulo> <nome artifact | id sessione>
<nome macchina> <nome artifact | id sessione>
Se hai mai bisogno di un riferimento rapido sui diversi comandi disponibili per diverse aree dell'applicazione, ci sono menu di aiuto secondari proprio per questo scopo. Usando questi comandi verranno mostrati solo i comandi disponibili rilevanti per un'area specifica:
general
artifacts
sessions
modules
La maggior parte delle indagini informatiche inizia con uno o più indicatori tecnici, come un indirizzo IP, un hash di file o un indirizzo email. Dopo aver cercato e analizzato, iniziano a formarsi relazioni e puoi spostarti attraverso punti dati collegati. Questi punti dati sono chiamati Artifact all'interno di Omnibus e rappresentano qualsiasi elemento che desideri investigare.
Gli artifact possono essere di uno dei seguenti tipi:
Il comando "new" seguito da un artifact crea quell'artifact all'interno della tua sessione Omnibus e memorizza un record dell'artifact in MongoDB. Questo record contiene il nome dell'artifact, il tipo, il sottotipo, i risultati dei moduli, la fonte, le note, i tag, le informazioni sui figli (se necessario) e l'ora di creazione. Ogni volta che esegui un modulo su un artifact creato o memorizzato, il documento del database verrà aggiornato per riflettere le informazioni appena scoperte.
Per creare un nuovo artifact e aggiungerlo a MongoDB per il tracciamento, esegui il comando new <nome artifact>. Ad esempio, per iniziare l'indagine del dominio inquest.net, esegui new inquest.net.
Omnibus determinerà automaticamente di che tipo è l'artifact e assicurerà che solo i moduli per quel tipo vengano eseguiti sull'artifact. Se tenti di eseguire un artifact su un modulo che non supporta il tipo di artifact, verrai avvisato da un messaggio di avviso che elenca i tipi accettati.
Quando un modulo viene eseguito, potrebbero essere trovati nuovi artifact durante il processo di scoperta. Ad esempio, eseguire il comando "dnsresolve" potrebbe trovare nuovi indirizzi IPv4 non precedentemente visti da Omnibus. In tal caso, quei nuovi artifact trovati vengono automaticamente creati come nuovi artifact in Omnibus e collegati al loro genitore con un campo aggiuntivo chiamato "source" per identificare da quale modulo sono stati originariamente trovati. In questo esempio la fonte degli artifact appena creati sarebbe "dnsresolve".
Gli artifact possono essere rimossi dal database usando il comando "rm". Se non hai più bisogno di un artifact, esegui semplicemente il comando di eliminazione e specifica il nome dell'artifact o l'ID di sessione se ne ha uno.
Omnibus utilizza una funzionalità chiamata "sessioni". Le sessioni sono cache temporanee create tramite Redis ogni volta che avvii una sessione CLI. Ogni volta che crei un artifact, il nome di quell'artifact viene aggiunto alla Sessione insieme a una chiave numerica che consente un facile recupero, ricerca e azione sull'artifact correlato.
Ad esempio, se la tua sessione contiene un elemento "inquest.net", invece di dover eseguire virustotal inquest.net potresti anche eseguire virustotal 1 e riceveresti gli stessi risultati. In effetti, questo funziona con qualsiasi modulo o comando che utilizzi un nome di artifact come primo argomento.
Interazione con ID di Sessione invece di nomi di Artifact
Le sessioni sono qui per un facile accesso agli artifact e verranno cancellate ogni volta che esci dalla sessione CLI. Se desideri cancellare la sessione in anticipo, esegui il comando "wipe" e otterrai una tabula rasa.
Omnibus supporta attualmente il seguente elenco di moduli. Se hai suggerimenti o moduli da aggiungere o desideri scriverne uno tuo, crea una pull request.
Inoltre, all'interno della console Omnibus, digitare il nome del modulo mostrerà le informazioni di aiuto associate a quel modulo.
Moduli
Le macchine sono un modo semplice per eseguire tutti i moduli disponibili per un tipo di artifact su un dato artifact. Questo è un metodo rapido se desideri raccogliere quante più informazioni possibili su un bersaglio usando un singolo comando.
Per fare ciò, esegui semplicemente il comando machine <nome artifact|ID sessione> e attendi qualche minuto fino al termine dell'esecuzione dei moduli.
L'unico inconveniente è che ciò potrebbe restituire un grande volume di dati e artifact figli a seconda del tipo di artifact e dei risultati per modulo. Per rimediare, stiamo studiando un modo per rimuovere campi specifici dell'artifact dal documento memorizzato nel database per facilitare agli utenti la potatura dei dati indesiderati.
Alcuni comandi rapidi da ricordare sono:
session - avvia una nuova cache di artifactcat <nome artifact>|apikeys - stampa in modo formattato un documento di artifact o visualizza le tue chiavi API memorizzateopen <percorso file> - carica un elenco di artifact da un file di testo in Omnibus per l'indaginenew <nome artifact> - crea un nuovo artifact e lo aggiunge a MongoDB e alla tua sessionefind <nome artifact> - verifica se un artifact esiste nel database e mostra i risultatiI report sono l'output JSON di un documento di artifact del database, essenzialmente una versione in file di testo dell'output del comando "cat". Ma usando il comando report puoi specificare un artifact e un percorso file in cui desideri salvare l'output:
omnibus >> report inquest.net /home/adam/intel/osint/reports/inq_report.jsonIl comando sopra sovrascrive la directory di report standard di omnibus/reports. Per impostazione predefinita, e se non specifichi un percorso di report, tutti i report verranno salvati in quella posizione. Inoltre, se non specifichi un nome file, il report utilizzerà il seguente formato:
[nome_artifact]_[timestamp].jsonL'output dei comandi può anche essere salvato in file di testo arbitrari usando il carattere standard Linux >.
Ad esempio, se desideri memorizzare l'output di una ricerca VirusTotal per un host in un file chiamato "vt-lookup.json", esegui semplicemente:
virustotal inquest.net > vt-lookup.jsonPer impostazione predefinita, i file di output reindirizzati vengono salvati nella directory di lavoro corrente, quindi "omnibus/", ma se specifichi un percorso completo come virustotal inquest.net > /home/adam/intel/cases/001/vt-lookup.json, l'output formattato JSON verrà salvato lì.