Varianti ottimizzate

Per generare un'ottimizzazione di secondo passaggio delle regole su dati reali, il primo milione di regole generate è stato eseguito contro l'elenco NTLM di Pwned Passwords utilizzando la wordlist rockyou. Ogni regola che ha crackato una password è stata aggiunta a una propria lista e le regole con prestazioni inferiori sono state scartate.

Sono stati creati quattro tipi di ottimizzazione:

• popular.rule: pantagrule.1m eseguito contro le prime 25.000.000 di password del set HIBP.
• random.rule: pantagrule.1m eseguito contro 25.000.000 di password selezionate casualmente dal set HIBP.
• hybrid.rule: Una lista ordinata di una combinazione delle regole popular e random di maggior successo, poi tagliata a metà, nel tentativo di creare un set di regole più leggero e 'bilanciato' che funzioni su un insieme di campioni più ampio.
• one.rule: Una versione di OneRuleToRuleThemAll in cui vengono aggiunte le regole hybrid con le migliori prestazioni, e la lista viene troncata alla dimensione del set di regole dive. È interessante notare che c'è solo una sovrapposizione di poche migliaia di regole tra OneRuleToRuleThemAll e le regole di Pantagrule, rendendo le due strategie complementari. La one di Pantagrule ha prestazioni migliori rispetto ad altre liste note di questa dimensione, e si consiglia di iniziare con questo set di regole prima di provare una delle varianti più grandi.

Pantagrule hashorg.v6

Dopo il successo di questi grandi set di regole, è stato tentato l'inverso della variante royce, in cui è stata utilizzata la metodologia originale di Pantagrule ma entrambi i set di dati erano diversi. Pantagrule ora utilizza la lista pubblica 'founds' di hashes.org come base per la generazione delle regole, e poi è stato eseguito un passaggio di ottimizzazione contro la lista NTLM V6 di Have I Been Pwned. Data la natura completamente pubblica dei dati utilizzati, ciò consente anche la pubblicazione dei dati di riproducibilità grezzi, inclusi pantagrule.v2.1m.rule, che sono il primo milione di regole generate con questa metodologia. I dati per V5 e V6 sono gli stessi per le prime 25 milioni di password.

Per questa versione, il modo in cui viene generata one è cambiato. Per generare one, l'intera lista di 1 milione è stata aggiunta a OneRuleToRuleThemAll.rule e poi l'intero set calibrato su Pwned V6, invece di aggiungere semplicemente le regole e troncare.

Le convenzioni di denominazione per le regole sono ora cambiate nel formato pantagrule.${corpus}.${trainingversion}.${extension}. Questo rende più facile capire per cosa è stata ottimizzata la regola. Ad esempio, per pantagrule.hashorg.v6.random, abbiamo utilizzato la metodologia random con hashes.org come base per la generazione delle regole, ottimizzata su Pwned Passwords V6.

Regole originali

Le regole originali sono state addestrate utilizzando la wordlist proprietaria insieme al set NTLM di Pwned Passwords v5 usando rockyou.txt come base. Poiché i 'dati di addestramento' e i dati di validazione sono gli stessi, avrebbe senso vederli ottimizzati per il dataset V5.

Le varianti royce

Su richiesta del contributore di hashcat Royce Williams, le ottimizzazioni del primo milione di regole sono state anche eseguite con la lista founds di hashes.org. Ciò è dovuto al fatto che il corpus HIBP è relativamente sporco, e la lista founds di hashes.org è probabile che produca un set di regole più pratico per il cracking reale. Queste sono state aggiunte come varianti royce. Le ottimizzazioni royce sembrano consistere di un numero marginalmente inferiore di regole in totale, e random.royce è sostanzialmente più efficace su una lunga coda di password rispetto alla random originale. Le prestazioni non sono aumentate rispetto alle regole esistenti su alcune varianti, ma dato che i dati di addestramento e validazione di Pantagrule originale provengono entrambi dal dataset Pwned Passwords, ciò non sembra sorprendente. Le varianti royce di Pantagrule esistono nella cartella rules/royce.

Prestazioni rispetto ad altre regole comunemente usate

Per testare eventuali successi della strategia Pantagrule rispetto ad altri set di regole, eseguiremo i dati di validazione sulle prime 25 milioni di password di Pwned Passwords V5 e sulle prime 100 milioni di password di Pwned Passwords V5 per avere un'idea dell'efficacia delle regole nel cracking della 'lunga coda' con ciascun set di regole. Il dizionario canonico rockyou.txt sarà il nostro dizionario e la nostra baseline.

La generazione della variante originale è stata eseguita su una macchina con 8x 1070Ti che eseguiva hashcat v5.1.0. Le varianti royce di Pantagrule sono state create su una macchina con 4x Radeon VII che eseguiva hashcat git build v5.1.0-1774-gf96594ef. Le varianti hashorg.v6 sono state create e validate (molto lentamente) su una singola NVIDIA Tesla M4, una singola 1070Ti e hashcat v6.1.0.

Per notare le prestazioni delle regole contro password molto comuni, 0-25M è suddiviso in una propria colonna. La colonna RPP è le regole per percentuale sul dataset 100M. Questo viene calcolato usando la formula rpp = Math.round(num_rules / (0_100m_percent - 6.450)). Più alto è questo numero, più regole vengono eseguite per percentuale crackata. Questo aiuta a rendersi conto dei rendimenti decrescenti nei set di regole e dà un'idea del costo amplificato dell'esecuzione delle regole su hash più lenti.

Conclusione

Questo lavoro conferma le limitazioni dell'algoritmo LRP di PACK originariamente osservate da _NSAKEY su set di dati moderni quando si utilizza il dizionario rockyou. Sebbene l'algoritmo LRP generi regole che aumentano la percentuale di cracking, lo fa a costo di un grande aumento dello spazio di ricerca. Per questo motivo, Pantagrule è più utile nei casi in cui il cracking difficile richiede regole esotiche.

È importante notare che se puoi usare PACK per generare regole basate su un corpus specifico e poi colpire i tuoi hash rimanenti con esso, è probabile che tu ottenga una percentuale di cracking maggiore rispetto all'uso di uno di questi grandi set di regole. Ad esempio, Pantagrule V2 non performa altrettanto bene su PPv5 come il set di regole calibrato su v5.

Dal rilascio originale di Pantagrule, queste regole si sono dimostrate valide in molteplici impegni di red team presso grandi aziende tecnologiche e società di consulenza. La lista originale pantagrule.1m ha crackato l'8% degli hash HIBP rimanenti che avevano resistito al corpus usato per generare Pantagrule, ai set di regole comuni sopra menzionati, a un brute force alfanumerico a 7 caratteri e alle topologie PathWell di KoreLogic.

Come afferma anche l'autore della meta-regola One Rule to Rule Them All (Hunt, 2017), non esiste una regola che funzioni meglio delle altre. Ogni caso d'uso è diverso, e ogni fonte di regole può essere quella che ti aiuta più di un'altra su un dump di hash specifico o con una wordlist specifica. Nota che questi dati non mostrano cosa è stato crackato; alcune regole hanno crackato hash che altre regole non hanno crackato.

Citazioni

0. Rabelais, F. (1532). Pantagruel. Parigi: Libr. générale française.
1. Kacherginsky, P. (2013). Automatic Password Rule Analysis and Generation. [online] Disponibile su: https://medium.com/@iphelix/automatic-password-rule-analysis-and-generation-7d2574516e48 [Accesso 4 Ott. 2019].
2. _NSAKEY. (2014). NSAKEY/nsa-rules. [online] Disponibile su: https://github.com/NSAKEY/nsa-rules [Accesso 4 Ott. 2019].
3. Hunt, W. (2017). One Rule to Rule Them All. [online] Disponibile su: https://www.notsosecure.com/one-rule-to-rule-them-all/ [Accesso 4 Ott. 2019].

Licenza

Le regole di Pantagrule sono rilasciate sotto licenza MIT. Sentiti libero di integrarle nei tuoi strumenti.