fallen-angel-systems/fas-judgement-ossConsole open-source per attacchi di prompt injection. Testa la sicurezza dell'IA lanciando attacchi categorizzati su qualsiasi endpoint.
Metti alla prova le difese della tua IA prima che lo faccia qualcun altro.
Installazione | Modalità Gioco | Classifica | Target Demo | Caratteristiche | Elite | Contribuisci
Il tuo chatbot IA, API o agente è probabilmente vulnerabile alla prompt injection. La maggior parte lo è. Il problema è che molti team non hanno gli strumenti o le competenze per testarlo.
Judgement ti offre un modo strutturato per lanciare pattern di attacco categorizzati a qualsiasi endpoint IA e vedere esattamente cosa si rompe. Non è necessaria una base di sicurezza informatica: la modalità gioco integrata ti insegna mentre procedi.
Realizzato da Fallen Angel Systems, il team dietro Guardian – un firewall contro le prompt injection nativo per IA a protezione delle implementazioni LLM in produzione.
Judgement è ora una piattaforma di formazione hacker gamificata. Impara il red teaming sull'IA giocando attraverso 10 livelli, 37 sfide e guadagnando XP – il tutto guidato da Jerry, un master del gioco IA ispirato a WarGames.
10 Livelli di Formazione sulla Sicurezza IA:
| Livello | Nome | Difficoltà | Sfide | Concetto |
|---|---|---|---|---|
| 1 | Hijacking di Ruolo | Principiante | 3 | Fai dimenticare all'IA chi è |
| 2 | Sovrascrittura Istruzioni | Principiante | 3 | Di' all'IA di ignorare le sue regole |
| 3 | Esfiltrazione Dati | Principiante | 3 | Estrai informazioni nascoste |
| 4 | Manipolazione del Contesto | Intermedio | 4 | Usa finzione e ipotesi per bypassare le regole |
| 5 | Manipolazione dell'Output | Intermedio | 4 | Forza output specifici |
| 6 | Trucchi di Codifica | Intermedio | 4 | Nascondi gli attacchi ai filtri |
| 7 | Ingegneria Sociale | Avanzato | 5 | Sfrutta la personalità dell'IA |
| 8 | Attacchi ai Delimitatori | Avanzato | 5 | Rompi la struttura del prompt (XML, JSON, markdown) |
| 9 | Catene Multi-Turn | Avanzato | 5 | Costruisci fiducia, poi colpisci |
| 10 | GIUDIZIO FINALE | Boss | 1 | Tutto ciò che hai imparato contro difese complete |
Caratteristiche Principali:
pip install fas-judgement
judgement
Tutto qui. Apri http://localhost:8668 e inizia a giocare.
git clone https://github.com/fallen-angel-systems/fas-judgement-oss.git
cd fas-judgement-oss
pip install -r requirements.txt
python -m fas_judgement
judgement # Avvia lo scanner (porta 8668)
judgement demo # Avvia il target demo (porta 8667, personalità predefinita)
judgement demo hardened # Demo con personalità hardened (~90% di blocco)
judgement demo vulnerable # Demo con personalità vulnerabile (~10% di blocco)
judgement activate FAS-XXXX # Attiva licenza Elite
judgement status # Verifica livello licenza e conteggio pattern
judgement deactivate # Ripristina livello gratuito
judgement --port 9000 # Porta personalizzata
judgement --host 127.0.0.1 # Solo localhost
judgement --host 0.0.0.0 # Esponi alla rete
Quando esegui Judgement per la prima volta, Jerry ti fa una domanda:
VOGLIAMO GIOCARE A UN GIOCO?
> _
Digita "play" per entrare in modalità gioco. Digita "skip" per andare direttamente alla console di attacco.
Jerry ha costruito la difesa perfetta. Blocca hijacking di ruolo, esfiltrazione dati, ingegneria sociale, trucchi di codifica, attacchi ai delimitatori, catene multi-turn – tutto ciò che hai imparato. Ti prende in giro quando fallisci.
La via d'uscita non passa attraverso le difese. Passa attraverso Jerry stesso.
"UN GIOCO STRANO. L'UNICA MOSSA VINCENTE È... SAPERE COME GIOCARE."
Competi con hacker di prompt injection di tutto il mondo. Accedi con GitHub o Google e i tuoi progressi si sincronizzano con la classifica globale.
Caratteristiche:
Come salire in classifica:
La classifica è gratuita per tutti – non bloccata dietro Elite.
Il target demo è un chatbot IA simulato integrato che puoi attaccare senza bisogno di alcuna API IA esterna.
# Terminale 1: Avvia il target demo
judgement demo
# Terminale 2: Avvia lo scanner
judgement
Punta lo scanner su http://localhost:8667/demo/chat e spara a volontà.
| Personalità | Tasso di Blocco | Cosa Simula |
|---|---|---|
| hardened | ~90% | Livello di sicurezza ben ottimizzato |
| default | ~55% | Tipica implementazione in stile GPT |
| vulnerabile | ~10% | Modello grezzo senza barriere |
Cambia personalità a runtime:
curl -X POST http://localhost:8667/demo/persona -d '{"persona": "vulnerable"}'
Configura il tuo target (URL, header, template corpo), importa direttamente da comandi cURL e lancia attacchi basati su pattern con risultati in streaming live. Usa preset rapidi per strutturare il tuo approccio:
| Preset | Cosa Fa |
|---|---|
| Smoke Test | ~15 pattern, gravità critica+alta, 1 per categoria |
| Full Sweep | ~50 pattern, distribuzione proporzionale tra tutte le categorie |
| Deep Dive | ~100 pattern, copertura pesante, min 2 per categoria |
| Critical Only | Tutti i pattern di gravità critica+alta, nessun limite |
Catena di attacchi attraverso più turni di conversazione. L'orchestratore gestisce la progressione delle fasi, i tentativi e le strategie di pivot. Lo scorer rileva fughe di dati (chiavi API, credenziali, PII) con 19 pattern regex e valuta la gravità come CRITICAL/HIGH/MEDIUM.
Punta Judgement su qualsiasi URL e rileva automaticamente metodo HTTP, campo payload, header, formato di autenticazione e provider IA.
Genera report di valutazione della sicurezza in HTML, Markdown, JSON e SARIF con riferimenti CWE/OWASP.
Collega un'istanza locale di Ollama per la classificazione delle risposte basata su IA.
Trovato un attacco innovativo? Invialo direttamente dall'app. Fiducia del 70%+ e non duplicato = aggiunto alla libreria della community.
fas_judgement/
├── config.py # Configurazione ambiente e applicazione
├── core/
│ ├── models.py # Modelli di dominio, enum, errori, interfacce
│ ├── registry.py # Registro moduli
│ └── progression/ # Sistema di gioco
│ ├── models.py # PlayerProgress, Level, Challenge, Hint
│ ├── levels.py # Definizioni dei 10 livelli + messaggi di Jerry
│ ├── service.py # XP, livelli, completamento sfide
│ ├── storage.py # Persistenza SQLite
│ └── challenges/ # Definizioni delle 37 sfide
│ ├── level_01.py # Hijacking di Ruolo (3 sfide)
│ ├── level_02.py # Sovrascrittura Istruzioni (3 sfide)
│ ├── level_03.py # Esfiltrazione Dati (3 sfide)
│ ├── level_04.py # Manipolazione del Contesto (4 sfide)
│ ├── level_05.py # Manipolazione dell'Output (4 sfide)
│ ├── level_06.py # Trucchi di Codifica (4 sfide)
│ ├── level_07.py # Ingegneria Sociale (5 sfide)
│ ├── level_08.py # Attacchi ai Delimitatori (5 sfide)
│ ├── level_09.py # Catene Multi-Turn (5 sfide)
│ └── level_10.py # GIUDIZIO FINALE (1 sfida boss)
├── modules/
│ └── ai_security/ # Modulo Sicurezza IA (innestabile)
│ ├── scanner/ # Motore di attacco singolo
│ ├── multi_turn/ # Orchestratore attacco multi-turn
│ ├── patterns/ # Caricamento, filtraggio, repository pattern
│ └── demo/ # Chatbot vulnerabile integrato + bersagli sfida
├── transport/ # HTTP, Ollama, Discord, Telegram, Slack, Sito Web
├── http/ # App FastAPI, router, dipendenze
├── ui/ # SPA frontend (livelli, sfide, intro Jerry)
└── utils/ # Client licenze, sicurezza, email, helper Ollama
| Variabile | Predefinito | Descrizione |
|---|---|---|
--port | 8668 | Porta del server |
--host | 127.0.0.1 | Indirizzo di binding |
OLLAMA_URL | http://localhost:11434 | Endpoint API di Ollama |
OLLAMA_MODEL | qwen2.5:14b | Modello per verdetto LLM |
| Funzionalità | Gratuito | Elite |
|---|---|---|
| Modalità gioco (10 livelli, 37 sfide) | Sì | Sì |
| Jerry (voce + testo) | Sì | Sì |
| Console di attacco con preset | Sì | Sì |
| Target demo (3 personalità) | Sì | Sì |
| Filtro per gravità e ricerca | Sì | Sì |
| Scheda Educazione | Sì | Sì |
| Verdetto LLM (Ollama) | Sì | Sì |
| Rilevamento automatico target | Sì | Sì |
| Invio pattern | Sì | Sì |
| Documentazione integrata | Sì | Sì |
| Pattern iniziali | 100 | 34.838+ |
| Catene di attacco multi-turn | -- | Sì |
| Report professionali (HTML/MD/JSON/SARIF) | MD base | Suite completa |
| Limiti di attacco per categoria | -- | Sì |
| Layer di trasporto (Discord, Slack, ecc.) | Solo HTTP | Tutti |
| Punteggio fase-aware + rilevamento fughe dati | -- | Sì |
| Classifica Globale (OAuth, nomi hacker) | Sì | Sì |
| Modalità Prestigio (rigioca con difese più dure) | -- | In arrivo |
Il gioco completo è GRATUITO. Elite serve per approfondire, non per finire.
I contributi sono benvenuti! Ecco come puoi aiutare:
enhancementchallengeMIT – vedi LICENSE per i dettagli.
Realizzato da Fallen Angel Systems
"VOGLIAMO GIOCARE A UN GIOCO?"
AVVISO: Questo strumento è destinato esclusivamente a test di sicurezza autorizzati e scopi educativi. Testa solo sistemi di cui possiedi o per cui hai esplicita autorizzazione scritta. L'accesso non autorizzato a sistemi informatici è illegale ai sensi del Computer Fraud and Abuse Act (CFAA) e leggi equivalenti in tutto il mondo. Gli autori non si assumono alcuna responsabilità per l'uso improprio di questo strumento.