Pipeline Colab riproducibile che fonda sei dimensioni di competenza in AI Security Literacy su benchmark pubblici e microdati di indagine, producendo figure, tabelle e risultati riprendibili.
Una pipeline di analisi riproducibile che fonda le sei dimensioni di competenza dell'AI Security Literacy su benchmark pubblici e dati di indagini rappresentative a livello nazionale. Funziona in Google Colab. Ogni artefatto — cache del dataset, checkpoint del modello, figura, tabella dei risultati — viene salvato su Google Drive, e ogni fase è riprendibile.
L'IA è arrivata nelle scuole più velocemente di qualsiasi guida su come usarla in modo sicuro. Agli studenti vengono affidati sistemi black-box e ci si aspetta che intuiscano di cosa ci si può fidare di quei sistemi. Gli insegnanti sono divisi tra l'adozione dell'IA e il timore nei suoi confronti. I distretti scolastici scrivono politiche di uso accettabile mentre gli strumenti sottostanti cambiano ogni pochi mesi.
I framework di alfabetizzazione esistenti insegnano agli studenti a comprendere e usare l'IA. I framework di cybersecurity esistenti sono stati scritti prima che esistessero le minacce specifiche dell'IA. Nessuno dei due tratta l'operare in modo sicuro in un ambiente mediato dall'IA come una competenza a sé stante — con le proprie dimensioni, la propria progressione evolutiva e le proprie competenze insegnabili.
Questa competenza è ciò che AISL definisce, attraverso sei dimensioni che abbracciano l'intero ecosistema scolastico e non solo gli studenti.
Un framework di competenze che nessuno ha testato contro i dati è solo una tassonomia. Chiunque può affermare che gli studenti dovrebbero "riconoscere la manipolazione" o "calibrare la fiducia". La domanda più difficile è se quelle frasi nominino fenomeni reali e misurabili — e, se sì, cosa mostrino effettivamente le misurazioni.
È a questo che serve questa pipeline. Si chiede cosa i dati pubblici possano stabilire su ciascuna dimensione, e le risposte sono specifiche:
Ognuno di questi è una lezione che un discente può essere guidato a seguire con modelli reali e dati reali, ed è questo il punto: il framework è pensato per essere insegnato, non solo citato.
Una pipeline può produrre figure che sembrano corrette e non lo sono: una curva di robustezza da un modello che non è mai stato addestrato adeguatamente, o risultati di benchmark associati alle categorie sbagliate perché due file sono stati uniti per posizione di riga. Sono gli stessi tipi di errore che la dimensione più avanzata del framework insegna agli studenti a individuare.
Quindi la pipeline è costruita per renderli strutturalmente difficili: la valutazione degli attacchi è subordinata a un controllo di sanità sull'accuratezza pulita, i join vengono effettuati sul contenuto anziché sulla posizione, le fasi bloccate si annunciano invece di emettere output vuoto, il campionamento è seedato e ogni numero riportato viene scritto in un file di risultati leggibile dalla macchina invece di essere trascritto a mano. La riproducibilità qui non è una questione di ordinaria amministrazione — è l'oggetto stesso della ricerca.
La pipeline funziona su due livelli.
Livello 1 fonda le dimensioni attitudinali su micro-dati di indagini rappresentative a livello nazionale che scarichi tu stesso previa registrazione gratuita. Finché i file non sono presenti, le sue fasi si contrassegnano come skipped. Vedi Configurazione del Livello 1.
Livello 2 fonda le dimensioni tecniche su fonti pubbliche. Nessuna configurazione necessaria — apri ed esegui. Ogni dataset viene scaricato automaticamente.
| Dimensione | Livello 1 (indagini) | Livello 2 (dati pubblici) | |
|---|---|---|---|
| D1 | Permesso e Norme | RAND ATP Fall 2025, Pew ATP W142 | — |
| D2 | Sicurezza dei Dati e della Privacy | Pew ATP W152 | — |
| D3 | Riconoscimento di Minacce e Manipolazione | Pew ATP W152, W168 | RealToxicityPrompts, SMS Spam Collection, BBQ |
| D4 | Calibrazione della Fiducia e Verifica | Pew ATP W142, W152 | TruthfulQA + baseline GPT-2, BBQ |
| D5 | Comprensione Avversariale e Tecnica | — | CIFAR-10 + FGSM/PGD, 3 seed |
| D6 | Disposizione e Agentività | RAND ATP Fall 2025, Pew ATP W152 | — |
Apri AISL_analysis_poc.ipynb in Colab ed esegui tutte le celle dall'alto verso il basso.
Runtime > Change runtime type > GPU # optional; D5 training is ~10x faster
Runtime > Run all
Il primo avvio scarica CIFAR-10 (~170 MB), i corpora di Hugging Face, GPT-2 e la SMS Spam Collection. Tutti vengono memorizzati nella cache su Drive e non vengono mai riscaricati. L'esecuzione può essere interrotta in qualsiasi momento senza problemi — vedi Riprendere un'esecuzione.
Se aggiungi file di survey a Drive mentre una sessione Colab è aperta, riavvia la
sessione (Runtime > Restart session) prima di rieseguire: Colab non sempre vede
i file aggiunti dopo il mount di Drive.
Tutto ciò che è persistente risiede sotto MyDrive/AISL_data/. Nulla di valore viene
scritto sul disco effimero di Colab.
AISL_data/
├── cache/
│ ├── hf/ # Hugging Face datasets and GPT-2
│ └── torch/ # CIFAR-10
├── checkpoints/
│ └── cifar10_cnn_seed{N}.pt # one per seed, written after every epoch, atomically
├── figures/ # 300-dpi JPGs
├── tables/ # CSV + JSON + TeX macro exports
├── logs/
│ └── status.json # per-stage completion record
└── microdata/
├── sms/ # SMS Spam Collection (downloaded automatically)
├── pew/ # <- you place the Pew ATP .sav files here
└── rand/ # <- you place the RAND ATP .dta file here
I risultati vengono esportati in tre formati: aisl_results.json (leggibile dalla macchina), file .csv per ogni fase e aisl_results.tex (un insieme di macro TeX, una per ogni valore riportato, per la composizione tipografica a valle).