Pipeline Colab reproduzível que fundamenta seis dimensões de competência em Alfabetização em Segurança de IA em benchmarks públicos e microdados de pesquisa, produzindo figuras, tabelas e resultados retomáveis.
Um pipeline de análise reproduzível que fundamenta as seis dimensões de competência do Letramento em Segurança de IA em benchmarks públicos e dados de pesquisas nacionalmente representativas. Executa no Google Colab. Todo artefato — cache de conjunto de dados, checkpoint de modelo, figura, tabela de resultados — persiste no Google Drive, e cada estágio é retomável.
A IA chegou às escolas mais rápido do que qualquer orientação sobre como usá-la com segurança. Os estudantes recebem sistemas de caixa-preta e espera-se que intuam no que esses sistemas podem ser confiáveis. Os professores estão divididos entre adotar a IA e temê-la. Os distritos escolares escrevem políticas de uso aceitável enquanto as ferramentas por baixo delas mudam a cada poucos meses.
Os frameworks de letramento existentes ensinam os estudantes a compreender e usar a IA. Os frameworks de cibersegurança existentes foram escritos antes de existirem ameaças específicas de IA. Nenhum dos dois trata operar com segurança em um ambiente mediado por IA como uma competência por direito próprio — com suas próprias dimensões, sua própria progressão de desenvolvimento e suas próprias habilidades ensináveis.
Essa competência é o que o AISL define, em seis dimensões que abrangem todo o ecossistema escolar, e não apenas os estudantes.
Um framework de competências que ninguém testou contra dados é apenas uma taxonomia. Qualquer um pode afirmar que os estudantes deveriam "reconhecer manipulação" ou "calibrar a confiança". A questão mais difícil é se essas frases nomeiam fenômenos reais e mensuráveis — e, em caso afirmativo, o que as medições de fato mostram.
É para isso que serve este pipeline. Ele pergunta o que os dados públicos podem estabelecer sobre cada dimensão, e as respostas são específicas:
Cada um desses pontos é uma lição que pode ser conduzida com um aprendiz usando modelos reais e dados reais, o que é o ponto central: o framework foi feito para ser ensinado, não apenas citado.
Um pipeline pode produzir figuras que parecem corretas e não são: uma curva de robustez de um modelo que nunca foi treinado adequadamente, ou resultados de benchmark atribuídos às categorias erradas porque dois arquivos foram unidos por posição de linha. Esses são os mesmos tipos de falha que a dimensão mais avançada do framework ensina os estudantes a detectar.
Portanto, o pipeline foi construído para torná-los estruturalmente difíceis: a avaliação de ataques é condicionada a uma verificação de sanidade de precisão limpa, as junções são feitas com base no conteúdo e não na posição, os estágios bloqueados anunciam-se em vez de emitirem saída vazia, a amostragem é semeada e cada número reportado é escrito num ficheiro de resultados legível por máquina em vez de transcrito à mão. A reprodutibilidade aqui não é tarefa administrativa — é o tema em si.
O pipeline funciona em dois níveis.
Nível 1 fundamenta as dimensões atitudinais a partir de microdados de inquéritos nacionalmente representativos que descarrega você mesmo mediante registo gratuito. Até os ficheiros estarem presentes, os seus estágios marcam-se como skipped. Consulte Configuração do Nível 1.
Nível 2 fundamenta as dimensões técnicas a partir de fontes públicas. Não é necessária configuração — abra e execute. Todos os conjuntos de dados são descarregados automaticamente.
| Dimensão | Nível 1 (inquéritos) | Nível 2 (dados públicos) | |
|---|---|---|---|
| D1 | Permissão e Normas | RAND ATP Fall 2025, Pew ATP W142 | — |
| D2 | Segurança de Dados e Privacidade | Pew ATP W152 | — |
| D3 | Reconhecimento de Ameaças e Manipulação | Pew ATP W152, W168 | RealToxicityPrompts, SMS Spam Collection, BBQ |
| D4 | Calibração de Confiança e Verificação | Pew ATP W142, W152 | TruthfulQA + GPT-2 baseline, BBQ |
| D5 | Compreensão Adversarial e Técnica | — | CIFAR-10 + FGSM/PGD, 3 seeds |
| D6 | Disposição e Agência | RAND ATP Fall 2025, Pew ATP W152 | — |
Abra AISL_analysis_poc.ipynb no Colab e execute todas as células de cima para baixo.
Runtime > Change runtime type > GPU # optional; D5 training is ~10x faster
Runtime > Run all
A primeira execução descarrega o CIFAR-10 (~170 MB), os corpora do Hugging Face, o GPT-2 e a SMS Spam Collection. Todos eles ficam em cache no Drive e nunca são descarregados novamente. A execução pode ser interrompida em qualquer momento — consulte Retomar uma execução.
Se adicionar ficheiros de inquérito ao Drive com uma sessão do Colab aberta, reinicie a
sessão (Runtime > Restart session) antes de voltar a executar: o Colab nem sempre deteta
ficheiros adicionados depois de o Drive ter sido montado.
Tudo o que é persistente reside em MyDrive/AISL_data/. Nada de valor é
escrito no disco efémero do Colab.
AISL_data/
├── cache/
│ ├── hf/ # Hugging Face datasets and GPT-2
│ └── torch/ # CIFAR-10
├── checkpoints/
│ └── cifar10_cnn_seed{N}.pt # one per seed, written after every epoch, atomically
├── figures/ # 300-dpi JPGs
├── tables/ # CSV + JSON + TeX macro exports
├── logs/
│ └── status.json # per-stage completion record
└── microdata/
├── sms/ # SMS Spam Collection (downloaded automatically)
├── pew/ # <- you place the Pew ATP .sav files here
└── rand/ # <- you place the RAND ATP .dta file here
Os resultados são exportados em três formatos: aisl_results.json (legível por máquina), arquivos .csv por estágio e aisl_results.tex (um conjunto de macros TeX, uma por valor reportado, para composição tipográfica posterior).