Воспроизводимый конвейер Colab, который обосновывает шесть измерений компетенций AI Security Literacy на основе публичных бенчмарков и микроданных опросов, создавая графики, таблицы и возобновляемые результаты.
Воспроизводимый аналитический конвейер, который обосновывает шесть измерений компетенций AI Security Literacy на основе публичных бенчмарков и национально репрезентативных данных опросов. Работает в Google Colab. Каждый артефакт — кэш набора данных, контрольная точка модели, график, таблица результатов — сохраняется на Google Drive, и каждый этап можно возобновить.
ИИ пришёл в школы быстрее, чем появились какие-либо рекомендации о том, как безопасно его использовать. Ученикам выдают системы типа «чёрный ящик» и ожидают, что они интуитивно поймут, чему эти системы можно доверять. Учителя разрываются между внедрением ИИ и страхом перед ним. Округа пишут политики допустимого использования, пока инструменты под ними меняются каждые несколько месяцев.
Существующие фреймворки грамотности учат учеников понимать и использовать ИИ. Существующие фреймворки кибербезопасности были написаны до того, как появились угрозы, специфичные для ИИ. Ни один из них не рассматривает безопасную работу в среде, опосредованной ИИ, как самостоятельную компетенцию — с собственными измерениями, собственной траекторией развития и собственными навыками, которым можно научить.
Именно эту компетенцию определяет AISL — в шести измерениях, охватывающих всю школьную экосистему, а не только учеников.
Фреймворк компетенций, который никто не проверял на данных, — это всего лишь таксономия. Любой может утверждать, что ученики должны «распознавать манипуляции» или «калибровать доверие». Более сложный вопрос — называют ли эти фразы реальные, измеримые явления — и если да, то что на самом деле показывают измерения.
Именно для этого нужен этот конвейер. Он спрашивает, что публичные данные могут установить о каждом измерении, и ответы конкретны:
Каждый из этих пунктов — это урок, который можно провести с учащимся на реальных моделях и реальных данных, и в этом суть: фреймворк предназначен для преподавания, а не просто для цитирования.
Конвейер может выдавать графики, которые выглядят правильными, но таковыми не являются: кривая устойчивости от модели, которая никогда не была должным образом обучена, или результаты бенчмарка, привязанные к неверным категориям, потому что два файла были соединены по позиции строки. Это те же самые виды сбоев, которые самое продвинутое измерение фреймворка учит учеников выявлять.
Поэтому конвейер построен так, чтобы сделать их структурно устойчивыми: оценка атак обусловлена проверкой чистой точности, соединения выполняются по содержимому, а не по позиции, заблокированные этапы сообщают о себе, а не выдают пустой вывод, выборка инициализируется зерном, и каждое сообщаемое число записывается в машиночитаемый файл результатов вместо ручного переноса. Воспроизводимость здесь — не уборка, а сама суть.
Конвейер работает в двух уровнях.
Уровень 1 обосновывает аттитюдные измерения на основе национально репрезентативных
микроданных опросов, которые вы загружаете сами при бесплатной регистрации. Пока
файлы отсутствуют, его этапы помечают себя как skipped. См.
Настройка уровня 1.
Уровень 2 обосновывает технические измерения на основе публичных источников. Конфигурация не требуется — открывайте и запускайте. Каждый набор данных загружается автоматически.
| Измерение | Уровень 1 (опросы) | Уровень 2 (публичные данные) | |
|---|---|---|---|
| D1 | Разрешение и нормы | RAND ATP Fall 2025, Pew ATP W142 | — |
| D2 | Безопасность данных и приватности | Pew ATP W152 | — |
| D3 | Распознавание угроз и манипуляций | Pew ATP W152, W168 | RealToxicityPrompts, SMS Spam Collection, BBQ |
| D4 | Калибровка доверия и верификация | Pew ATP W142, W152 | TruthfulQA + GPT-2 baseline, BBQ |
| D5 | Состязательное и техническое понимание | — | CIFAR-10 + FGSM/PGD, 3 seeds |
| D6 | Предрасположенность и агентность | RAND ATP Fall 2025, Pew ATP W152 | — |
Откройте AISL_analysis_poc.ipynb в Colab и запустите все ячейки сверху вниз.
Runtime > Change runtime type > GPU # optional; D5 training is ~10x faster
Runtime > Run all
Первый запуск скачивает CIFAR-10 (~170 МБ), корпуса Hugging Face, GPT-2 и SMS Spam Collection. Все они кэшируются на Drive и никогда не скачиваются повторно. Запуск можно безопасно прервать в любой момент — см. Возобновление запуска.
Если вы добавляете файлы опроса на Drive, пока сессия Colab открыта, перезапустите
сессию (Runtime > Restart session) перед повторным запуском: Colab не всегда видит
файлы, добавленные после монтирования Drive.
Всё постоянное хранится в MyDrive/AISL_data/. Ничего ценного не
записывается на эфемерный диск Colab.
AISL_data/
├── cache/
│ ├── hf/ # Hugging Face datasets and GPT-2
│ └── torch/ # CIFAR-10
├── checkpoints/
│ └── cifar10_cnn_seed{N}.pt # one per seed, written after every epoch, atomically
├── figures/ # 300-dpi JPGs
├── tables/ # CSV + JSON + TeX macro exports
├── logs/
│ └── status.json # per-stage completion record
└── microdata/
├── sms/ # SMS Spam Collection (downloaded automatically)
├── pew/ # <- you place the Pew ATP .sav files here
└── rand/ # <- you place the RAND ATP .dta file here
Результаты экспортируются в трёх форматах: aisl_results.json (машиночитаемый),
поэтапные .csv-файлы и aisl_results.tex (набор макросов TeX, по одному на
каждое отчётное значение, для последующей вёрстки).