ericyoc/ai-security-literacy공개 벤치마크와 설문 마이크로데이터를 기반으로 여섯 가지 AI 보안 리터러시 역량 차원을 정립하고, 그림, 표, 재개 가능한 결과물을 생성하는 재현 가능한 Colab 파이프라인입니다.
AI 보안 리터러시의 여섯 가지 역량 차원을 공개 벤치마크와 전국 대표성 설문 데이터에 근거지우는 재현 가능한 분석 파이프라인입니다. Google Colab에서 실행됩니다. 모든 산출물 — 데이터셋 캐시, 모델 체크포인트, 그림, 결과 표 — 은 Google Drive에 영구 저장되며, 모든 단계는 재개 가능합니다.
AI는 안전하게 사용하는 방법에 관한 어떤 지침보다도 빠르게 학교에 도착했습니다. 학생들은 블랙박스 시스템을 받아들고, 그 시스템이 무엇을 신뢰할 수 있는지 직관적으로 파악하기를 기대받습니다. 교사들은 AI를 도입하는 것과 두려워하는 것 사이에서 갈라져 있습니다. 교육구들은 허용적 사용 정책을 작성하고 있지만, 그 아래의 도구들은 몇 달마다 바뀝니다.
기존의 리터러시 프레임워크는 학생들에게 AI를 이해하고 사용하도록 가르칩니다. 기존의 사이버보안 프레임워크는 AI 특유의 위협이 존재하기 전에 작성되었습니다. 어느 쪽도 AI가 매개하는 환경에서 안전하게 운영하는 것을 그 자체의 역량으로 — 고유한 차원, 고유한 발달 단계, 고유한 교육 가능한 기술과 함께 — 다루지 않습니다.
AISL이 정의하는 역량이 바로 그것이며, 학생만이 아니라 학교 생태계 전체에 걸친 여섯 가지 차원에 걸쳐 있습니다.
데이터로 검증된 적이 없는 역량 프레임워크는 그저 분류 체계에 불과합니다. 누구나 학생들이 "조작을 인식"하거나 "신뢰를 보정"해야 한다고 주장할 수 있습니다. 더 어려운 질문은 그러한 표현들이 실재하고 측정 가능한 현상을 가리키는지, 그리고 그렇다면 측정치가 실제로 무엇을 보여주는지입니다.
이 파이프라인이 바로 그것을 위한 것입니다. 각 차원에 대해 공개 데이터가 무엇을 입증할 수 있는지 묻고, 그 답은 구체적입니다:
이들 각각은 실제 모델과 실제 데이터로 학습자에게 안내할 수 있는 수업이며, 그것이 핵심입니다: 이 프레임워크는 인용되는 것이 아니라 가르쳐지도록 의도되었습니다.
파이프라인은 올바르게 보이지만 그렇지 않은 그림을 만들어낼 수 있습니다: 제대로 훈련되지 않은 모델에서 나온 강건성 곡선, 또는 두 파일이 행 위치로 결합되어 잘못된 범주에 연결된 벤치마크 결과 같은 것입니다. 이는 프레임워크의 가장 고급 차원이 학생들에게 잡아내도록 가르치는 것과 같은 종류의 실패입니다.
따라서 파이프라인은 이들을 구조적으로 어렵게 만들도록 구축되었습니다. 공격 평가는 깨끗한 정확도(clean-accuracy) 온전성 검사를 통과해야만 진행되며, 조인은 위치가 아닌 콘텐츠를 기준으로 이루어지고, 차단된 단계는 빈 출력을 내보내는 대신 스스로를 알리며, 샘플링은 시드가 설정되어 있고, 보고되는 모든 수치는 손으로 옮겨 적는 대신 기계가 읽을 수 있는 결과 파일에 기록됩니다. 여기서 재현성은 단순한 관리 업무가 아니라 주제 그 자체입니다.
파이프라인은 두 계층으로 실행됩니다.
계층 1은 무료 등록 후 직접 다운로드하는 전국 대표성 설문 마이크로데이터로부터 태도적 차원을 근거 짓습니다. 파일이 존재하기 전까지 해당 단계는 스스로를 skipped로 표시합니다. 계층 1 설정을 참조하세요.
계층 2는 공개 출처로부터 기술적 차원을 근거 짓습니다. 구성이 필요 없으며, 열고 실행하기만 하면 됩니다. 모든 데이터셋은 자동으로 다운로드됩니다.
| 차원 | 계층 1 (설문) | 계층 2 (공개 데이터) | |
|---|---|---|---|
| D1 | 허용과 규범 | RAND ATP Fall 2025, Pew ATP W142 | — |
| D2 | 데이터 및 프라이버시 보안 | Pew ATP W152 | — |
| D3 | 위협 및 조작 인식 | Pew ATP W152, W168 | RealToxicityPrompts, SMS Spam Collection, BBQ |
| D4 | 신뢰 교정 및 검증 | Pew ATP W142, W152 | TruthfulQA + GPT-2 baseline, BBQ |
| D5 | 적대적 및 기술적 이해 | — | CIFAR-10 + FGSM/PGD, 3 seeds |
| D6 | 성향 및 행위 주체성 | RAND ATP Fall 2025, Pew ATP W152 | — |
Colab에서 AISL_analysis_poc.ipynb를 열고 모든 셀을 위에서 아래로 실행하세요.
Runtime > Change runtime type > GPU # optional; D5 training is ~10x faster
Runtime > Run all
첫 실행 시 CIFAR-10(~170 MB), Hugging Face 코퍼스, GPT-2, SMS Spam Collection을 다운로드합니다. 이들은 모두 Drive에 캐시되며 다시 다운로드되지 않습니다. 실행은 어느 시점에서든 안전하게 중단할 수 있습니다 — 실행 재개를 참조하세요.
Colab 세션이 열려 있는 동안 Drive에 설문 파일을 추가하는 경우, 다시 실행하기 전에 세션을 재시작하세요(Runtime > Restart session). Colab은 Drive가 마운트된 후 추가된 파일을 항상 인식하지는 못합니다.
영구적으로 유지되는 모든 것은 MyDrive/AISL_data/ 아래에 있습니다. 가치 있는 데이터는 휘발성 Colab 디스크에 기록되지 않습니다.
AISL_data/
├── cache/
│ ├── hf/ # Hugging Face datasets and GPT-2
│ └── torch/ # CIFAR-10
├── checkpoints/
│ └── cifar10_cnn_seed{N}.pt # one per seed, written after every epoch, atomically
├── figures/ # 300-dpi JPGs
├── tables/ # CSV + JSON + TeX macro exports
├── logs/
│ └── status.json # per-stage completion record
└── microdata/
├── sms/ # SMS Spam Collection (downloaded automatically)
├── pew/ # <- you place the Pew ATP .sav files here
└── rand/ # <- you place the RAND ATP .dta file here
결과는 세 가지 형식으로 내보내집니다: aisl_results.json(기계 판독 가능), 단계별 .csv 파일, 그리고 aisl_results.tex(보고된 값마다 하나씩, 다운스트림 조판용 TeX 매크로 집합)입니다.
| 단계 ID | 차원 | 데이터 | 출력 |
|---|---|---|---|
d3_rtp | D3 | allenai/real-toxicity-prompts | d3_rtp_toxicity.jpg, d3_rtp_summary.csv |
d4_truthfulqa | D4 | truthfulqa/truthful_qa (generation) | d4_truthfulqa_categories.jpg + CSV |
d4_baseline | D4 | TruthfulQA (multiple_choice) + gpt2 | d4_truthfulqa_baseline.jpg + CSV |
d34_bbq | D3, D4 | walledai/BBQ (속성 구성 11개) | d34_bbq_configs.jpg, d34_bbq_counts.csv |
d5_train | D5 | CIFAR-10, 시드 3개 | cifar10_cnn_seed{N}.pt |
d5_fgsm | D5 | CIFAR-10 + torchattacks | d5_fgsm_sweep.jpg + CSV |
d3_threshold | D3 | RealToxicityPrompts | d3_threshold_sensitivity.jpg + CSV |
d5_pgd | D5 | CIFAR-10 + torchattacks | d5_attack_comparison.jpg + CSV |
d3_sms | D3 | UCI SMS Spam Collection | d3_sms_threshold.jpg + CSV |
tier1_pew_inventory | Tier 1 | microdata/pew/ 내 Pew ATP 파일 | pew_item_inventory.csv |
tier1_rand_inventory | Tier 1 | microdata/rand/ 내 RAND 파일 | rand_item_inventory.csv |
tier1_mapped | D1–D4, D6 | Pew ATP + RAND ATP | tier1_survey_evidence.jpg, tier1_mapped_results.csv |
추가로 두 개의 셀이 요약 테이블(grounding_matrix, alignment_matrix)과 TeX 매크로 파일을 작성하며, 마지막 셀이 전체 실행 보고서를 출력합니다. Tier 1 단계 뒤의 선택적 셀은 아무것도 다시 계산하지 않고 저장된 결과 테이블로부터 인쇄용 tier1_survey_evidence.jpg를 다시 그립니다.
각 단계는 타임스탬프와 요약과 함께 ok / failed / skipped를 logs/status.json에 기록합니다.
완료된 단계는 스스로 건너뜁니다. 학습은 마지막으로 저장된 에포크부터 재개됩니다.
status_report() # what has run, when, and what it produced
reset_stage('d5_fgsm') # force one stage to re-run
reset_stage() # force everything to re-run
체크포인트, 상태 기록 및 결과 파일은 os.replace를 통해 처리되므로, 실행이 중단되더라도 반쯤 작성된 파일이 남지 않습니다.
Tier 1은 등록 후 무료로 다운로드할 수 있는 네 개의 설문조사 파일을 사용합니다. 아래 폴더에 배치하면 각 단계에서 자동으로 찾습니다.
Pew Research Center — American Trends Panel (미국 성인) → microdata/pew/
.sav 파일을 microdata/pew/에 배치합니다.RAND American Educator Panels — American Teacher Panel (미국 공립학교 교사) → microdata/rand/
.dta 파일을 microdata/rand/에 배치합니다. CSV도 함께 배치하지 마십시오.인벤토리 단계는 각 파일의 모든 관련 항목을 가중 분포와 함께 나열합니다. 이어서 매핑 단계는 차원에 할당된 각 항목에 대해 명시된 응답을 제공하는 가중 비율과 Kish 유효 표본 크기에서 산출한 95% 구간을 계산합니다. 각 항목에 대해 집계되는 응답 범주는 해당 셀의 SPEC 테이블에 고정되어 있으며 모든 추정치 옆에 출력되므로, 각 수치를 설문지와 대조하여 확인할 수 있습니다.
random, numpy, torch에 전역 시드를 설정하며, 각 D5 모델과 공격은 개별적으로 시드가 지정되고 cuDNN은 결정론적 모드로 실행됩니다.tables/aisl_results.json에 기록되고 TeX 매크로로 내보내지며, 어느 것도 수작업으로 옮겨 적지 않습니다.Colab은 torchattacks(노트북에서 설치하며, 환경을 다운그레이드하지 못하도록 종속성 없이 3.5.1로 고정됨)와 pyreadstat(Tier 1 단계에서 .sav 및 .dta 파일을 읽기 위해 처음 사용 시 설치함)를 제외한 모든 것을 제공합니다.
파이프라인이 생성하는 모든 그림은 figures/에 있으며, 무엇을 보여주고 왜 중요한지 설명합니다. 모두 노트북이 300 dpi로 생성하며, 어느 것도 수작업으로 그리지 않습니다.