Awesome AI Security

AI 보안 관련 프레임워크, 표준, 학습 자료 및 오픈 소스 도구를 엄선한 목록입니다.

기여하고 싶으시다면 PR을 생성하거나 저 @ottosulin에게 연락해 주세요.

목차

• 학습 자료
  • 읽기 자료 및 가이드
  • 강좌, 실습 및 CTF
  • 팟캐스트
• 거버넌스 및 리스크 관리
  • 프레임워크
  • 표준 및 검증
  • 분류 체계, 용어 및 리스크 데이터베이스
  • 체크리스트 및 실무 지침
• 공격 기법 및 레드팀 활동
  • 적대적 ML 및 전통적 모델
  • LLM 및 GenAI 레드팀 활동
  • 에이전틱 AI 및 MCP 공격 도구
  • AI 지원 공격적 보안
  • 스테가노그래피 및 은닉 채널
• 벤치마크 및 평가
• 방어 및 보안 통제
  • 입출력 가드레일
  • 에이전트 런타임 보안 및 샌드박싱
  • MCP 보안
  • 모델 및 아티팩트 스캐닝
  • AI 지원 방어적 보안
  • 프라이버시 및 기밀 컴퓨팅
  • 데이터 및 공급망 보안
• 에이전틱 AI 보안 스킬
• 보안 중심 AI 모델

학습 자료

읽기 자료 및 가이드

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST 신뢰할 수 있고 책임 있는 AI 리소스 센터
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - GenAI 위협을 해당 방어 통제에 매핑한 참조 가이드.
• NCSC Guidelines for Secure AI System Development - NCSC(영국)와 CISA가 공동 작성한 안전한 AI 개발을 위한 실무 지침으로, 설계, 개발, 배포 및 운영을 다룹니다.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - AI 시대의 위협에 대비해 방어자를 지원하는 안전한 AI 연합(Coalition for Secure AI) 워크스트림.

강좌, 실습 및 CTF

• Damn Vulnerable MCP Server - 교육 목적으로 의도적으로 취약하게 구현된 Model Context Protocol(MCP) 서버.
• otto-support - mcp-go를 사용하여 계층화된 인증(4개 역할), 19개 도구, Claude Code용 내장 샌드박스 컨테이너를 갖춘 취약한 MCP 서버 구현으로, 권한 상승 및 도구 오용 실습에 활용됩니다.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - MCP 서버 펜테스팅을 학습하기 위해 의도적으로 취약하게 만든 서버 모음.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot은 금융 서비스에 초점을 맞춘 시뮬레이션 애플리케이션을 사용하여 에이전틱 AI 시스템의 실제 취약점을 시뮬레이션하는 에이전틱 보안 CTF(Capture The Flag) 인터랙티브 플랫폼입니다.
• AI-Red-Teaming-Playground-Labs - 인프라를 포함한 AI 레드팀 교육을 실행하기 위한 AI 레드팀 플레이그라운드 실습.
• Damn Vulnerable LLM Agent - 프롬프트 인젝션, 도구 오용 및 에이전트 보안을 학습하기 위한 의도적으로 취약한 LLM 에이전트
• • LLMVault - 프롬프트 인젝션, RAG 공격, 시스템 프롬프트 유출, 도구 오용 및 에이전트 보안을 다루는 취약한 실습을 통해 OWASP LLM Top 10을 학습하기 위한 오픈 소스 CTF 스타일 LLM 보안 실습 환경.

팟캐스트

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - AI가 사이버보안을 어떻게 변화시키는지 탐구하는 Black Hills Information Security의 주간 팟캐스트로, 실용적이고 실행 가능한 지식을 바탕으로 새로운 위협, 도구 및 트렌드를 다룹니다.
• GenAI Security podcast

거버넌스 및 리스크 관리

프레임워크

• NIST AI Risk Management Framework
• ISO/IEC 42001 Artificial Intelligence Management System
• ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management
• Google Secure AI Framework (SAIF)
• ENISA Multilayer Framework for Good Cybersecurity Practices for AI
• OWASP Artificial Intelligence Maturity Assessment
• CSA AI Model Risk Framework
• CSA Maestro AI Threat Modeling Framework
• CSA AI Controls Matrix - 거버넌스, 리스크 및 규정 준수를 다루는 AI 시스템용 포괄적 통제 매트릭스.
• OWASP Agentic AI Top 10 - OWASP 및 CSA 레드팀 활동의 핵심 역할을 하는 에이전틱 AI Top 10.
• OWASP GenAI Crosswalk - OWASP GenAI 리스크(LLM Top 10, Agentic Top 10, DSGAI 2026)를 25개 산업 프레임워크에 매핑하고 커버리지 점수 및 격차 분석을 제공하는 인터랙티브 크로스워크.
• NIST SP 800-218A Secure Software Development Practices for Generative AI and Dual-Use Foundation Models - GenAI 및 이중용도 파운데이션 모델 개발을 위한 구체적인 실무를 담은 SSDF(SP 800-218)의 확장판.
• NIST AI 600-1 Generative AI Profile - 환각, 데이터 포이즈닝, 프라이버시와 같은 고유한 리스크를 포함하여 생성형 AI 시스템을 위한 구체적인 리스크 대응 조치를 담은 NIST AI RMF 1.0의 동반 프로파일.

표준 및 검증

• OWASP AI Security Verification Standard
• OWASP Agent Name Service
• OWASP Agent Observability Standard
• AI Verify - 싱가포르 정부가 지원하는 AI 테스트 프레임워크 및 툴킷으로, 거버넌스 프레임워크에 대해 AI 시스템 속성을 검증합니다.
• Agent Control Standard - 런타임 에이전트 제어를 위한 개방형 표준: AI 에이전트 프레임워크 전반에 걸친 선언적 훅, 정책 시행 및 관측성(OWASP GenAI Security Project).
• AARM - 에이전틱 런타임 보안을 위한 시스템 범주와 기능을 정의하는 Cloud Security Alliance 사양.