Awesome AI Security

AIセキュリティ関連のフレームワーク、標準、学習リソース、オープンソースツールの厳選リスト。

貢献したい場合は、PRを作成するか、@ottosulin までご連絡ください。

目次

• 学習リソース
  • 読書 & ガイド
  • コース、ラボ & CTF
  • ポッドキャスト
• ガバナンス & リスク管理
  • フレームワーク
  • 標準 & 検証
  • タクソノミー、用語 & リスクデータベース
  • チェックリスト & 実践ガイダンス
• 攻撃手法 & レッドチーミング
  • 敵対的ML & 古典的モデル
  • LLM & GenAI レッドチーミング
  • エージェントAI & MCP 攻撃ツール
  • AI支援オフェンシブセキュリティ
  • ステガノグラフィ & 隠蔽チャネル
• ベンチマーク & 評価
• 防御 & セキュリティコントロール
  • 入力/出力ガードレール
  • エージェントランタイムセキュリティ & サンドボックス化
  • MCPセキュリティ
  • モデル & アーティファクトスキャン
  • AI支援ディフェンシブセキュリティ
  • プライバシー & コンフィデンシャルコンピューティング
  • データ & サプライチェーンセキュリティ
• エージェントAIセキュリティスキル
• セキュリティ重視のAIモデル

学習リソース

読書 & ガイド

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST 信頼できる責任あるAIリソースセンター
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - GenAIの脅威を対応する防御コントロールにマッピングしたリファレンスガイド。
• NCSC Guidelines for Secure AI System Development - NCSC（英国）とCISAが共同執筆した、安全なAI開発のための実践的ガイドライン。設計、開発、デプロイ、運用をカバー。
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - AI時代の脅威に備える防御側を支援するCoalition for Secure AIのワークストリーム。

コース、ラボ & CTF

• Damn Vulnerable MCP Server - 教育目的で意図的に脆弱に作られたModel Context Protocol（MCP）の実装。
• otto-support - mcp-goを使用した脆弱なMCPサーバー実装。階層型認証（4ロール）、19のツール、Claude Codeを備えた組み込みサンドボックスコンテナを備え、権限昇格やツールの悪用を練習できる。
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - MCPサーバーのペネトレーションテストを学ぶために意図的に脆弱に作られたサーバーのコレクション。
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBotは、金融サービスに焦点を当てたシミュレートされたアプリケーションを使用して、エージェントAIシステムの実世界の脆弱性をシミュレートするエージェントセキュリティCapture The Flag（CTF）インタラクティブプラットフォーム。
• AI-Red-Teaming-Playground-Labs - インフラを含むAIレッドチーミングトレーニングを実行するためのAIレッドチーミングプレイグラウンドラボ。
• Damn Vulnerable LLM Agent - プロンプトインジェクション、ツールの悪用、エージェントセキュリティについて学ぶための意図的に脆弱なLLMエージェント
• • LLMVault - プロンプトインジェクション、RAG攻撃、システムプロンプト漏洩、ツールの悪用、エージェントセキュリティをカバーする実践的な脆弱性演習を通じてOWASP LLM Top 10を学ぶためのオープンソースCTF形式のLLMセキュリティラボ。

ポッドキャスト

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Black Hills Information Securityによる週次ポッドキャスト。AIがサイバーセキュリティをどのように変革するかを探求し、新たな脅威、ツール、トレンドを実践的で実行可能な知識とともに取り上げる。
• GenAI Security podcast

ガバナンス & リスク管理

フレームワーク

• NIST AI Risk Management Framework
• ISO/IEC 42001 Artificial Intelligence Management System
• ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management
• Google Secure AI Framework (SAIF)
• ENISA Multilayer Framework for Good Cybersecurity Practices for AI
• OWASP Artificial Intelligence Maturity Assessment
• CSA AI Model Risk Framework
• CSA Maestro AI Threat Modeling Framework
• CSA AI Controls Matrix - ガバナンス、リスク、コンプライアンスをカバーするAIシステム向けの包括的なコントロールマトリックス。
• OWASP Agentic AI Top 10 - OWASPとCSAのレッドチーミングの中核となるエージェントAIのTop 10。
• OWASP GenAI Crosswalk - OWASP GenAIリスク（LLM Top 10、Agentic Top 10、DSGAI 2026）を25の業界フレームワークにマッピングし、カバレッジスコアリングとギャップ分析を提供するインタラクティブなクロスウォーク。
• NIST SP 800-218A Secure Software Development Practices for Generative AI and Dual-Use Foundation Models - SSDF（SP 800-218）を拡張し、GenAIおよびデュアルユース基盤モデル開発向けの具体的なプラクティスを追加したもの。
• NIST AI 600-1 Generative AI Profile - NIST AI RMF 1.0のコンパニオンプロファイル。ハルシネーション、データポイズニング、プライバシーなどの固有のリスクを含む、生成AIシステム向けの具体的なリスクアクションを提供。

標準 & 検証

• OWASP AI Security Verification Standard
• OWASP Agent Name Service
• OWASP Agent Observability Standard
• AI Verify - シンガポール政府が支援するAIテストフレームワークおよびツールキット。ガバナンスフレームワークに対してAIシステムの特性を検証する。
• Agent Control Standard - ランタイムエージェント制御のためのオープン標準：宣言的フック、ポリシー適用、AIエージェントフレームワーク全体にわたる可観測性（OWASP GenAI Security Project）。
• AARM - エージェントランタイムセキュリティのシステムカテゴリと機能を定義するCloud Security Allianceの仕様。