awesome-ai-security

ペネトレーションテスター、バグハンター、セキュリティ研究者向けのAIセキュリティ資料とリソースのキュレーションリストです。

If you find that some links are not working, you can simply replace the username with gmh5225.
Or you can send an issue for me.

以下のすべてのプロジェクトに敬意を表します。まさに完璧な芸術作品です 🫡

コントリビュート方法

• https://github.com/HyunCafe/contribute-practice
• https://docs.github.com/en/get-started/quickstart/contributing-to-projects

AIエージェント向けスキル

このリポジトリは、Cursor、OpenClaw、Claude Code、Codex CLI などのAIエージェントやコーディングアシスタントで使用できるスキルを提供しています。スキルをインストールすると、ゲームセキュリティに関する専門知識を利用できます。

• https://github.com/vercel-labs/skills [The open agent skills tool - npx skills]

learn-skills.dev で見る

インストール:

npx skills add https://github.com/gmh5225/awesome-ai-security --skill <skill-name>

利用可能なスキル:

スキル	説明
adversarial-machine-learning	敵対的機械学習: 敵対的サンプル、データポイズニング、モデルバックドア、回避攻撃
ai-powered-pentesting	AIを活用したペネトレーションテストツール、レッドチーミングフレームワーク、自律型セキュリティエージェント
llm-attacks-security	LLMセキュリティ攻撃: プロンプトインジェクション、ジェイルブレイク、データ抽出
awesome-ai-security-overview	このリポジトリの概要とコントリビューションガイドライン
ai-security-tooling	AIセキュリティツール: 検出器、アナライザー、ガードレール、ベンチマーク

例:

# Install LLM attacks skill
npx skills add https://github.com/gmh5225/awesome-ai-security --skill llm-attacks-security

# Install multiple skills
npx skills add https://github.com/gmh5225/awesome-ai-security --skill adversarial-machine-learning
npx skills add https://github.com/gmh5225/awesome-ai-security --skill ai-powered-pentesting

AI セキュリティスターターパック

• CTF / 演習

  • https://github.com/verialabs/ctf-agent [ctf-agent - 自律型 CTFd ソルバー: コーディネーター LLM + Docker 内の並列モデルスウォーム; BSidesSF 2026 1位]
  • https://aivillage.org/ [AI Village @ DEF CON - LLM ジェイルブレイクチャレンジ]
  • https://doublespeak.chat/#/handbook [Doublespeak - AI セキュリティチャレンジ]
  • https://github.com/EasyJailbreak/EasyJailbreak [敵対的ジェイルブレイクプロンプトのフレームワーク]
  • https://github.com/microsoft/AI-Red-Teaming-Playground-Labs [Microsoft AI レッドチーミングプレイグラウンドラボ]
  • https://github.com/schwartz1375/genai-security-training [GenAI レッドチーミングトレーニング]

• ブログ / リソース

  • https://genai.owasp.org/ [OWASP GenAI セキュリティプロジェクト]
  • https://llm-stats.com [LLM リーダーボード]
  • https://www.aidaily.win [AI デイリーニュース]
  • https://baoyu.io/blog/how-to-write-good-prompt [良いプロンプトの書き方]
  • https://rootissh.in/ [LLM ペネトレーションテストシリーズブログ]
  • https://github.com/Abdowaer098/Wa3r-OffSec-Kit [Wa3r OffSec Kit - 実践的なワークフロー、ペイロードパターン、ケーススタディ、フォレンジックノートを備えたオフェンシブセキュリティナレッジベース]

• ニュースレター / コレクション

  • https://mlsecops.com/podcast [MLSecOps ポッドキャスト]
  • https://podcasts.apple.com/ph/podcast/the-genai-security-podcast/id1782916580 [GenAI セキュリティポッドキャスト]
  • https://avidml.org/ [AI 脆弱性データベース (AVID)]
  • https://calder-brief.pages.dev/ai-hub.html [Calder Brief AI ニュースハブ — AI セキュリティ/安全性の報道を含む、毎日更新される AI ニュース]

• 認定資格 / コース

  • https://cs229.stanford.edu/ [Stanford CS229: 機械学習]
  • https://course.fast.ai/ [fast.ai 実践ディープラーニング]
  • https://www.coursera.org/specializations/deep-learning [Andrew Ng によるディープラーニング専門講座]
  • https://huggingface.co/reasoning-course [DeepSeek-R1 のような推論モデルを構築する]

AI/LLM ガイド

• 基礎

  • https://d2l.ai/ [ディープラーニングを深く学ぶ - PyTorch/JAX/TensorFlow を使ったインタラクティブな書籍]
  • http://neuralnetworksanddeeplearning.com/ [Michael Nielsen によるニューラルネットワークとディープラーニング]
  • https://www.deeplearningbook.org/ [Goodfellow、Bengio、Courville によるディープラーニング]
  • https://github.com/karminski/one-small-step [AI/LLM チュートリアル]
  • https://github.com/datawhalechina/happy-llm [LLM の原理と実践チュートリアル]
  • https://github.com/rasbt/LLMs-from-scratch [ゼロから LLM を構築する]
  • https://github.com/naklecha/llama3-from-scratch [ゼロから LLaMA3]
  • https://github.com/ZJU-LLMs/Foundations-of-LLMs [LLM の基礎]

• Awesome リスト

  • https://github.com/WangRongsheng/awesome-LLM-resourses [包括的な LLM リソース]
  • https://github.com/mahseema/awesome-ai-tools [Awesome AI ツール]
  • https://github.com/Shubhamsaboo/awesome-llm-apps [Awesome LLM アプリ]
  • https://github.com/mahonzhan/awesome-agent-harness [エージェントハーネス、エージェントフレームワーク、ワークフローフレームワーク、および新興のエージェントプロトコルの厳選リスト]
  • https://github.com/punkpeye/awesome-mcp-servers [Awesome MCP サーバー]
  • https://github.com/wong2/awesome-mcp-servers [Awesome MCP サーバー]
  • https://github.com/deepseek-ai/awesome-deepseek-integration [Awesome DeepSeek 統合]
  • https://github.com/lmmlzn/Awesome-LLMs-Datasets [Awesome LLM データセット]

• ゼロから構築するLLM / 推論

  • https://github.com/rasbt/LLMs-from-scratch/tree/main/ch05/11_qwen3 [Qwen3をゼロから構築 - 中国語による解説]
  • https://github.com/rasbt/LLMs-from-scratch/blob/main/ch05/11_qwen3/standalone-qwen3-moe-plus-kvcache.ipynb [KVキャッシュ付きQwen3 MoEをゼロから実装]
  • https://github.com/rasbt/LLMs-from-scratch/tree/main/ch05/12_gemma3 [Gemma 3 270Mをゼロから構築]
  • https://github.com/rasbt/reasoning-from-scratch [推論モデルをゼロから構築]
  • https://github.com/mingyin0312/RLFromScratch [強化学習をゼロから学ぶ（中国語チュートリアル）]
  • https://github.com/karpathy/nanochat [約8K行で実装されたエンドツーエンドのnanochat学習ループ]
  • https://github.com/kyegomez/OpenMythos [OpenMythos - 公開研究文献に基づくClaude Mythosアーキテクチャの第一原理からの理論的再構築]
  • https://github.com/vixhal-baraiya/microgpt-c [MicroGPT-C — 依存関係のない純粋なC（単一ファイル）で小型GPTを学習・推論。fp32/AVX2スタイルのCPUパス。MIT]

AIセキュリティと攻撃

プロンプトインジェクション

• https://www.lakera.ai/blog/guide-to-prompt-injection [プロンプトインジェクションガイド]
• https://genai.owasp.org/llmrisk/llm01-prompt-injection/ [OWASP LLM01:2025 プロンプトインジェクション]
• https://redbotsecurity.com/prompt-injection-attacks-ai-security-2025/ [プロンプトインジェクション攻撃 2025]
• https://github.com/protectai/rebuff [自己強化型プロンプトインジェクション検出器]
• https://github.com/NVIDIA/garak [NVIDIA LLM脆弱性スキャナー]
• https://github.com/deadbits/vigil-llm [プロンプトインジェクションと危険な入力を検出]
• https://github.com/alphasecio/prompt-guard [LLM向けプロンプト防御]
• https://github.com/tml-epfl/llm-adaptive-attacks [LLMに対する適応型攻撃]
• https://github.com/RomiconEZ/llamator [LLM脆弱性テストフレームワーク]
• https://github.com/gh0stOo/claude-md-vorlagen-de/blob/main/guides/prompt-hardening.md [10個の具体的なビフォー/アフターコードパターン（system/user分離、区切り文字、出力検証、RAGソースの不信頼）を備えたドイツ語のプロンプトインジェクション対策ガイド]
• https://github.com/Vick606/subcanopy-guard [コンテキスト認識型の間接プロンプトインジェクションスキャナー]

敵対的攻撃

• https://gradientscience.org/intro_adversarial/ [敵対的サンプル入門]
• https://cset.georgetown.edu/publication/key-concepts-in-ai-safety-robustness-and-adversarial-examples/ [AIの安全性と敵対的サンプル]
• https://github.com/Trusted-AI/adversarial-robustness-toolbox [IBM 敵対的ロバストネスツールボックス]
• https://github.com/QData/TextAttack [NLPモデルに対する敵対的攻撃]
• https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf [NIST 敵対的機械学習の分類体系]
• https://llm-vulnerability.github.io/ [ACL 2024 チュートリアル: LLMの脆弱性]
• https://github.com/tensorflow/cleverhans [CleverHans - 機械学習の脆弱性ベンチマーク]
• https://github.com/bethgelab/foolbox [Foolbox - 敵対的サンプルツールボックス]
• https://github.com/cchio/deep-pwning [Deep-pwning]

ポイズニングとバックドア

• https://arxiv.org/abs/2009.02276 [Witches' Brew: 産業規模のデータポイズニング]
• https://arxiv.org/abs/2402.09179 [カスタマイズされたLLMに対する命令バックドア攻撃]
• https://arxiv.org/abs/2510.07192 [ポイズニング攻撃はわずかなデータポイントのみで成立する]
• https://arxiv.org/abs/1910.03137 [MNTD: AIトロイの木馬の検出]
• https://owasp.org/www-project-top-10-for-large-language-model-applications/ [OWASP LLMアプリケーションのトップ10 2025]
• https://github.com/git-disl/awesome_LLM-harmful-fine-tuning-papers [LLMの有害なファインチューニングに関する論文]