awesome-ai-security

Кураторский список материалов и ресурсов по безопасности ИИ для пентестеров, баг-хантеров и исследователей в области безопасности.

If you find that some links are not working, you can simply replace the username with gmh5225.
Or you can send an issue for me.

Проявите уважение ко всем проектам ниже, это настоящие произведения искусства 🫡

Как внести вклад?

• https://github.com/HyunCafe/contribute-practice
• https://docs.github.com/en/get-started/quickstart/contributing-to-projects

Навыки для AI-агентов

Этот репозиторий предоставляет навыки, которые можно использовать с AI-агентами и ассистентами программирования, такими как Cursor, OpenClaw, Claude Code, Codex CLI и другими совместимыми инструментами. Установите навыки, чтобы получить специализированные знания по темам безопасности игр.

• https://github.com/vercel-labs/skills [The open agent skills tool - npx skills]

Посмотреть на learn-skills.dev

Установка:

npx skills add https://github.com/gmh5225/awesome-ai-security --skill <skill-name>

Доступные навыки:

Навык	Описание
adversarial-machine-learning	Состязательное машинное обучение: состязательные примеры, отравление данных, бэкдоры моделей и атаки уклонения
ai-powered-pentesting	Инструменты пентеста на основе ИИ, фреймворки red teaming и автономные агенты безопасности
llm-attacks-security	Атаки на безопасность LLM: внедрение промптов, джейлбрейкинг и извлечение данных
awesome-ai-security-overview	Обзор этого репозитория и рекомендации по внесению вклада
ai-security-tooling	Инструменты безопасности ИИ: детекторы, анализаторы, guardrails и бенчмарки

Пример:

# Install LLM attacks skill
npx skills add https://github.com/gmh5225/awesome-ai-security --skill llm-attacks-security

# Install multiple skills
npx skills add https://github.com/gmh5225/awesome-ai-security --skill adversarial-machine-learning
npx skills add https://github.com/gmh5225/awesome-ai-security --skill ai-powered-pentesting

AI Security Starter Pack

• CTF / Практика

  • https://github.com/verialabs/ctf-agent [ctf-agent — автономный решатель CTFd: LLM-координатор + параллельные рои моделей в Docker; 1-е место на BSidesSF 2026]
  • https://aivillage.org/ [AI Village @ DEF CON — задачи по обходу защиты LLM]
  • https://doublespeak.chat/#/handbook [Doublespeak — задачи по безопасности ИИ]
  • https://github.com/EasyJailbreak/EasyJailbreak [Фреймворк для состязательных промптов обхода защиты]
  • https://github.com/microsoft/AI-Red-Teaming-Playground-Labs [Microsoft AI Red Teaming Playground Labs]
  • https://github.com/schwartz1375/genai-security-training [Обучение ред-тимингу GenAI]

• Блоги / Ресурсы

  • https://genai.owasp.org/ [OWASP GenAI Security Project]
  • https://llm-stats.com [Рейтинг LLM]
  • https://www.aidaily.win [Ежедневные новости ИИ]
  • https://baoyu.io/blog/how-to-write-good-prompt [Как писать хорошие промпты]
  • https://rootissh.in/ [Блог серии статей по пентесту LLM]
  • https://github.com/Abdowaer098/Wa3r-OffSec-Kit [Wa3r OffSec Kit — база знаний по наступательной безопасности с практическими рабочими процессами, шаблонами полезной нагрузки, разборами кейсов и заметками по форензике]

• Рассылки / Коллекции

  • https://mlsecops.com/podcast [Подкаст MLSecOps]
  • https://podcasts.apple.com/ph/podcast/the-genai-security-podcast/id1782916580 [Подкаст GenAI Security]
  • https://avidml.org/ [База уязвимостей ИИ (AVID)]
  • https://calder-brief.pages.dev/ai-hub.html [Calder Brief AI news hub — ежедневно обновляемые новости ИИ, включая материалы по безопасности и надёжности ИИ]

• Сертификации / Курсы

  • https://cs229.stanford.edu/ [Stanford CS229: Машинное обучение]
  • https://course.fast.ai/ [fast.ai Практическое глубокое обучение]
  • https://www.coursera.org/specializations/deep-learning [Специализация по глубокому обучению от Andrew Ng]
  • https://huggingface.co/reasoning-course [Создание рассуждающей модели в стиле DeepSeek-R1]

Руководство по AI/LLM

• Основы

  • https://d2l.ai/ [Dive into Deep Learning — интерактивная книга с PyTorch/JAX/TensorFlow]
  • http://neuralnetworksanddeeplearning.com/ [Neural Networks and Deep Learning от Michael Nielsen]
  • https://www.deeplearningbook.org/ [Deep Learning от Goodfellow, Bengio, Courville]
  • https://github.com/karminski/one-small-step [Учебник по AI/LLM]
  • https://github.com/datawhalechina/happy-llm [Учебник по принципам и практике LLM]
  • https://github.com/rasbt/LLMs-from-scratch [Создание LLM с нуля]
  • https://github.com/naklecha/llama3-from-scratch [LLaMA3 с нуля]
  • https://github.com/ZJU-LLMs/Foundations-of-LLMs [Основы LLM]

• Awesome-списки

  • https://github.com/WangRongsheng/awesome-LLM-resourses [Всеобъемлющие ресурсы по LLM]
  • https://github.com/mahseema/awesome-ai-tools [Awesome AI Tools]
  • https://github.com/Shubhamsaboo/awesome-llm-apps [Awesome LLM Apps]
  • https://github.com/mahonzhan/awesome-agent-harness [Кураторский список агентных обвязок, агентных фреймворков, фреймворков рабочих процессов и новых агентных протоколов]
  • https://github.com/punkpeye/awesome-mcp-servers [Awesome MCP Servers]
  • https://github.com/wong2/awesome-mcp-servers [Awesome MCP Servers]
  • https://github.com/deepseek-ai/awesome-deepseek-integration [Awesome DeepSeek Integration]
  • https://github.com/lmmlzn/Awesome-LLMs-Datasets [Awesome LLMs Datasets]

• LLM с нуля / Reasoning

  • https://github.com/rasbt/LLMs-from-scratch/tree/main/ch05/11_qwen3 [Qwen3 From Scratch — пошаговое руководство на китайском]
  • https://github.com/rasbt/LLMs-from-scratch/blob/main/ch05/11_qwen3/standalone-qwen3-moe-plus-kvcache.ipynb [Реализация Qwen3 MoE с KV-кэшем с нуля]
  • https://github.com/rasbt/LLMs-from-scratch/tree/main/ch05/12_gemma3 [Сборка Gemma 3 270M с нуля]
  • https://github.com/rasbt/reasoning-from-scratch [Reasoning-модели с нуля]
  • https://github.com/mingyin0312/RLFromScratch [Обучение с подкреплением с нуля (учебник на китайском)]
  • https://github.com/karpathy/nanochat [Сквозной цикл обучения nanochat примерно в 8K строк]
  • https://github.com/kyegomez/OpenMythos [OpenMythos — теоретическая реконструкция архитектуры Claude Mythos с первых принципов на основе публичной исследовательской литературы]
  • https://github.com/vixhal-baraiya/microgpt-c [MicroGPT-C — обучение и инференс крошечной GPT на чистом C без зависимостей (один файл); CPU-путь в стиле fp32/AVX2; MIT]

Безопасность ИИ и атаки