Awesome AI Security

Una lista curata di framework, standard, risorse di apprendimento e strumenti open source relativi alla sicurezza dell'IA.

Se desideri contribuire, crea una PR o contattami @ottosulin.

Indice

• Risorse di apprendimento
  • Letture e guide
  • Corsi, laboratori e CTF
  • Podcast
• Governance e gestione del rischio
  • Framework
  • Standard e verifica
  • Tassonomie, terminologia e database dei rischi
  • Checklist e guida pratica
• Tecniche di attacco e Red Teaming
  • ML avversariale e modelli classici
  • Red Teaming per LLM e GenAI
  • IA agentica e strumenti di attacco MCP
  • Sicurezza offensiva assistita dall'IA
  • Steganografia e canali occulti
• Benchmark e valutazioni
• Difesa e controlli di sicurezza
  • Guardrail di input/output
  • Sicurezza runtime degli agenti e sandboxing
  • Sicurezza MCP
  • Scansione di modelli e artefatti
  • Sicurezza difensiva assistita dall'IA
  • Privacy e confidential computing
  • Sicurezza dei dati e della supply chain
• Competenze di sicurezza per IA agentica
• Modelli IA orientati alla sicurezza

Risorse di apprendimento

Letture e guide

• OWASP ML TOP 10
• OWASP LLM TOP 10
• OWASP AI Security and Privacy Guide
• NIST AIRC - NIST Trustworthy & Responsible AI Resource Center
• The MLSecOps Top 10 by Institute for Ethical AI & Machine Learning
• OWASP Multi-Agentic System Threat Modeling
• OWASP: CheatSheet – A Practical Guide for Securely Using Third-Party MCP Servers 1.0
• OWASP GenAI Threat & Defense Compass - Guida di riferimento che mappa le minacce GenAI ai corrispondenti controlli difensivi.
• NCSC Guidelines for Secure AI System Development - Linee guida pratiche co-redatte da NCSC (UK) e CISA per lo sviluppo sicuro dell'IA, che coprono progettazione, sviluppo, distribuzione e operatività.
• CoSAI – Preparing Defenders for a Changing Cybersecurity Landscape - Workstream della Coalition for Secure AI che prepara i difensori alle minacce dell'era dell'IA.

Corsi, laboratori e CTF

• Damn Vulnerable MCP Server - Un'implementazione deliberatamente vulnerabile del Model Context Protocol (MCP) a scopo didattico.
• otto-support - Un'implementazione vulnerabile di un server MCP che utilizza mcp-go con autenticazione a livelli (4 ruoli), 19 strumenti e container sandbox integrato con Claude Code per esercitarsi sull'escalation dei privilegi e sull'uso improprio degli strumenti.
• OWASP WrongSecrets LLM exercise
• vulnerable-mcp-servers-lab - Una raccolta di server deliberatamente vulnerabili per imparare il Pentesting dei server MCP.
• FinBot Agentic AI Capture The Flag (CTF) Application - FinBot è una piattaforma interattiva Capture The Flag (CTF) di sicurezza agentica che simula vulnerabilità del mondo reale nei sistemi di IA agentica utilizzando un'applicazione simulata focalizzata sui servizi finanziari.
• AI-Red-Teaming-Playground-Labs - Laboratori playground di AI Red Teaming per condurre formazioni di AI Red Teaming, inclusa l'infrastruttura.
• Damn Vulnerable LLM Agent - Agente LLM intenzionalmente vulnerabile per apprendere il prompt injection, l'uso improprio degli strumenti e la sicurezza degli agenti
• • LLMVault - Un laboratorio di sicurezza LLM open source in stile CTF per apprendere l'OWASP LLM Top 10 attraverso esercizi pratici vulnerabili che coprono prompt injection, attacchi RAG, fuga del system prompt, uso improprio degli strumenti e sicurezza degli agenti.

Podcast

• MLSecOps podcast
• AI Security Podcast
• AI Security Ops - Podcast settimanali di Black Hills Information Security che esplorano come l'IA trasforma la cybersecurity, coprendo minacce emergenti, strumenti e tendenze con conoscenze pratiche e attuabili.
• GenAI Security podcast

Governance e gestione del rischio