#1Tools für LLM-Sicherheit, Prompt-Injection, Modellextraktion, adversariales KI und KI-Red-Teaming.
Kitploit empfohlen
microsoft/pyritOpen-Source-Framework für Red-Teaming von generativen KI-Systemen: Angriffsprompts automatisieren, Modellantworten bewerten und Verhalten auditieren,…
gosuda/ssh-chatterssh-chat in modernem C
huhusmang/awesome-llms-for-vulnerability-detectionDie umfassendste, kontinuierlich aktualisierte Sammlung der Community zu Forschung über Large Language Models zur Erkennung von…
microsoft/agent-governance-toolkitRichtliniendurchsetzung, Zero-Trust-Identität, Ausführungssandboxing und Audit-Logging für autonome KI-Agenten. Deckt 10/10 des OWASP Agentic Top 10…
provos/ironcurtainEine sichere* Laufzeitumgebung für autonome KI-Agenten. Richtlinien aus Verfassungen in einfachem Englisch. (*https://ironcurtain.dev)
nuguardai/nuguardOpen-Source-Repo zur Validierung von Agentic-AI-Anwendungen: Redteam, Verhalten, Supply-Chain, statische Analyse
meridianlabs-ai/inspect_petriEin Alignment-Auditing-Agent, der in der Lage ist, Alignment-Hypothesen schnell zu erkunden
xalgord/xalgorixAutonomous AI pentesting agents — real-time reconnaissance, vulnerability detection, and exploitation orchestration. Go + TypeScript.
rderaison/bromureAngemessenes Sandboxing für agentisches Codieren und Web-Browsing
promptfoo/modelauditSicherheitsscanner für KI/ML-Modelldateien. Erkennt bösartigen Code, Hintertüren und Schwachstellen vor der Bereitstellung.
trusted-ai/adversarial-robustness-toolboxPython-Bibliothek für die Sicherheit von Adversarial Machine Learning, die es Red- und Blue-Teams ermöglicht, Evasion-, Poisoning-, Extraction- und…
cgrtml/reasongateErklärbares Sicherheitsgate für LLM-Apps — blockiert Prompt Injection mit einem nachvollziehbaren Grund für jede Entscheidung.
nvidia-nemo/guardrailsProgrammierbare Guardrails für LLM-Chat-Apps: Eingabe-/Ausgabe-Regeln durchsetzen, Jailbreaks und Prompt-Injections blockieren, Halluzinationen…
gautamvarmadatla/mcpsafetywardenProxy-Server, der MCP-Server mit Verhaltensprofilerstellung, Sicherheitsscans, Risikobewertung und sicherer Ausführung umschließt. Erkennt…
pilot-protocol/pilotprotocolOverlay-Netzwerkprotokoll, das KI-Agenten permanente Adressen, authentifizierte verschlüsselte Tunnel und ein Vertrauensmodell über UDP bietet.…
pdb333/cortexEin Windows-Laufzeitanalyse-Toolkit, das Speicherscans, Debugging, Automatisierung und KI-freundliche APIs kombiniert.
juanlunaia/aegis-latent-coreSelbstgehostetes Evidenz-Gateway für KI-Systeme: Fail-Closed-Richtlinie, WAF, Egress-Kontrollen, signierte dauerhafte MMR-Nachweise und…
nanocoai/nanoclawEine leichte Alternative zu OpenClaw, die aus Sicherheitsgründen in Containern läuft. Verbindet sich mit WhatsApp, Telegram, Slack, Discord, Gmail…
