🛡️ Veritensor: KI-Daten- und Artefakt-Sicherheit

Veritensor ist das Antivirus für KI-Artefakte und die ultimative Firewall für RAG-Pipelines. Es sichert die gesamte KI-Lieferkette, indem es die Artefakte scannt, die herkömmliche SAST-Tools übersehen: Modelle, Datensätze, RAG-Dokumente und Notebooks.

Veritensor verschiebt die Sicherheit nach links (Shift-Left-Ansatz). Statt darauf zu warten, dass eine Prompt-Injection Ihr LLM trifft, fängt Veritensor bösartige Dokumente, vergiftete Datensätze und kompromittierte Abhängigkeiten ab und bereinigt sie, bevor sie in Ihre Vektor-DB oder Ausführungsumgebung gelangen.

Im Gegensatz zu Standard-SAST-Tools (die sich auf Code konzentrieren) versteht Veritensor die binären und serialisierten Formate des maschinellen Lernens:

Modelle: Tiefgehende AST-Analyse von Pickle, PyTorch, Keras, Safetensors, um RCE und Hintertüren zu blockieren.
Daten & RAG: Streaming-Scan von Parquet, CSV, Excel, PDF zur Erkennung von Datenvergiftung, Prompt-Injections und PII.
Notebooks: Härtung von Jupyter (.ipynb)-Dateien durch Erkennung geleakter Secrets (mittels Entropie-Analyse), bösartiger Magics und XSS.
Lieferkette: Prüft Abhängigkeiten (requirements.txt, poetry.lock) auf Typosquatting und bekannte CVEs (über OSV.dev).
Agentische KI & MCP-Server: Reine AST-Analyse von Python-Dateien zur Erkennung von Agent-Hijacking-Risiken in @mcp.tool()-Funktionen. Scannt claude_desktop_config.json und mcp.json auf übermäßig vergebene Berechtigungen.
Governance: Erzeugt kryptografische Daten-Manifeste (Provenienz) und signiert Container über Sigstore.

🚀 Funktionen

Native RAG-Sicherheit: Betten Sie Veritensor direkt in LangChain, LlamaIndex, ChromaDB und Unstructured.io ein, um Bedrohungen zur Laufzeit zu blockieren.
Hochleistungs-Parallelscan: Nutzt alle CPU-Kerne mit robustem SQLite-Caching (WAL-Modus). Das erneute Scannen eines 100-GB-Datensatzes dauert Millisekunden, wenn sich die Dateien nicht geändert haben.
Erweiterte Stealth-Erkennung: Angreifer verstecken Prompt-Injections mithilfe von CSS (font-size: 0, color: white) und HTML-Kommentaren. Veritensor scannt rohe Binärströme, um zu erkennen, was Standard-Parser übersehen.
Datensatz-Sicherheit: Streamt große Datensätze (100GB+), um „Vergiftungs“-Muster (z. B. „Ignore previous instructions“) und bösartige URLs in Parquet, CSV, JSONL und Excel zu finden.
Archiv-Inspektion: Scannt sicher innerhalb von .zip-, .tar.gz- und .whl-Dateien, ohne sie auf die Festplatte zu extrahieren (Zip-Bomben-geschützt).
Abhängigkeits-Audit: Prüft pyproject.toml, poetry.lock und Pipfile.lock auf bösartige Pakete (Typosquatting) und Schwachstellen.
Daten-Provenienz: Der Befehl veritensor manifest . erstellt einen signierten JSON-Schnappschuss Ihrer Datenartefakte für die Compliance (EU-KI-Verordnung).
Identitätsprüfung: Verifiziert Modell-Hashes automatisch gegen das offizielle Hugging-Face-Register, um Man-in-the-Middle-Angriffe zu erkennen.
De-Obfuskations-Engine: Erkennt und dekodiert Base64-Zeichenfolgen automatisch, um versteckte Nutzlasten aufzudecken (z. B. SWdub3Jl... -> Ignore previous instructions).
Magic-Number-Validierung: Erkennt Malware, die sich als sichere Dateien tarnt (z. B. eine in invoice.pdf umbenannte .exe).
Intelligente Filterung & Entropie-Analyse: Reduziert False Positives in Jupyter-Notebooks drastisch. Nutzt Shannon-Entropie, um echte, unbekannte API-Schlüssel (WandB, Pinecone, Telegram) zu finden, während sichere UUIDs und Standard-Imports ignoriert werden.
CISO-taugliche HTML-Berichte: Erzeugen Sie mit dem --html-Flag ansprechende, eigenständige HTML-Sicherheitsberichte mit interaktiven Diagrammen und Schweregrad-Aufschlüsselungen.

📦 Installation

Veritensor ist modular aufgebaut. Installieren Sie nur, was Sie benötigen, um Ihre Umgebung schlank zu halten (~50 MB Kern).

Option	Befehl	Anwendungsfall
Kern	`pip install veritensor`	Basis-Scanner (Modelle, Notebooks, Abhängigkeiten)
RAG	`pip install "veritensor[rag]"`	Dokumente (PDF, DOCX, PPTX)
PII	`pip install "veritensor[pii]"`	ML-basierte PII-Erkennung (Presidio)
AWS	`pip install "veritensor[aws]"`	Direktes Scannen aus S3-Buckets
Alle	`pip install "veritensor[all]"`	Vollständige Suite für Unternehmenssicherheit

Via Docker (Empfohlen für CI/CD)

docker pull arseniibrazhnyk/veritensor:latest

⚡ Schnellstart

1. Ein lokales Projekt scannen (parallel)

Durchsucht ein Verzeichnis rekursiv nach allen unterstützten Bedrohungen mit 4 CPU-Kernen:

veritensor scan ./my-rag-project --recursive --jobs 4

2. RAG-Dokumente & Excel scannen

Prüft Geschäftsdaten auf Prompt-Injections und Formel-Injections:

veritensor scan ./finance_data.xlsx
veritensor scan ./docs/contract.pdf

3. Daten-Manifest erzeugen

Erstellt einen Compliance-Schnappschuss Ihres Datensatz-Ordners:

veritensor manifest ./data --output provenance.json

4. Policy-as-Code mit der Control Plane synchronisieren

Überträgt Ihre lokalen Sicherheitsschwellenwerte an den Enterprise-Server:

veritensor scan . --sync-policy --api-key "vt_your_key"

5. KI-Datensätze scannen (Bias & Vergiftung)

Veritensor nutzt Streaming, um riesige Dateien zu verarbeiten. Für die Geschwindigkeit wird standardmäßig eine Stichprobe von 10.000 Zeilen gezogen.

veritensor scan ./data/train.parquet --full-scan

6. Modell-Integrität prüfen

Stellt sicher, dass die Datei auf Ihrer Festplatte mit der offiziellen Version von Hugging Face übereinstimmt (erkennt Manipulationen):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

7. Von Amazon S3 scannen

Scannt entfernte Assets ohne manuellen Download:

veritensor scan s3://my-ml-bucket/models/llama-3.pkl

8. Gegen Hugging Face verifizieren

Stellt sicher, dass die Datei auf Ihrer Festplatte mit der offiziellen Version aus dem Register übereinstimmt (erkennt Manipulationen):

veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b

9. Lizenz-Compliance-Prüfung

Veritensor liest Metadaten automatisch aus Safetensors- und GGUF-Dateien. Wenn ein Modell eine nicht-kommerzielle Lizenz besitzt (z. B. cc-by-nc-4.0), wird eine Warnung mit HOHER Schwere ausgelöst.

Um dies zu überschreiben (Break-Glass-Modus), verwenden Sie:

veritensor scan ./model.safetensors --force

Veritensor v1.9.4