Veritensor v1.9.4
Антивирус для AI-артефактов и RAG-файрвол. Инструмент статического анализа, сканирующий модели и ноутбуки на предмет RCE, наборы данных и RAG-документы на предмет отравления данных, PII и промпт-инъекций. Защитите свою цепочку поставок ИИ.
🛡️ Veritensor: безопасность данных и артефактов ИИ
Veritensor — это антивирус для артефактов ИИ и главный файрвол для RAG-пайплайнов. Он защищает всю цепочку поставок ИИ, сканируя артефакты, которые пропускают традиционные SAST-инструменты: модели, наборы данных, RAG-документы и ноутбуки.
Veritensor реализует подход shift left к безопасности. Вместо того чтобы ждать, пока prompt-инъекция поразит вашу LLM, Veritensor перехватывает и обезвреживает вредоносные документы, отравленные наборы данных и скомпрометированные зависимости до того, как они попадут в вашу векторную БД или среду выполнения.
В отличие от стандартных SAST-инструментов (которые фокусируются на коде), Veritensor понимает бинарные и сериализованные форматы, используемые в машинном обучении:
- Модели: глубокий AST-анализ Pickle, PyTorch, Keras, Safetensors для блокировки RCE и бэкдоров.
- Данные и RAG: потоковое сканирование Parquet, CSV, Excel, PDF для обнаружения отравления данных, prompt-инъекций и PII.
- Ноутбуки: усиление защиты файлов Jupyter (.ipynb) за счёт обнаружения утёкших секретов (с помощью энтропийного анализа), вредоносных магических команд и XSS.
- Цепочка поставок: аудит зависимостей (
requirements.txt,poetry.lock) на предмет тайпсквоттинга и известных CVE (через OSV.dev). - Агентный ИИ и MCP-серверы: чистый AST-анализ Python-файлов для обнаружения рисков перехвата агента в функциях
@mcp.tool(). Сканируетclaude_desktop_config.jsonиmcp.jsonна предмет избыточных привилегий. - Управление: создаёт криптографические манифесты данных (происхождение) и подписывает контейнеры через Sigstore.
🚀 Возможности
- Встроенная безопасность RAG: встраивайте Veritensor напрямую в
LangChain,LlamaIndex,ChromaDBиUnstructured.io, чтобы блокировать угрозы в рантайме. - Высокопроизводительное параллельное сканирование: использует все ядра CPU с надёжным кэшированием SQLite (режим WAL). Повторное сканирование набора данных на 100 ГБ занимает миллисекунды, если файлы не изменились.
- Расширенное обнаружение скрытых угроз: хакеры прячут prompt-инъекции с помощью CSS (
font-size: 0,color: white) и HTML-комментариев. Veritensor сканирует сырые бинарные потоки, чтобы находить то, что пропускают стандартные парсеры. - Безопасность наборов данных: потоково обрабатывает огромные наборы данных (100 ГБ+) для поиска паттернов «отравления» (например, «Ignore previous instructions») и вредоносных URL в Parquet, CSV, JSONL и Excel.
- Проверка архивов: безопасно сканирует содержимое файлов .zip, .tar.gz, .whl без извлечения на диск (защита от Zip-бомб).
- Аудит зависимостей: проверяет
pyproject.toml,poetry.lockиPipfile.lockна вредоносные пакеты (тайпсквоттинг) и уязвимости. - Происхождение данных: команда
veritensor manifest .создаёт подписанный JSON-снимок ваших артефактов данных для комплаенса (EU AI Act). - Проверка подлинности: автоматически сверяет хэши моделей с официальным реестром Hugging Face для обнаружения атак «человек посередине».
- Движок деобфускации: автоматически обнаруживает и декодирует строки Base64, чтобы вскрывать скрытые полезные нагрузки (например,
SWdub3Jl...->Ignore previous instructions). - Проверка магических чисел: обнаруживает вредоносное ПО, маскирующееся под безопасные файлы (например,
.exe, переименованный вinvoice.pdf). - Умная фильтрация и энтропийный анализ: значительно снижает количество ложных срабатываний в Jupyter Notebook. Использует энтропию Шеннона для поиска реальных неизвестных API-ключей (WandB, Pinecone, Telegram), игнорируя безопасные UUID и стандартные импорты.
- HTML-отчёты уровня CISO: создавайте красивые автономные HTML-отчёты по безопасности с интерактивными диаграммами и разбивкой по критичности с помощью флага
--html.
📦 Установка
Veritensor модульный. Устанавливайте только то, что нужно, чтобы окружение оставалось лёгким (~50 МБ ядро).
| Вариант | Команда | Сценарий использования |
|---|---|---|
| Базовый | pip install veritensor | Базовый сканер (модели, ноутбуки, зависимости) |
| RAG | pip install "veritensor[rag]" | Документы (PDF, DOCX, PPTX) |
| PII | pip install "veritensor[pii]" | ML-обнаружение PII (Presidio) |
| AWS | pip install "veritensor[aws]" | Прямое сканирование из S3-бакетов |
| Все | pip install "veritensor[all]" | Полный набор для корпоративной безопасности |
Через Docker (рекомендуется для CI/CD)
docker pull arseniibrazhnyk/veritensor:latest
⚡ Быстрый старт
1. Сканирование локального проекта (параллельно)
Рекурсивно сканируйте каталог на все поддерживаемые угрозы, используя 4 ядра CPU:
veritensor scan ./my-rag-project --recursive --jobs 4
2. Сканирование RAG-документов и Excel
Проверьте бизнес-данные на prompt-инъекции и формульные инъекции:
veritensor scan ./finance_data.xlsx
veritensor scan ./docs/contract.pdf
3. Создание манифеста данных
Создайте комплаенс-снимок папки с набором данных:
veritensor manifest ./data --output provenance.json
4. Синхронизация Policy-as-Code с Control Plane
Отправьте локальные пороги безопасности на Enterprise Server:
veritensor scan . --sync-policy --api-key "vt_your_key"
5. Сканирование наборов данных ИИ (смещение и отравление)
Veritensor использует потоковую обработку для работы с огромными файлами. По умолчанию для скорости он берёт выборку из 10 тыс. строк.
veritensor scan ./data/train.parquet --full-scan
6. Проверка целостности модели
Убедитесь, что файл на вашем диске соответствует официальной версии с Hugging Face (обнаруживает подмену):
veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b
7. Сканирование из Amazon S3
Сканируйте удалённые ресурсы без ручной загрузки:
veritensor scan s3://my-ml-bucket/models/llama-3.pkl
8. Проверка через Hugging Face
Убедитесь, что файл на вашем диске соответствует официальной версии из реестра (обнаруживает подмену):
veritensor scan ./pytorch_model.bin --repo meta-llama/Llama-2-7b
9. Проверка соответствия лицензии
Veritensor автоматически читает метаданные из safetensors и GGUF-файлов. Если у модели некоммерческая лицензия (например, cc-by-nc-4.0), будет выдано предупреждение уровня HIGH.
Чтобы обойти это (режим Break-glass), используйте:
veritensor scan ./model.safetensors --force
10. Сканирование наборов данных ИИ
Veritensor использует потоковую обработку для работы с огромными файлами. По умолчанию для скорости он берёт выборку из 10 тыс. строк.
veritensor scan ./data/train.parquet --full-scan