ModelAudit

Обезопасьте свои AI-модели перед развёртыванием. Статический сканер, который обнаруживает вредоносный код, потенциальные индикаторы бэкдоров и уязвимости безопасности в файлах ML-моделей — без их загрузки или выполнения.

Полная документация | Примеры использования | Поддерживаемые форматы

Зачем нужен ModelAudit

Модели загружаются из недоверенных реестров, проходят через CI и в итоге запускаются в продакшене. Традиционные инструменты SAST не анализируют опкоды pickle, структуру групп HDF5, proto-графы ONNX или сигнатуры TensorFlow SavedModel — а ModelAudit делает это:

• Статическое сканирование. Ни одна модель не загружается, не распаковывается (unpickle) и не выполняется.
• Покрытие форматов, которые вы действительно используете. Более 40 сканеров для pickle, PyTorch, SafeTensors, ONNX, TensorFlow, Keras, GGUF, архивов и конфигураций.
• Интеграция в CI. Машиночитаемый вывод (JSON, SARIF), строгий режим, коды выхода и выбираемые сканеры.
• Отображение ограничений покрытия. Распознанные сканеры сообщают о пробелах в анализе с ограничениями, таких как усечённое чтение или исчерпанные бюджеты, вместо того чтобы представлять их как полностью покрытые результаты.

Сопоставимые инструменты: picklescan (только pickle, на Python), fickling (только pickle, на основе AST), modelscan (pickle + TensorFlow + подмножество Keras). ModelAudit имеет более широкое покрытие и поставляет нативный движок pickle на Rust через сопутствующий пакет modelaudit-picklescan.

Быстрый старт

Требуется Python 3.10-3.14

pip install "modelaudit[all]"

# Scan a file or directory
modelaudit model.pkl
modelaudit ./models/

# Export results for CI/CD
modelaudit model.pkl --format json --output results.json

$ modelaudit suspicious_model.pkl

Files scanned: 1 | Issues found: 2 critical, 1 warning

1. suspicious_model.pkl (pos 28): [CRITICAL] Malicious code execution attempt
   Why: Contains os.system() call that could run arbitrary commands

2. suspicious_model.pkl (pos 52): [WARNING] Dangerous pickle deserialization
   Why: Could execute code when the model loads

Доказательства сканирования и ошибки источника могут содержать исходные значения учётных данных, в том числе в JSON, SARIF, SBOM и общих отчётах. Нормализация учётных данных сохраняется там, где она влияет на обнаружение, группировку или подавление.

Что обнаруживает

• Атаки с выполнением кода в файлах Pickle, PyTorch, NumPy и Joblib
• Потенциальные индикаторы бэкдоров — подозрительные шаблоны весов, аномальные тензоры или сигналы скрытого кода
• Встроенные секреты — API-ключи, токены и учётные данные в весах модели или метаданных
• Сетевые индикаторы — URL, IP-адреса и использование сокетов, которые могут обеспечить утечку данных
• Эксплойты в архивах — обход путей, атаки через символические ссылки в файлах ZIP/TAR/7z
• Небезопасные ML-операции — Lambda-слои, пользовательские операции, TorchScript/JIT, внедрение шаблонов
• Риски цепочки поставок — подмена, нарушения лицензий, подозрительные конфигурации

Поддерживаемые форматы

ModelAudit включает 45 зарегистрированных сканеров, охватывающих форматы моделей, архивов и конфигураций: