ModelScan: защита от атак на сериализацию моделей

Модели машинного обучения (ML) публикуются в открытом доступе в интернете, используются внутри команд и между командами. Развитие фундаментальных моделей привело к тому, что публичные ML-модели всё чаще используются для дальнейшего обучения и тонкой настройки. ML-модели всё чаще применяются для принятия критически важных решений и работы критически важных приложений. Несмотря на это, модели до сих пор не сканируются с той же тщательностью, что и PDF-файл в ваших входящих.

Это нужно менять, и правильный инструментарий — первый шаг.

ModelScan — проект с открытым исходным кодом от Protect AI, который сканирует модели и определяет, содержат ли они небезопасный код. Это первый инструмент сканирования моделей, поддерживающий несколько форматов моделей. В настоящее время ModelScan поддерживает форматы: H5, Pickle и SavedModel. Это защищает вас при использовании PyTorch, TensorFlow, Keras, Sklearn, XGBoost, и это далеко не всё.

TL;DR

Если вы готовы приступить к сканированию моделей, всё просто:

pip install modelscan

После установки отсканируйте модель:

modelscan -p /path/to/model_file.pkl

Почему стоит сканировать модели

Модели часто создаются с помощью автоматизированных конвейеров, другие могут быть получены с ноутбука специалиста по данным. В любом случае модель должна быть перемещена с одной машины на другую до её использования. Этот процесс сохранения модели на диск называется сериализацией.

Атака на сериализацию модели (Model Serialization Attack) — это добавление вредоносного кода в содержимое модели во время сериализации (сохранения) перед распространением — современная версия троянского коня.

Атака работает за счёт эксплуатации процессов сохранения и загрузки моделей. Когда вы загружаете модель с помощью model = torch.load(PATH), PyTorch открывает содержимое файла и начинает выполнять код внутри. В момент загрузки модели эксплойт уже выполнен.

Атака на сериализацию модели может быть использована для выполнения:

• Кражи учётных данных (облачные учётные данные для записи и чтения данных в других системах вашей среды)
• Кражи данных (запрос, отправляемый модели)
• Отравления данных (данные, отправляемые после выполнения задачи моделью)
• Отравления модели (изменение результатов самой модели)

Эти атаки невероятно просты в исполнении, и вы можете посмотреть рабочие примеры в нашей папке 📓notebooks.

Обеспечение и автоматизация безопасности моделей

ModelScan предоставляет надёжное сканирование с открытым исходным кодом. Если вам нужна комплексная безопасность ИИ, рассмотрите Guardian. Это наш корпоративный продукт для сканирования моделей.

Возможности Guardian:

1. Передовое сканирование: доступ к нашим новейшим сканерам, более широкой поддержке моделей и автоматическому определению формата моделей.
2. Проактивная безопасность: определяйте и применяйте требования безопасности для моделей Hugging Face до их попадания в вашу среду — без изменений кода.
3. Корпоративное покрытие: реализуйте согласованную политику безопасности во всей организации, легко интегрируясь с вашими CI/CD-конвейерами.
4. Всеобъемлющий аудит-след: получите полную видимость всех сканирований и результатов, что позволит эффективно выявлять и устранять угрозы.

Начало работы

Как работает ModelScan

Если загрузка модели с помощью вашего фреймворка машинного обучения автоматически выполняет атаку, как ModelScan проверяет содержимое без загрузки вредоносного кода?

Всё просто: он читает содержимое файла по одному байту за раз, как строку, и ищет сигнатуры небезопасного кода. Это делает его невероятно быстрым: модели сканируются за то время, которое требуется вашему компьютеру для чтения файла с диска (в большинстве случаев — секунды). Кроме того, это безопасно.

ModelScan классифицирует небезопасный код по уровням:

• КРИТИЧЕСКИЙ
• ВЫСОКИЙ
• СРЕДНИЙ
• НИЗКИЙ

Если обнаружена проблема, немедленно свяжитесь с авторами модели, чтобы определить причину.

В некоторых случаях код может быть встроен в модель, чтобы специалисту по данным было проще воспроизвести результаты, но это открывает возможность для атаки. Используйте собственное суждение, чтобы решить, допустимо ли это для ваших рабочих нагрузок.

Какие модели и фреймворки поддерживаются?

Этот список будет постоянно расширяться, поэтому следите за изменениями в наших примечаниях к выпускам.

В настоящее время ModelScan поддерживает любой формат на основе Pickle и многие другие: