Курируемый список полезных ресурсов, охватывающих Offensive AI.
Кураторский список полезных ресурсов, посвящённых Offensive AI.
Эксплуатация уязвимостей моделей ИИ.
Состязательное машинное обучение отвечает за оценку их слабых мест и предоставление контрмер.
Оно организовано в четыре типа атак: извлечение, инверсия, отравление и уклонение.
Оно пытается украсть параметры и гиперпараметры модели, выполняя запросы, которые максимизируют извлечение информации.
В зависимости от знания модели противником могут выполняться атаки типа «белый ящик» и «чёрный ящик».
В простейшем случае «белого ящика» (когда противник обладает полным знанием модели, например, сигмоидной функции) можно создать систему линейных уравнений, которая легко решается.
В общем случае, когда знаний о модели недостаточно, используется замещающая модель. Эта модель обучается на запросах, сделанных к оригинальной модели, чтобы имитировать ту же функциональность, что и оригинал.
Обучение замещающей модели эквивалентно (во многих случаях) обучению модели с нуля.
Очень ресурсоёмко с вычислительной точки зрения.
У противника есть ограничения на количество запросов до момента обнаружения.
Округление выходных значений.
Использование дифференциальной приватности.
Использование ансамблей.
Использование специфических защит
Они предназначены для обращения потока информации модели машинного обучения.
Они позволяют противнику узнать модель, которая не предназначалась для явного предоставления.
Они позволяют нам узнать обучающие данные или информацию как статистические свойства модели.
Возможны три типа:
Membership Inference Attack (MIA): противник пытается определить, был ли образец использован в процессе обучения.
Property Inference Attack (PIA): противник стремится извлечь статистические свойства, которые не были явно закодированы как признаки на этапе обучения.
Реконструкция: противник пытается восстановить один или несколько образцов из обучающего набора и/или соответствующие им метки. Также называется инверсией.
