Offensive AI を扱う厳選された有用なリソースのリスト。
Offensive AIをカバーする有用なリソースのキュレーションリスト。
AIモデルの脆弱性を悪用すること。
敵対的機械学習は、それらの弱点を評価し、対策を提供する役割を担う。
抽出、反転、ポイズニング、回避の4種類の攻撃に分類される。
情報の抽出を最大化するリクエストを行うことで、モデルのパラメータとハイパーパラメータを盗み出そうとする。
攻撃者のモデルに関する知識に応じて、ホワイトボックス攻撃とブラックボックス攻撃を実行できる。
最も単純なホワイトボックスのケース（攻撃者がモデルを完全に把握している場合、例えばシグモイド関数）では、容易に解ける連立一次方程式を構築できる。
モデルに関する知識が不十分な一般的なケースでは、代替モデルが使用される。このモデルは、元のモデルと同じ機能を模倣するために、元のモデルに対して行われたリクエストを用いて訓練される。
代替モデルの訓練は、（多くの場合）ゼロからモデルを訓練するのと同等である。
計算負荷が非常に高い。
攻撃者は検出されるまでのリクエスト数に制限がある。
出力値の丸め。
差分プライバシーの使用。
アンサンブルの使用。
特定の防御の使用
機械学習モデルの情報の流れを逆転させることを目的とする。
これらにより、攻撃者は明示的に共有されることを意図していなかったモデルを知ることができる。
これらにより、訓練データやモデルの統計的性質としての情報を知ることができる。
3つのタイプが可能である：
メンバーシップ推論攻撃（MIA）: 攻撃者は、あるサンプルが訓練の一部として使用されたかどうかを判定しようとする。
プロパティ推論攻撃（PIA）: 攻撃者は、訓練段階で特徴量として明示的にエンコードされなかった統計的性質を抽出することを目指す。
再構築: 攻撃者は、訓練セットから1つ以上のサンプルおよび／またはそれらに対応するラベルを再構築しようとする。反転とも呼ばれる。
高度な暗号技術の使用。対策には差分プライバシー、準同型暗号、安全なマルチパーティ計算が含まれる。
過学習とプライバシーの関係から、Dropoutなどの正則化手法の使用。
モデル圧縮が再構築攻撃に対する防御として提案されている。
