Une liste organisée de ressources utiles couvrant l'IA offensive.
Une liste organisée de ressources utiles couvrant l'IA offensive.
Exploiter les vulnérabilités des modèles d'IA.
L'apprentissage automatique adversarial consiste à évaluer leurs faiblesses et à fournir des contre-mesures.
Il est organisé en quatre types d'attaques : extraction, inversion, empoisonnement et évasion.
Elle tente de voler les paramètres et hyperparamètres d'un modèle en effectuant des requêtes qui maximisent l'extraction d'informations.
Selon la connaissance du modèle par l'adversaire, des attaques en boîte blanche et en boîte noire peuvent être réalisées.
Dans le cas en boîte blanche le plus simple (lorsque l'adversaire a une connaissance complète du modèle, par exemple une fonction sigmoïde), on peut créer un système d'équations linéaires facilement résoluble.
Dans le cas générique, où la connaissance du modèle est insuffisante, le modèle substitut est utilisé. Ce modèle est entraîné avec les requêtes effectuées auprès du modèle original afin d'imiter les mêmes fonctionnalités que celui-ci.
Entraîner un modèle substitut équivaut (dans de nombreux cas) à entraîner un modèle à partir de zéro.
Très gourmand en ressources de calcul.
L'adversaire est limité quant au nombre de requêtes avant d'être détecté.
Arrondi des valeurs de sortie.
Utilisation de la confidentialité différentielle.
Utilisation d'ensembles.
Utilisation de défenses spécifiques
Elles visent à inverser le flux d'informations d'un modèle d'apprentissage automatique.
Elles permettent à un adversaire de connaître le modèle qui n'était pas explicitement destiné à être partagé.
Elles nous permettent de connaître les données d'entraînement ou des informations sous forme de propriétés statistiques du modèle.
Trois types sont possibles :
