Una lista seleccionada de recursos útiles que cubren IA Ofensiva.
Una lista curada de recursos útiles que cubren la IA Ofensiva.
Explotación de las vulnerabilidades de los modelos de IA.
El Aprendizaje Automático Adversario es responsable de evaluar sus debilidades y proporcionar contramedidas.
Se organiza en cuatro tipos de ataques: extracción, inversión, envenenamiento y evasión.
Intenta robar los parámetros e hiperparámetros de un modelo realizando peticiones que maximizan la extracción de información.
Dependiendo del conocimiento del modelo del adversario, se pueden realizar ataques de caja blanca y caja negra.
En el caso más simple de caja blanca (cuando el adversario tiene pleno conocimiento del modelo, por ejemplo, una función sigmoide), se puede crear un sistema de ecuaciones lineales que puede resolverse fácilmente.
En el caso genérico, donde hay un conocimiento insuficiente del modelo, se utiliza el modelo sustituto. Este modelo se entrena con las peticiones realizadas al modelo original para imitar la misma funcionalidad que el original.
Entrenar un modelo sustituto es equivalente (en muchos casos) a entrenar un modelo desde cero.
Muy intensivo computacionalmente.
El adversario tiene limitaciones en el número de peticiones antes de ser detectado.
Redondeo de los valores de salida.
Uso de privacidad diferencial.
Uso de ensamblados.
Uso de defensas específicas
Están destinados a invertir el flujo de información de un modelo de aprendizaje automático.
Permiten a un adversario conocer el modelo que no estaba destinado explícitamente a ser compartido.
Nos permiten conocer los datos de entrenamiento o información como propiedades estadísticas del modelo.
Son posibles tres tipos:
Ataque de Inferencia de Pertenencia (MIA): Un adversario intenta determinar si una muestra fue empleada como parte del entrenamiento.
Ataque de Inferencia de Propiedades (PIA): Un adversario pretende extraer propiedades estadísticas que no fueron codificadas explícitamente como características durante la fase de entrenamiento.
