Uma lista selecionada de recursos úteis que cobrem IA Ofensiva.
Uma lista curada de recursos úteis que cobrem IA Ofensiva.
Explorando as vulnerabilidades dos modelos de IA.
O Aprendizado de Máquina Adversarial é responsável por avaliar suas fraquezas e fornecer contramedidas.
Está organizado em quatro tipos de ataques: extração, inversão, envenenamento e evasão.
Tenta roubar os parâmetros e hiperparâmetros de um modelo fazendo requisições que maximizam a extração de informações.
Dependendo do conhecimento do modelo do adversário, ataques de caixa branca e caixa preta podem ser realizados.
No caso mais simples de caixa branca (quando o adversário tem conhecimento completo do modelo, por exemplo, uma função sigmoide), pode-se criar um sistema de equações lineares que pode ser facilmente resolvido.
No caso genérico, onde há conhecimento insuficiente do modelo, utiliza-se o modelo substituto. Este modelo é treinado com as requisições feitas ao modelo original a fim de imitar a mesma funcionalidade do original.
Treinar um modelo substituto é equivalente (em muitos casos) a treinar um modelo do zero.
Muito intensivo computacionalmente.
O adversário tem limitações no número de requisições antes de ser detectado.
Arredondamento dos valores de saída.
Uso de privacidade diferencial.
Uso de ensembles.
Uso de defesas específicas
Destinam-se a reverter o fluxo de informações de um modelo de aprendizado de máquina.
Permitem que um adversário conheça o modelo que não foi explicitamente destinado a ser compartilhado.
Permitem-nos conhecer os dados de treinamento ou informações como propriedades estatísticas do modelo.
Três tipos são possíveis:
Ataque de Inferência de Pertencimento (MIA): Um adversário tenta determinar se uma amostra foi empregada como parte do treinamento.
Ataque de Inferência de Propriedade (PIA): Um adversário visa extrair propriedades estatísticas que não foram explicitamente codificadas como características durante a fase de treinamento.
Reconstrução: Um adversário tenta reconstruir uma ou mais amostras do conjunto de treinamento e/ou seus rótulos correspondentes. Também chamado de inversão.
