
Código de reprodução para um estudo controlado de ataques de inferência de associação em OLMo 2, abrangendo inserção de documentos, mid-training, pós-treinamento, pontuação e análise.
Este repositório contém o código do artigo
From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
Ali Banaei, Muhammad Shahab Shahzad, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kostić
KTH Royal Institute of Technology. arXiv preprint (a ser publicado).
Reexecutamos a etapa oficial de mid-training de 50 bilhões de tokens do OLMo 2 1B com um conjunto de documentos inseridos no fluxo de treinamento, escolhidos aleatoriamente a partir de pares correspondentes. A execução da mesma etapa divulgada pela AI2 serve como controle. As duas execuções leram os mesmos dados de treinamento na mesma ordem, exceto nas posições onde inserimos documentos. Ambos os modelos foram então submetidos à receita de pós-treinamento da AI2. Cada documento foi pontuado sob ambos os modelos em cada etapa, para que possamos medir o quanto o treinamento em um documento altera o modelo, e quanto dessa alteração os ataques de inferência de pertencimento conseguem detectar.
A inferência de pertencimento pergunta se um determinado documento fez parte dos dados de treinamento de um modelo. Isso importa para direitos autorais e proveniência de dados, para transparência de dados de treinamento e para contaminação de benchmarks. A maioria das avaliações de ataques de inferência de pertencimento em modelos de linguagem coleta membros e não membros a posteriori, por exemplo documentos publicados antes e depois de um corte de treinamento. Os dois grupos então diferem em tópico, estilo e data, assim como em pertencimento. Um ataque pode ter sucesso detectando essa mudança de distribuição. Quando um ataque falha, isso não demonstra que o treinamento não deixou rastro.
Para separar essas explicações, precisamos de um cenário no qual o pertencimento seja conhecido, seja atribuído independentemente de qualquer propriedade do documento e deixe o resto do treinamento inalterado. O artigo pergunta: quando um documento real é incluído uma vez em uma receita de treinamento estabelecida, quanto o modelo muda, e quanto dessa mudança os ataques existentes conseguem aproveitar?
AI2's released stage-1 checkpoint (4T tokens)
|
+--------------------------+---------------------------+
| |
AI2's released seed-42 run our re-run of the same stage:
of the 50B-token stage same start, data and order;
(23,852 updates) 24,081 of 12,212,224 chunks replaced
| by copies of inserted documents
v v
control treated model
| |
v v
SFT -> DPO -> RLVR stage 1 -> RLVR stage 2 (same data, order and seeds for both)
Salvo indicação em contrário, os números abaixo são para os 4.832 pares de documentos verificados como não vistos e inseridos uma vez, medidos em relação ao controle. O artigo fornece intervalos de confiança e outras ressalvas.
Descubra as ferramentas mais usadas pela nossa comunidade.
Sem dados de popularidade ainda.