OLMo-Twin

Dieses Repository enthält den Code für das Paper

From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
Ali Banaei, Muhammad Shahab Shahzad, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kostić
KTH Royal Institute of Technology. arXiv-Preprint (erscheint in Kürze).

Wir haben die offizielle Mid-Training-Phase von OLMo 2 1B mit 50 Milliarden Tokens erneut durchlaufen, wobei eine Reihe von Dokumenten in den Trainingsstrom eingefügt wurde, die zufällig aus übereinstimmenden Paaren ausgewählt wurden. AI2s veröffentlichter Lauf derselben Phase dient als Kontrolle. Die beiden Läufe lesen dieselben Trainingsdaten in derselben Reihenfolge, außer an den Positionen, an denen wir Dokumente eingefügt haben. Beide Modelle wurden anschließend durch AI2s Post-Training-Rezept geführt. Jedes Dokument wurde unter beiden Modellen in jeder Phase bewertet, sodass wir messen können, wie stark das Training mit einem einzelnen Dokument das Modell verändert und wie viel dieser Veränderung Membership-Inference-Angriffe erkennen können.

Die Fragestellung

Membership Inference fragt, ob ein bestimmtes Dokument Teil der Trainingsdaten eines Modells war. Dies ist relevant für Urheberrecht und Datenherkunft, für die Transparenz von Trainingsdaten und für Benchmark-Kontamination. Die meisten Evaluierungen von Membership-Inference-Angriffen auf Sprachmodelle sammeln Mitglieder und Nicht-Mitglieder im Nachhinein, zum Beispiel Dokumente, die vor und nach einem Trainings-Cutoff veröffentlicht wurden. Die beiden Gruppen unterscheiden sich dann nicht nur in der Mitgliedschaft, sondern auch in Thema, Stil und Datum. Ein Angriff kann erfolgreich sein, indem er diese Verteilungsverschiebung erkennt. Wenn ein Angriff scheitert, zeigt das nicht, dass das Training keine Spuren hinterlassen hat.

Um diese Erklärungen voneinander zu trennen, benötigen wir ein Setting, in dem die Mitgliedschaft bekannt ist, unabhängig von jeder Dokumenteigenschaft zugewiesen wird und den Rest des Trainings unverändert lässt. Das Paper fragt: Wenn ein echtes Dokument einmal in ein etabliertes Trainingsrezept aufgenommen wird, wie stark verändert sich das Modell, und wie viel dieser Veränderung können bestehende Angriffe nutzen?

Das Design

                    AI2's released stage-1 checkpoint (4T tokens)
                                       |
            +--------------------------+---------------------------+
            |                                                      |
  AI2's released seed-42 run                     our re-run of the same stage:
  of the 50B-token stage                         same start, data and order;
  (23,852 updates)                               24,081 of 12,212,224 chunks replaced
            |                                    by copies of inserted documents
            v                                                      v
         control                                             treated model
            |                                                      |
            v                                                      v
   SFT -> DPO -> RLVR stage 1 -> RLVR stage 2  (same data, order and seeds for both)

• Ein erneuter Durchlauf einer offiziellen Trainingsphase. OLMo 2 1B wird in zwei Phasen trainiert: etwa 4 Billionen Tokens Vortraining, dann eine Mid-Training-Phase mit 50 Milliarden Tokens. AI2 veröffentlichte den Checkpoint, an dem das Mid-Training beginnt, einschließlich seines Optimizer-Zustands. AI2 veröffentlichte außerdem die Mid-Training-Daten, ihre Konfiguration und die vollständigen Mid-Training-Läufe für drei Datenreihenfolge-Seeds. Wir starteten vom veröffentlichten Checkpoint und führten die Phase erneut mit AI2s Konfiguration und dem unveränderten OLMo-Trainer aus. Wir rekonstruierten die Datenreihenfolge für Seed 42 exakt.
• Gepaarte Paare und ein Münzwurf. Wir bildeten 7.814 Dokumentpaare. Die beiden Dokumente eines Paares stammen aus derselben Quelle und Kohorte und sind nach Länge und Schwierigkeit abgeglichen: Bits pro Byte unter dem Start-Checkpoint, gemessen vor dem Training. Für jedes Paar wählte ein Münzwurf ein Dokument zur Einfügung aus; das andere wurde zurückgehalten. Kopien der eingefügten Dokumente ersetzen ganze Trainings-Chunks an geplanten Positionen, die über die Phase verteilt sind: 12.414 Kopien ersetzen 24.081 der 12.212.224 Chunk-Positionen (0,197 %), und der eingefügte Text summiert sich auf 67,3 Millionen Tokens (0,135 % des Streams). Jede andere Position enthält AI2s Chunk.
• Der veröffentlichte Lauf als Kontrolle. AI2s veröffentlichter Seed-42-Lauf sah an jeder anderen Position dieselben Chunks in derselben Reihenfolge und dient daher als kontrafaktisches Szenario. Das Paper nennt ihn den Twin. Die beiden Läufe unterscheiden sich in den Ausführungseinstellungen (Anzahl der GPUs, Attention- und Sharding-Kernel) und sind daher nicht bitgenau identisch. AI2s Seed-42069-Lauf (dasselbe Rezept in einer anderen Datenreihenfolge) dient als neu trainierte Referenz. Der veröffentlichte Checkpoint, an dem die Phase beginnt, dient als schwächere Referenz.
• Dokumente als ungesehen verifiziert. Die meisten Dokumente sind arXiv-Papers, Wikipedia-Seiten und StackExchange-Beiträge, die nach dem Daten-Cutoff des Modells erschienen sind, oder Wikipedia-Seiten, die im Snapshot der Trainingsdaten fehlen. Dreizehn Kohorten variieren die Quelle, die Länge, die Anzahl der Kopien (bis zu 32), den Zeitpunkt der Kopien und die Textform (LaTeX-abgeleitet versus PDF-abgeleitet). Bearbeitete Versionen von Wikipedia-Seiten, die in den Trainingsdaten enthalten sind, messen die erneute Exposition, und synthetische Texte decken eine Bandbreite an Surprisal ab. Die Kandidaten der Kohorten, die als ungesehen gelten sollten, wurden erschöpfend gegen alle 13 Komponenten der veröffentlichten Pretraining- und Mid-Training-Korpora (8,3 TiB) durchsucht. Die Suche erkennt jede wörtliche Überlappung von 40 Wörtern oder mehr, und Kandidaten mit solchen Überlappungen wurden ausgeschlossen. Der letzte Teil der Suche wurde abgeschlossen, nachdem die Paare gebildet worden waren. Er fand 156 weitere Kandidaten mit solchen Überlappungen; sie wurden entfernt, und ihre Paare wurden vor dem Training neu aufgefüllt.
• Post-Training. Sowohl das behandelte Modell als auch die Kontrolle wurden durch AI2s Post-Training-Rezept für OLMo 2 1B geführt: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) und zwei Stufen von Reinforcement Learning mit verifizierbaren Belohnungen (RLVR). Beide Modelle erhielten dieselben Daten, dieselbe Reihenfolge und dieselben Seeds.
• Messungen. Die 22.681 Evaluierungsdokumente (beide Dokumente jedes Paares und 7.053 Dokumente, die nie eingefügt wurden) werden Token für Token bewertet unter:
  • dem behandelten Modell, der Kontrolle, der neu trainierten Referenz und dem Start-Checkpoint;
  • den 24 Checkpoints, die von jedem der drei Mid-Training-Läufe alle 1.000 Updates gespeichert wurden;
  • den Modellen jeder Post-Training-Phase beider Arme.

Zentrale Ergebnisse

Sofern nicht anders angegeben, beziehen sich die folgenden Zahlen auf die 4.832 Paare von Dokumenten, die als ungesehen verifiziert und einmal eingefügt wurden, gemessen gegen die Kontrolle. Das Paper gibt Konfidenzintervalle und weitere Einschränkungen an.