OLMo-Twin

Этот репозиторий содержит код для статьи

From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
Ali Banaei, Muhammad Shahab Shahzad, Gerald Q. Maguire Jr., Marco Chiesa, Dejan Kostić
KTH Royal Institute of Technology. Препринт arXiv (в печати).

Мы повторно провели официальный этап промежуточного обучения OLMo 2 1B на 50 миллиардов токенов, вставив в поток обучения набор документов, выбранных случайным образом из подобранных пар. Опубликованный AI2 прогон того же этапа служит контрольным. Оба прогона читают одни и те же обучающие данные в одном и том же порядке, за исключением позиций, куда мы вставили документы. Затем обе модели прошли через рецепт пост-обучения AI2. Каждый документ был оценён под обеими моделями на каждом этапе, что позволяет нам измерить, насколько обучение на одном документе изменяет модель и какую часть этого изменения способны обнаружить атаки вывода членства.

Вопрос

Вывод членства (membership inference) отвечает на вопрос, входил ли данный документ в обучающие данные модели. Это важно для авторского права и происхождения данных, для прозрачности обучающих данных и для загрязнения бенчмарков. Большинство оценок атак вывода членства на языковых моделях собирают членов и нечленов постфактум, например документы, опубликованные до и после даты отсечения обучения. Тогда две группы различаются не только по членству, но и по теме, стилю и дате. Атака может добиться успеха, обнаружив этот сдвиг распределения. Когда атака терпит неудачу, это не доказывает, что обучение не оставило следа.

Чтобы разделить эти объяснения, нам нужна обстановка, в которой членство известно, назначается независимо от любых свойств документа и оставляет остальную часть обучения неизменной. В статье ставится вопрос: когда реальный документ включается один раз в устоявшийся рецепт обучения, насколько изменяется модель и какую часть этого изменения могут использовать существующие атаки?

Дизайн

                    AI2's released stage-1 checkpoint (4T tokens)
                                       |
            +--------------------------+---------------------------+
            |                                                      |
  AI2's released seed-42 run                     our re-run of the same stage:
  of the 50B-token stage                         same start, data and order;
  (23,852 updates)                               24,081 of 12,212,224 chunks replaced
            |                                    by copies of inserted documents
            v                                                      v
         control                                             treated model
            |                                                      |
            v                                                      v
   SFT -> DPO -> RLVR stage 1 -> RLVR stage 2  (same data, order and seeds for both)

• Повторный запуск официального этапа обучения. OLMo 2 1B обучается в два этапа: около 4 триллионов токенов предварительного обучения, затем этап промежуточного обучения на 50 миллиардов токенов. AI2 выпустила контрольную точку, с которой начинается промежуточное обучение, включая состояние оптимизатора. AI2 также выпустила данные промежуточного обучения, его конфигурацию и полные прогоны промежуточного обучения для трёх сидов порядка данных. Мы начали с выпущенной контрольной точки и повторили этап с конфигурацией AI2 и неизменённым тренером OLMo. Мы в точности восстановили порядок данных для сида 42.
• Сопоставленные пары и подбрасывание монеты. Мы составили 7 814 пар документов. Два документа пары происходят из одного источника и когорты и сопоставлены по длине и по сложности: битам на байт при стартовой контрольной точке, измеренным до обучения. Для каждой пары подбрасывание монеты выбирало один документ для вставки; другой оставался отложенным. Копии вставленных документов заменяют целые обучающие чанки в запланированных позициях, распределённых по этапу: 12 414 копий заменяют 24 081 из 12 212 224 позиций чанков (0,197%), а вставленный текст в сумме составляет 67,3 миллиона токенов (0,135% потока). Каждая другая позиция содержит чанк AI2.
• Выпущенный прогон в качестве контроля. Выпущенный прогон AI2 с сидом 42 видел те же чанки в том же порядке в каждой другой позиции, поэтому он служит контрфактическим сценарием. В статье он называется двойником. Два прогона различаются настройками выполнения (число GPU, ядра внимания и шардирования), поэтому они не побитово идентичны. Прогон AI2 с сидом 42069 (тот же рецепт в другом порядке данных) служит переобученным эталоном. Выпущенная контрольная точка, с которой начинается этап, служит более слабым эталоном.
• Документы проверены на невиданность. Большинство документов — это статьи arXiv, страницы Wikipedia и посты StackExchange, появившиеся после отсечки данных модели, или страницы Wikipedia, отсутствующие в снимке обучающих данных. Тринадцать когорт варьируют источник, длину, число копий (до 32), время копирования и текстовую форму (полученную из LaTeX или из PDF). Отредактированные версии страниц Wikipedia, присутствующих в обучающих данных, измеряют повторное воздействие, а синтетические тексты охватывают диапазон неожиданности. Кандидаты из когорт, предназначенных быть невиданными, были исчерпывающе проверены на совпадения со всеми 13 компонентами выпущенных корпусов предварительного и промежуточного обучения (8,3 ТиБ). Поиск обнаруживает каждое дословное совпадение длиной 40 слов и более, и кандидаты с такими совпадениями были исключены. Последняя часть поиска завершилась после того, как пары были сформированы. Она обнаружила ещё 156 кандидатов с такими совпадениями; они были удалены, а их пары пополнены заново до обучения.
• Постобучение. И обработанная модель, и контрольная были проведены через рецепт постобучения AI2 для OLMo 2 1B: дообучение с учителем (SFT), прямая оптимизация предпочтений (DPO) и два этапа обучения с подкреплением с проверяемыми наградами (RLVR). Обе модели получили одни и те же данные, порядок и сиды.
• Измерения. 22 681 оценочный документ (оба документа каждой пары и 7 053 документа, которые никогда не вставлялись) оцениваются токен за токеном под:
  • обработанной моделью, контролем, переобученным эталоном и стартовой контрольной точкой;
  • 24 контрольными точками, сохраняемыми каждые 1 000 обновлений каждым из трёх прогонов промежуточного обучения;
  • моделями каждого этапа постобучения обеих ветвей.

Основные результаты

Если не указано иное, приведённые ниже числа относятся к 4 832 парам документов, проверенных на невиданность и вставленных один раз, измеренным относительно контроля. В статье приводятся доверительные интервалы и дополнительные оговорки.