IF-Guide

IF-Guide: детоксификация LLM на основе функций влияния [NeurIPS 2025]

Этот репозиторий содержит код IF-Guide — метода детоксификации LLM, представленного в нашей статье:

• IF-Guide: детоксификация LLM на основе функций влияния
• Zachary Coalson, Juhan Bae, Nicholas Carlini, Sanghyun Hong

TL;DR

Вы можете использовать наш метод для детоксификации LLM: он выявляет вредоносные обучающие примеры и подавляет их во время предварительного обучения или дообучения!

Аннотация

Мы исследуем, как обучающие данные способствуют возникновению токсичного поведения больших языковых моделей. Большинство предыдущих работ по снижению токсичности моделей используют реактивные подходы, например дообучение предварительно обученных (и потенциально токсичных) моделей для приведения их в соответствие с человеческими ценностями. В отличие от них, мы предлагаем проактивный подход — IF-Guide, — который использует функции влияния для выявления вредоносных токенов в любых обучающих данных и подавления их влияния во время обучения. Для этого мы сначала показываем, что стандартные функции влияния неэффективны для обнаружения вредоносных обучающих записей. Затем мы представляем новую адаптацию, которая измеряет атрибуцию на уровне токенов от обучающих данных к токсичности модели, а также методы выбора токсичных обучающих документов и целевую функцию обучения, которую можно интегрировать как в предварительное обучение, так и в дообучение. Более того, IF-Guide не полагается на данные о человеческих предпочтениях, которые обычно требуются существующим методам выравнивания. В оценке мы демонстрируем, что IF-Guide значительно снижает как явную, так и неявную токсичность — до 10× по сравнению с моделями без цензурирования и до 3× по сравнению с базовыми методами выравнивания, например DPO и RAD, — в сценариях как предварительного обучения, так и дообучения. IF-Guide вычислительно эффективен: для вычисления показателей влияния не нужна модель с миллиардом параметров; модель с миллионом параметров — с 7.5× меньшим числом параметров — может эффективно служить прокси для выявления вредоносных данных.

Установка

Создайте conda-окружение (можно использовать любое окружение с python>=3.10) и установите необходимые пакеты:

conda create -n IF-Guide python=3.10
conda activate IF-Guide
pip install -r requirements.txt

Примечание: Мы используем пакет Kronfluence для вычисления показателей влияния с помощью EK-FAC. Мы создали собственную реализацию, которая поддерживает технику дифференциального влияния, представленную в нашей статье (стр. 4, ур. 6). Авторство всех остальных компонентов пакета принадлежит оригинальным создателям. Спасибо!

Затем перейдите в рабочую директорию:

cd src

Обучение/тонкая настройка моделей

Чтобы обучить модель, выполните:

./scripts/train.sh

Это запускает train.py, который принимает следующие основные аргументы:

Примечание: Все остальные аргументы можно оставить со значениями по умолчанию, чтобы воспроизвести нашу экспериментальную конфигурацию. Это относится и к следующим разделам.

Чтобы дообучить существующую модель, выполните:

./scripts/finetune.sh

Это запускает finetune.py, который использует следующие дополнительные аргументы:

Запуск IF-Guide

IF-Guide состоит из четырёх шагов: (1) вычисление аппроксимации обратного гессиана с помощью EK-FAC, (2) вычисление показателей дифференциального влияния на уровне токенов для токсичных и нетоксичных запросов (стр. 4, ур. 8), (3) выбор влиятельных токсичных токенов для подавления во время обучения (стр. 23, алгоритм 1) и (4) подавление токсичных токенов с помощью нашей целевой функции обучения, основанной на штрафе (стр. 5, ур. 9).

1. Подбор факторов аппроксимации обратного гессиана

Выполните:

./scripts/fit_factors.sh

Это запускает fit_factors.py со следующими основными аргументами:

2. Вычисление показателей на уровне токенов

Выполните:

./scripts/compute_scores.sh

Это запускает compute_scores.py со следующими ключевыми аргументами (в дополнение к большей части аргументов, используемых для вычисления факторов):

3. Выбор влиятельных токсичных токенов

Выполните:

./scripts/build_toxic_token_mask.sh

Это запускает build_toxic_token_mask.py. Он принимает следующие основные аргументы:

4. Подавление токсичных токенов во время обучения/тонкой настройки

После вычисления маски токсичных токенов для конкретной модели вы можете указать аргументы --toxic_token_mask_path и --toxic_lambda в ./scripts/train.sh (и ./scripts/finetune.sh), чтобы обучать/дообучать модели с помощью IF-Guide.

Оценка

Мы предоставляем код для оценки явной токсичности (через Detoxify), неявной токсичности (через ToxiGen-RoBERTa) и плавности (измеряемой на LAMBADA и OpenWebText).

Оценка явной токсичности

Выполните:

./scripts/run_toxicity_eval.sh

Это запускает run_toxicity_eval.py со следующими основными аргументами:

Оценка неявной токсичности

Выполните:

./scripts/run_implicit_toxicity_eval.sh

Для этого требуются следующие аргументы:

Оценка плавности

Выполните:

./scripts/run_fluency_eval.sh

Она принимает следующие основные аргументы:

Тестирование с RAD

Мы обнаружили, что наш метод сочетается с защитой на этапе декодирования Reward Augmented Decoding (RAD) [EMNLP 2023]. Чтобы запустить IF-Guide с RAD (или протестировать RAD отдельно), сначала загрузите модель вознаграждения (предоставленную авторами оригинальной работы) и поместите её в ожидаемый каталог:

cd utils/rad/reward_modeling
gdown https://storage.googleapis.com/rad_release/saved_models.zip
unzip saved_models.zip && rm saved_models.zip && rm -rf saved_models/gpt2_sentiment

Авторство используемой нами реализации RAD полностью принадлежит авторам оригинальной работы. Спасибо!

Цитирование нашей работы

Пожалуйста, цитируйте нашу работу, если этот исходный код оказался вам полезен.

@inproceedings{coalson2025ifguide,
  title={{IF}-Guide: Influence Function-Guided Detoxification of {LLM}s},
  author={Coalson, Zachary and Bae, Juhan and Carlini, Nicholas and Hong, Sanghyun},
  booktitle={The Thirty-ninth Annual Conference on Neural Information Processing Systems},
  year={2025},
  url={https://openreview.net/forum?id=V82wLePv0o}
}

Пожалуйста, обращайтесь к Закари Коулсону ([email protected]) по любым вопросам и предложениям.