IF-Guide

IF-Guide: 영향 함수 기반 LLM 탈독화 [NeurIPS 2025]

이 저장소는 우리 논문에서 소개한 LLM 탈독화 기법인 IF-Guide의 코드를 포함합니다:

• IF-Guide: 영향 함수 기반 LLM 탈독화
• Zachary Coalson, Juhan Bae, Nicholas Carlini, Sanghyun Hong

TL;DR

우리의 방법을 사용하면 유해한 학습 예제를 식별하고 사전 학습 또는 미세 조정 중에 이를 억제하여 LLM을 탈독화할 수 있습니다!

초록

우리는 학습 데이터가 대규모 언어 모델에서 유해한 행동의 출현에 어떻게 기여하는지 연구합니다. 모델 독성을 줄이는 대부분의 기존 연구는 사전 학습된(그리고 잠재적으로 유해한) 모델을 인간의 가치에 맞추기 위해 미세 조정하는 것과 같은 반응적 접근 방식을 채택합니다. 대조적으로, 우리는 능동적 접근 방식인 IF-Guide를 제안합니다. IF-Guide는 영향 함수를 활용하여 모든 학습 데이터 내에서 유해한 토큰을 식별하고 학습 중 그 영향을 억제합니다. 이를 위해 먼저 표준 영향 함수가 유해한 학습 기록을 발견하는 데 비효과적임을 보여줍니다. 그런 다음 학습 데이터에서 모델 독성까지의 토큰 수준 기여도를 측정하는 새로운 적응 기법과, 유해한 학습 문서를 선택하는 기법, 그리고 사전 학습과 미세 조정 모두에 통합할 수 있는 학습 목표를 제시합니다. 또한 IF-Guide는 기존 정렬 방법에서 일반적으로 요구되는 인간 선호 데이터에 의존하지 않습니다. 평가에서 우리는 IF-Guide가 명시적 독성과 암시적 독성을 모두 크게 줄인다는 것을 입증합니다. 무검열 모델 대비 최대 10배, DPO 및 RAD와 같은 기준 정렬 방법과 비교해 최대 3배까지, 사전 학습과 미세 조정 시나리오 모두에서 말입니다. IF-Guide는 계산 효율적입니다. 영향 점수를 계산하는 데 수십억 파라미터 모델이 필요하지 않습니다. 7.5배 더 적은 파라미터를 가진 수백만 파라미터 모델이 유해한 데이터를 식별하는 프록시 역할을 효과적으로 수행할 수 있습니다.

설치

conda 환경을 생성하고(python>=3.10을 사용하는 모든 환경을 사용할 수 있음) 필요한 패키지를 설치하세요:

conda create -n IF-Guide python=3.10
conda activate IF-Guide
pip install -r requirements.txt

참고: 우리는 EK-FAC로 영향 점수를 계산하기 위해 Kronfluence 패키지를 사용합니다. 우리는 논문(4페이지, 식 6)에서 소개한 차등 영향 기법을 지원하는 사용자 정의 구현을 만들었습니다. 패키지의 다른 모든 구성 요소에 대한 크레딧은 원저작자에게 있습니다. 감사합니다!

다음으로 작업 디렉토리로 이동합니다:

cd src

모델 학습/미세 조정

모델을 학습시키려면 다음을 실행하세요:

./scripts/train.sh

이것은 train.py를 호출하며, 다음 주요 인자를 받습니다:

참고: 다른 모든 인자는 기본값으로 두어도 실험 설정을 재현할 수 있습니다. 이는 다음 섹션에도 적용됩니다.

기존 모델을 미세 조정하려면 다음을 실행하세요:

./scripts/finetune.sh

이것은 finetune.py를 실행하며, 다음 추가 인자를 사용합니다:

IF-Guide 실행하기

IF-Guide는 네 단계로 구성됩니다: (1) EK-FAC로 역 헤세 근사를 계산하고, (2) 독성 및 비독성 쿼리 데이터에 대해 토큰별 차등 영향 점수를 계산하고(4페이지, 식 8), (3) 학습 중 억제할 영향력 있는 독성 토큰을 선택하고(23페이지, 알고리즘 1), (4) 페널티 기반 학습 목표로 독성 토큰을 억제합니다(5페이지, 식 9).

1. 역 헤세 근사 팩터 맞추기

다음을 실행하세요:

./scripts/fit_factors.sh

이것은 fit_factors.py를 호출하며 다음 기본 인자를 받습니다:

2. 토큰별 점수 계산

다음을 실행하세요:

./scripts/compute_scores.sh

이것은 compute_scores.py를 실행하며, 팩터 계산에 사용된 대부분의 인자에 더해 다음 주요 인자를 사용합니다:

3. 영향력 있는 독성 토큰 선택

다음을 실행하세요:

./scripts/build_toxic_token_mask.sh

이것은 build_toxic_token_mask.py를 실행합니다. 다음 기본 인자를 받습니다:

4. 학습/미세 조정 중 독성 토큰 억제

특정 모델에 대한 독성 토큰 마스크를 계산한 후, ./scripts/train.sh(및 ./scripts/finetune.sh)에서 --toxic_token_mask_path 및 --toxic_lambda 인자를 지정하여 IF-Guide로 모델을 학습/미세 조정할 수 있습니다.

평가

우리는 명시적 독성(Detoxify 사용), 암시적 독성(ToxiGen-RoBERTa 사용), 유창성(LAMBADA 및 OpenWebText에서 측정)을 평가하는 코드를 제공합니다.

명시적 독성 평가

다음을 실행하세요:

./scripts/run_toxicity_eval.sh

이것은 run_toxicity_eval.py를 실행하며, 다음 주요 인자를 가집니다:

암시적 독성 평가

다음을 실행하세요:

./scripts/run_implicit_toxicity_eval.sh

다음 인자가 필요합니다:

유창성 평가

다음을 실행하세요:

./scripts/run_fluency_eval.sh

다음 주요 인자를 가집니다:

RAD로 테스트

우리는 우리의 방법이 디코딩 시점 방어인 Reward Augmented Decoding (RAD) [EMNLP 2023]와 결합 가능하다는 것을 발견했습니다. IF-Guide를 RAD와 함께 실행하려면(또는 RAD를 독립적으로 테스트하려면) 먼저 보상 모델(원저작자가 제공)을 다운로드하고 예상 디렉터리에 배치하세요:

cd utils/rad/reward_modeling
gdown https://storage.googleapis.com/rad_release/saved_models.zip
unzip saved_models.zip && rm saved_models.zip && rm -rf saved_models/gpt2_sentiment

우리가 사용하는 RAD 구현에 대한 크레딧은 전적으로 원저작자에게 있습니다. 감사합니다!

논문 인용

이 소스 코드가 도움이 된다면 우리의 논문을 인용해 주세요.

@inproceedings{coalson2025ifguide,
  title={{IF}-Guide: Influence Function-Guided Detoxification of {LLM}s},
  author={Coalson, Zachary and Bae, Juhan and Carlini, Nicholas and Hong, Sanghyun},
  booktitle={The Thirty-ninth Annual Conference on Neural Information Processing Systems},
  year={2025},
  url={https://openreview.net/forum?id=V82wLePv0o}
}

질문이나 제안 사항이 있으면 Zachary Coalson([email protected])에게 연락해 주세요.