
Анализирует внутренние состояния LLM и более 100 признаков внимания/вероятности для обучения классификаторов, выявляющих атаки отравления документов в RAG-системах.
Официальная реализация статьи SIGIR 2026 When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse.
D-SCAN — это аналитический фреймворк для обнаружения атак отравления документов в системах RAG (Retrieval-Augmented Generation). Он собирает внутренние состояния LLM во время генерации (вероятности токенов и веса внимания), извлекает многомерные признаки и обучает классификаторы для различения чистых и отравленных извлечённых документов.
По умолчанию этот проект использует Llama-3.1-8B-Instruct. Загрузите модель в локальный путь и обновите переменную MODEL_ID в collect_inner_state.py:
MODEL_ID = "/your/path/to/Llama-3.1-8B-Instruct"
Полный рабочий процесс состоит из трёх шагов: Сбор внутренних состояний → Вычисление признаков → Обучение классификатора. Вопрос и связанные с ним извлечённые документы предоставлены в https://huggingface.co/datasets/An998/D-SCAN.
# Update configuration parameters in collect_inner_state.py, then run
python collect_inner_state.py
# Analyze both attack and clean data, compute all features, and save results
python compute_feature.py \
--attack_dir ./saved_reppl_weights_serial_query1_attack2_2wiki \
--clean_dir ./saved_reppl_weights_serial_query1_pure1_5_2wiki \
--output_dir ./analysis_results/2wiki_all \
--max_attack_samples 3000 \
--max_clean_samples 3000
Откройте fit_D-SCAN.ipynb и последовательно выполните ячейки, чтобы:
collect_inner_state.py)Для каждого входного вопроса-документа LLM выполняет многократную генерацию (по умолчанию: 10 выборок, temperature=1.0) и собирает следующие внутренние состояния:
| Поле | Тип | Описание |
|---|---|---|
outer_ppl_probs | List[Tensor] | Вероятность генерации токена для каждой выборки |
inner_ppl_matrix | List[List[Tensor]] | Веса внимания по входной последовательности на каждом шаге генерации (усреднённые по слоям) |
doc_ranges | Dict[str, List[int]] | Диапазон позиций токенов для каждого документа во входной последовательности |
generated_sequences | List[List[int]] | Последовательности ID сгенерированных токенов для каждой выборки |
MODEL_ID = "/path/to/model" # Model path
NUM_SAMPLES = 10 # Number of samples per question
MAX_NEW_TOKENS = 50 # Maximum generated tokens
TEMPERATURE = 1.0 # Sampling temperature
data_type = 'pure1_5' # Data type: 'pure1_5' (clean) or 'attack2' (attack)
dataset_name = 'hotpotqa' # Dataset: 'hotpotqa', '2wiki', 'musique'
Выходные данные сохраняются в виде файлов data_{batch_id}_reppl.pt и файлов статистики results_stats_*.jsonl.
compute_feature.py)Извлекает 10 категорий с признаками размерностью 100+ из собранных внутренних состояний. Классификатор использует эти признаки, чтобы определить, присутствуют ли отравленные документы среди извлечённых документов для данного запроса.
| # | Категория | Имя класса | Кол-во признаков | Основная идея |
|---|---|---|---|---|
| 1 | Статистика вероятности генерации | PerplexityMetrics | 8 | Отравленные документы могут повышать неопределённость модели при генерации, что отражается в изменениях распределения вероятностей |
| 2 | Энтропия внимания | AttentionEntropyMetrics | 4 | Высокая энтропия = рассеянное внимание = возможная противоречивая информация; низкая энтропия = сфокусированное внимание |
| 3 | Концентрация внимания | AttentionConcentrationMetrics | 8 | Измеряет, сосредоточено ли внимание на нескольких токенах, через долю Top-K и коэффициент Джини |
| 4 | Плотность внимания к документу | DocumentAttentionDensityMetrics | 6 | Сумма внимания, делённая на длину документа, устраняет смещение по длине при распределении внимания |
| 5 | Согласованность по нескольким выборкам | SampleConsistencyMetrics | 4 | При отравлении паттерны внимания по выборкам могут быть несогласованными (косинусное сходство, дивергенция JS) |
| 6 | Динамика внимания | AttentionDynamicsMetrics | 4 | Частота переключений доминирующего документа и величина изменения энтропии при генерации |
| 7 | Колебания внимания на уровне токенов | TokenLevelAttentionMetrics | 16 | Стабильность внимания в каждой позиции входного токена по шагам генерации (std, энтропия) |
| 8 | Глубокая статистика вероятности ответа | AnswerProbabilityMetrics | 18 | Квантили вероятности, доли токенов с высокой/низкой вероятностью, логарифм вероятности, перплексия и т. д. |
| 9 | Динамика вероятности | ProbabilityDynamicsMetrics | 14 | Наклон тренда, автокорреляция, волатильность, доля всплесков в последовательности генерации |
| 10 | Согласованность вероятностей между выборками | CrossSampleProbabilityConsistencyMetrics | 13 | Косинусное сходство, корреляция Пирсона, MSE, индекс дивергенции по выборкам |
1. PerplexityMetrics (статистика вероятности генерации)
Вычисляется из outer_ppl_probs (вероятность каждого сгенерированного токена):
ppl_mean_prob: средняя вероятность по всем сгенерированным токенамppl_std_prob: стандартное отклонение вероятностиppl_min_prob: минимальная вероятность (экстремальная неопределённость)ppl_low_prob_ratio: доля токенов с низкой вероятностью (<0.1)ppl_cross_sample_var: дисперсия средних вероятностей по выборкамppl_coef_variation: коэффициент вариации (CV = std/mean)ppl_skewness: асимметрия распределения вероятностейppl_kurtosis: эксцесс распределения вероятностей2. AttentionEntropyMetrics (энтропия внимания)
Вычисляется из inner_ppl_matrix (веса внимания на каждом шаге):
attn_entropy_mean/std/max: среднее, стандартное отклонение и максимум энтропии распределения вниманияattn_entropy_cv: коэффициент вариации энтропии внимания3. AttentionConcentrationMetrics (концентрация внимания)
attn_top5/10/20_ratio_mean/std: доля внимания, приходящаяся на Top-K% токеновattn_gini_mean/std: коэффициент Джини распределения внимания (мера неравенства)4. DocumentAttentionDensityMetrics (плотность внимания к документу)