Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
D-Scan — Анализирует внутренние состояния LLM и более 100 признаков внимания/вероятности для обучения классификаторов, выявляющих атаки отравления документов в RAG-системах. | Kitploit
Инструменты/GitHubGitHub/yingtaoren/d-scan
Оборонительные ИнструментыМашинное ОбучениеБезопасность ИИОбнаружение Аномалий
GitHubyingtaoren/d-scan

D-Scan

Анализирует внутренние состояния LLM и более 100 признаков внимания/вероятности для обучения классификаторов, выявляющих атаки отравления документов в RAG-системах.

Репозиторий
12322 месяцев назадЕщё не проверено
Поделиться
Сайт

When Context Bites: обнаружение отравления RAG через коллапс внимания на уровне документов

Официальная реализация статьи SIGIR 2026 When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse.

D-SCAN — это аналитический фреймворк для обнаружения атак отравления документов в системах RAG (Retrieval-Augmented Generation). Он собирает внутренние состояния LLM во время генерации (вероятности токенов и веса внимания), извлекает многомерные признаки и обучает классификаторы для различения чистых и отравленных извлечённых документов.

1. Установка и требования

Предварительные требования

  • Python >= 3.9
  • GPU с поддержкой CUDA (рекомендуется >= 24 ГБ видеопамяти для инференса модели с 8B параметрами)

Подготовка модели

По умолчанию этот проект использует Llama-3.1-8B-Instruct. Загрузите модель в локальный путь и обновите переменную MODEL_ID в collect_inner_state.py:

MODEL_ID = "/your/path/to/Llama-3.1-8B-Instruct"

2. Быстрый старт

Полный рабочий процесс состоит из трёх шагов: Сбор внутренних состояний → Вычисление признаков → Обучение классификатора. Вопрос и связанные с ним извлечённые документы предоставлены в https://huggingface.co/datasets/An998/D-SCAN.

Шаг 1: Сбор внутренних состояний модели

# Update configuration parameters in collect_inner_state.py, then run
python collect_inner_state.py

Шаг 2: Вычисление метрик признаков

# Analyze both attack and clean data, compute all features, and save results
python compute_feature.py \
    --attack_dir ./saved_reppl_weights_serial_query1_attack2_2wiki \
    --clean_dir ./saved_reppl_weights_serial_query1_pure1_5_2wiki \
    --output_dir ./analysis_results/2wiki_all \
    --max_attack_samples 3000 \
    --max_clean_samples 3000

Шаг 3: Обучение классификатора и оценка

Откройте fit_D-SCAN.ipynb и последовательно выполните ячейки, чтобы:

  1. Загрузить данные признаков, сгенерированные на шаге 2
  2. Обучить классификаторы логистической регрессии / случайного леса (5-кратная кросс-валидация)
  3. Оценить эффективность переноса на тестовом наборе

3. Детали пайплайна

3.1 Сбор данных (collect_inner_state.py)

Для каждого входного вопроса-документа LLM выполняет многократную генерацию (по умолчанию: 10 выборок, temperature=1.0) и собирает следующие внутренние состояния:

ПолеТипОписание
outer_ppl_probsList[Tensor]Вероятность генерации токена для каждой выборки
inner_ppl_matrixList[List[Tensor]]Веса внимания по входной последовательности на каждом шаге генерации (усреднённые по слоям)
doc_rangesDict[str, List[int]]Диапазон позиций токенов для каждого документа во входной последовательности
generated_sequencesList[List[int]]Последовательности ID сгенерированных токенов для каждой выборки

Ключевые параметры конфигурации

MODEL_ID = "/path/to/model"     # Model path
NUM_SAMPLES = 10                # Number of samples per question
MAX_NEW_TOKENS = 50             # Maximum generated tokens
TEMPERATURE = 1.0               # Sampling temperature
data_type = 'pure1_5'           # Data type: 'pure1_5' (clean) or 'attack2' (attack)
dataset_name = 'hotpotqa'       # Dataset: 'hotpotqa', '2wiki', 'musique'

Выходные данные сохраняются в виде файлов data_{batch_id}_reppl.pt и файлов статистики results_stats_*.jsonl.


3.2 Вычисление признаков (compute_feature.py)

Извлекает 10 категорий с признаками размерностью 100+ из собранных внутренних состояний. Классификатор использует эти признаки, чтобы определить, присутствуют ли отравленные документы среди извлечённых документов для данного запроса.

Обзор метрик

#КатегорияИмя классаКол-во признаковОсновная идея
1Статистика вероятности генерацииPerplexityMetrics8Отравленные документы могут повышать неопределённость модели при генерации, что отражается в изменениях распределения вероятностей
2Энтропия вниманияAttentionEntropyMetrics4Высокая энтропия = рассеянное внимание = возможная противоречивая информация; низкая энтропия = сфокусированное внимание
3Концентрация вниманияAttentionConcentrationMetrics8Измеряет, сосредоточено ли внимание на нескольких токенах, через долю Top-K и коэффициент Джини
4Плотность внимания к документуDocumentAttentionDensityMetrics6Сумма внимания, делённая на длину документа, устраняет смещение по длине при распределении внимания
5Согласованность по нескольким выборкамSampleConsistencyMetrics4При отравлении паттерны внимания по выборкам могут быть несогласованными (косинусное сходство, дивергенция JS)
6Динамика вниманияAttentionDynamicsMetrics4Частота переключений доминирующего документа и величина изменения энтропии при генерации
7Колебания внимания на уровне токеновTokenLevelAttentionMetrics16Стабильность внимания в каждой позиции входного токена по шагам генерации (std, энтропия)
8Глубокая статистика вероятности ответаAnswerProbabilityMetrics18Квантили вероятности, доли токенов с высокой/низкой вероятностью, логарифм вероятности, перплексия и т. д.
9Динамика вероятностиProbabilityDynamicsMetrics14Наклон тренда, автокорреляция, волатильность, доля всплесков в последовательности генерации
10Согласованность вероятностей между выборкамиCrossSampleProbabilityConsistencyMetrics13Косинусное сходство, корреляция Пирсона, MSE, индекс дивергенции по выборкам

Подробное описание метрик

1. PerplexityMetrics (статистика вероятности генерации)

Вычисляется из outer_ppl_probs (вероятность каждого сгенерированного токена):

  • ppl_mean_prob: средняя вероятность по всем сгенерированным токенам
  • ppl_std_prob: стандартное отклонение вероятности
  • ppl_min_prob: минимальная вероятность (экстремальная неопределённость)
  • ppl_low_prob_ratio: доля токенов с низкой вероятностью (<0.1)
  • ppl_cross_sample_var: дисперсия средних вероятностей по выборкам
  • ppl_coef_variation: коэффициент вариации (CV = std/mean)
  • ppl_skewness: асимметрия распределения вероятностей
  • ppl_kurtosis: эксцесс распределения вероятностей

2. AttentionEntropyMetrics (энтропия внимания)

Вычисляется из inner_ppl_matrix (веса внимания на каждом шаге):

  • attn_entropy_mean/std/max: среднее, стандартное отклонение и максимум энтропии распределения внимания
  • attn_entropy_cv: коэффициент вариации энтропии внимания

3. AttentionConcentrationMetrics (концентрация внимания)

  • attn_top5/10/20_ratio_mean/std: доля внимания, приходящаяся на Top-K% токенов
  • attn_gini_mean/std: коэффициент Джини распределения внимания (мера неравенства)

4. DocumentAttentionDensityMetrics (плотность внимания к документу)

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    795
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    520
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    439
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    346
  • 5

    looking-glass

    anonghosty/looking-glass

    Платформа CSIRT, которая загружает отчёты Shadowserver в MongoDB и воспроизводит их в виде интерактивных карт, аналитики, результатов, рекомендаций и исполнительных дашбордов.

    267
  • 6

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    264

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →