Skip to content
KitploitKITPLOIT
ИнструментыЭксплойтыБлог
Log in
Отправить
ИнструментыЭксплойтыБлог
Отправить

Инструменты для хакинга, пентеста и кибербезопасности — ваш арсенал защиты!

Kitploit — это каталог инструментов для хакинга, кибербезопасности и пентестинга. Находите последние обновления проектов для поиска уязвимостей, анализа систем, автоматизации тестирования и усиления вашей безопасности.

ЛентыКонтактыКонфиденциальность© 2026 Kitploit

Каталог инструментов

Категории

Все категории
Loading categories
Инструменты/GitHubGitHub/psm-defense/psm
Оборонительные ИнструментыМашинное ОбучениеСтатьи и ИсследованияБезопасность ИИ
GitHubpsm-defense/psm

psm

Чёрный ящик подход к оптимизации для защиты системных промптов больших языковых моделей (LLM) от атак состязательного извлечения.

Репозиторий
211 год назадЕщё не проверено
Поделиться

Минимизация чувствительности промпта (PSM)

Подход чёрного ящика к оптимизации для защиты системных промптов больших языковых моделей (LLM) от атак извлечения со стороны злоумышленника.

Обзор

Этот репозиторий реализует минимизацию чувствительности промпта (PSM) — механизм защиты, который использует LLM в качестве оптимизатора для автоматической генерации защитных «щитов» вокруг системных промптов. PSM минимизирует наблюдаемую утечку, сохраняя при этом полезность задачи, посредством итеративного процесса оптимизации.

Ключевые особенности

  • LLM как оптимизатор: использует языковые модели для генерации и уточнения защитных щитов
  • Многоцелевая оптимизация: балансирует минимизацию утечки с сохранением полезности
  • Комплексная оценка: тестирование против множества типов атак и стратегий защиты
  • Сглаженная агрегация: реализует различные методы агрегации оценок утечки (logsumexp, среднее по top-k, максимум)
  • Эффективное кэширование: сокращает избыточные вызовы API за счёт интеллектуального кэширования результатов
  • Множество метрик: поддерживает как метрики оценки на основе ROUGE, так и метрики с судьёй-LLM

Содержание

  • Установка
  • Быстрый старт
  • Использование
  • Архитектура
  • Конфигурация
  • Воспроизводимость

Установка

Предварительные требования

  • Python 3.8+
  • Виртуальное окружение (рекомендуется)

Настройка

  1. Клонируйте репозиторий:
git clone <repository-url>
cd psm
  1. Создайте и активируйте виртуальное окружение:
python -m venv venv
source venv/bin/activate  # On Windows: venv\Scripts\activate
  1. Установите зависимости:
pip install -r requirements.txt
  1. Настройте API-ключи: Создайте файл config/config.yaml с конфигурациями API вашей LLM:
llms:
  gpt-4o-mini:
    model: "gpt-4o-mini"
    model_provider: "openai"
    api_key: "your-api-key"
    temperature: 0.7
  # Add other model configurations as needed

Быстрый старт

Запуск PSM Defense

Генерация защищённых системных промптов с помощью PSM:

python run.py

Это позволит:

  1. Загрузить системные промпты из data/victim_prompts/
  2. Сгенерировать защитные щиты с помощью оптимизации LLM
  3. Сохранить оптимизированные промпты в data/defense_prompts/

Оценка защит

Оценка механизмов защиты от состязательных атак:

python experiments/evaluate_defenses.py

Это позволит:

  1. Протестировать несколько стратегий защиты (None, Baseline, PSM, N-gram Filter, FAKE)
  2. Запустить различные типы атак (RACCON, LIANG, ZHANG и др.)
  3. Сгенерировать подробные результаты в results/

Использование

Программное использование

Запуск PSM для одного промпта

from run import PSMRunner, RunPSMConfig

# Configure PSM
config = RunPSMConfig(
    dataset_name="unnatural-test",
    attack_samples=50,
    validation_samples=10,
    target_dataset_samples=30,
    llm_target="gpt-5-mini",
    llm_optimizer="gpt-4o-mini",
    llm_validation="gpt-4o",
    llm_judge="gpt-4o-mini",
    n_optimization_iterations=10,
    n_initial_shields=5,
    n_shields_per_step=5,
    max_candidates_per_step=10,
    target_utility_threshold=0.9,
    target_leakage_threshold=0.65,
    leakage_aggregation="logsumexp",
    logsumexp_temperature=10.0
)

# Run PSM
runner = PSMRunner(config)
runner.run_experiments()

Оценка стратегии защиты

from experiments.evaluate_defenses import (
    DefenseEvaluator, ExperimentConfig, 
    DefenseConfig, DefenseStrategy, 
    AttackType, Dataset, TargetModel
)

# Configure experiment
config = ExperimentConfig(
    attack_types=[AttackType.RACCON, AttackType.LIANG],
    defense_configs=[
        DefenseConfig(DefenseStrategy.PSM, Dataset.UNNATURAL_TEST, TargetModel.GPT_4O_MINI)
    ],
    max_victim_samples=30,
    max_attack_samples=60,
    use_am_metric=True,
    am_threshold=0.9,
    use_jm_metric=True,
    jm_threshold=0.7
)

# Run evaluation
evaluator = DefenseEvaluator(config)
await evaluator.run_experiments()
evaluator.save_results()
evaluator.print_results_summary()

Архитектура

Основные компоненты

1. PSM (src/defense/psm/psm.py)

Основной движок оптимизации, который:

  • Генерирует начальные защитные экраны
  • Итеративно уточняет экраны, используя LLM в качестве оптимизатора
  • Оценивает кандидатов по метрикам полезности и утечки
  • Оптимизирует по многокритериальной функции приспособленности

Ключевые классы:

  • PSM: Основной класс оптимизации
  • PromptCandidate: Представляет кандидатное решение с оценками
  • PSMConfig: Параметры конфигурации

2. Создание данных (src/defense/psm/psm_data_creation.py)

Обрабатывает:

  • Генерацию базовых валидационных входных данных
  • Сбор входных данных атак
  • Создание пар «запрос-ответ»

3. Метрики (src/metrics.py)

Метрики оценки:

  • ROUGE Recall: Измеряет утечку на основе пересечения токенов
  • LLM Judge: Бинарная оценка с использованием LLM в качестве судьи
  • Approximate Match: Обнаружение успеха на основе порога

4. Оценка (experiments/evaluate_defenses.py)

Комплексная среда оценки:

  • Поддерживает несколько стратегий защиты
  • Тестирует различные типы атак
  • Реализует кэширование результатов
  • Генерирует подробные отчёты

Стратегии защиты

  1. None: Без защиты (базовая линия)
  2. Baseline: Простое добавление инструкции (Liang et al., 2024)
  3. PSM: Минимизация чувствительности к промпту (данная работа)
  4. N-gram Filter: Фильтрует ответы, содержащие n-граммы промпта
  5. FAKE: Вставка приманки в промпт (Liang et al., 2024)

Типы атак

Поддерживаемые наборы данных атак:

  • raccon.json: Промпты атаки RACCON
  • liang.json: Шаблоны атак Liang et al.
  • zhang.json: Шаблоны атак Zhang et al.
  • ours.json: Пользовательские промпты атак
  • raccon_language.json: Языково-специфичные атаки RACCON

Конфигурация

Параметры конфигурации PSM

@dataclass
class RunPSMConfig:
    # Dataset
    dataset_name: str = "unnatural-test"
    
    # Sample sizes
    attack_samples: int = 50              # Attack inputs to use
    validation_samples: int = 10          # Baseline validation queries
    target_dataset_samples: int = 30      # System prompts to process
    
    # Model selection
    llm_target: str = "gpt-5-mini"       # Target model to protect
    llm_optimizer: str = "gpt-4o-mini"   # Model for shield generation
    llm_validation: str = "gpt-4o"       # Model for validation
    llm_judge: str = "gpt-4o-mini"       # Model for judging
    
    # Optimization parameters
    n_optimization_iterations: int = 10  # Max optimization iterations
    n_initial_shields: int = 5           # Initial shield population
    n_shields_per_step: int = 5          # New shields per iteration
    max_candidates_per_step: int = 10    # Max candidates to consider
    
    # Thresholds
    target_utility_threshold: float = 0.9    # Minimum utility score
    target_leakage_threshold: float = 0.65  # Maximum leakage score
    utility_penalty_weight: float = 100.0   # Weight for utility penalty
    
    # Leakage aggregation
    leakage_aggregation: str = "logsumexp"   # Aggregation method
    logsumexp_temperature: float = 10.0     # LogSumExp temperature
    top_k: int = 3                          # Top-k for top_k_mean

Методы агрегации утечек

  1. max: максимальная оценка утечки (негладкая)
  2. logsumexp: гладкая аппроксимация максимума (рекомендуется)
  3. top_k_mean: среднее по top-k худших оценок
  4. mean: простое среднее (наиболее гладкое)

Конфигурация эксперимента

Скачать инструмент

Популярное

Смотреть все →

Откройте для себя самые используемые инструменты нашего сообщества.

  • 1

    OsintHunter

    letox4/osinthunter

    🎯 Полный набор инструментов OSINT: граф расследования, оценка достоверности, семейства псевдонимов, карта, временная шкала и отчёты. 49 модулей, более 400 сайтов, API-ключи не требуются.

    668
  • 2

    ghostlock-app

    yukonga/ghostlock-app

    # Приложение GhostLock с запуском в один клик (CVE-2026-43499)

    496
  • 3

    ARTEX

    baarai/artex

    Платформа автономного тестирования на проникновение на основе мультиагентной LLM с агентами-планировщиками и агентами-исполнителями, графами активов и исследования, записью MITM-трафика и повторной проверкой уязвимостей.

    394
  • 4

    redforge

    cybersecurity91/redforge

    Браузерный инструментарий для red team с 102 офлайн-инструментами для разведки, генерации полезной нагрузки, атак на учётные данные, криптографии, кодирования и отчётности по проектам.

    339
  • 5

    CyberStrikeAI

    ed1s0nz/cyberstrikeai

    Система действий для кибербезопасности на базе ИИ — где намерение превращается в управляемое исполнение, доказательства становятся оперативной памятью, а каждая операция улучшает следующую.

    258
  • 6

    antifox

    antifox-ai/antifox

    Мультиагентная платформа автономного тестирования на проникновение на базе ИИ, которая выполняет разведку, обнаружение поверхности атаки, валидацию эксплуатации и подготовку отчётов с подтверждающими доказательствами.

    254

Изучить все инструменты

Просмотрите нашу коллекцию инструментов

Смотреть все инструменты →