Heretic: Полностью автоматическое удаление цензуры для языковых моделей

Heretic — это инструмент, который удаляет цензуру (также известную как «выравнивание безопасности») из трансформерных языковых моделей без дорогостоящего пост-обучения. Он сочетает в себе продвинутую реализацию направленного удаления (directional ablation), также известного как «abliteration» (Arditi et al. 2024, Lai 2025 (1, 2)), с оптимизатором параметров на основе TPE, работающим на базе Optuna.

Такой подход позволяет Heretic работать полностью автоматически. Heretic находит параметры аблитерации высокого качества, минимизируя одновременно количество отказов и KL-дивергенцию от исходной модели. В результате получается децензурированная модель, сохраняющая как можно больше интеллекта исходной модели. Использование Heretic не требует понимания внутреннего устройства трансформеров. По сути, любой, кто умеет запускать программы из командной строки, может использовать Heretic для децензурирования языковых моделей.

Heretic поддерживает большинство плотных моделей, включая многие мультимодальные модели, несколько различных архитектур MoE и даже некоторые гибридные модели, такие как Qwen3.5. Чистые модели на основе пространства состояний и некоторые другие исследовательские архитектуры пока не поддерживаются из коробки.

 

Запущенный без контроля с конфигурацией по умолчанию, Heretic способен создавать децензурированные модели, качество которых сопоставимо с аблитерациями, выполненными вручную экспертами-людьми:

Модель	Отказов на «вредные» промпты	KL-дивергенция от исходной модели на «безвредные» промпты
google/gemma-3-12b-it (оригинал)	97/100	0 (по определению)
mlabonne/gemma-3-12b-it-abliterated-v2	3/100	1.04
huihui-ai/gemma-3-12b-it-abliterated	3/100	0.45
p-e-w/gemma-3-12b-it-heretic (наш)	3/100	0.16

Версия Heretic, созданная без каких-либо усилий человека, достигает того же уровня подавления отказов, что и другие аблитерации, но с гораздо меньшей KL-дивергенцией, что указывает на меньший ущерб способностям исходной модели. (Вы можете воспроизвести эти числа, используя встроенную функцию оценки Heretic, например heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic. Обратите внимание, что точные значения могут зависеть от платформы и оборудования. Таблица выше была составлена с использованием PyTorch 2.8 на RTX 5090.)

Конечно, математические метрики и автоматические бенчмарки никогда не рассказывают всей истории и не заменяют человеческую оценку. Модели, созданные с помощью Heretic, получили положительные отзывы пользователей (ссылки и выделение добавлены):

«Я был скептиком, но только что скачал модель GPT-OSS 20B Heretic и, черт возьми. Она даёт правильно отформатированные длинные ответы на чувствительные темы, используя те самые нецензурированные слова, которые вы ожидаете от нецензурированной модели, создаёт таблицы в формате Markdown с деталями и прочее. Похоже, это лучшая аблитерированная версия этой модели на данный момент...» (Ссылка на комментарий)

«Heretic GPT 20b, похоже, лучшая нецензурированная модель, которую я пробовал. Она не разрушает интеллект модели и отвечает на промпты, которые обычно были бы отклонены базовой моделью.» (Ссылка на комментарий)

«[Qwen3-4B-Instruct-2507-heretic] — лучшая не квантованная аблитерированная модель, которую я смог запустить на 16 ГБ видеопамяти.» (Ссылка на комментарий)

Модели Heretic также были независимо протестированы с использованием стандартных метрик, таких как MMLU и GSM8K, и показали себя выгодно по сравнению с моделями, созданными с помощью конкурирующих инструментов аблитерации: 1, 2.

Сообщество создало и опубликовало далеко за 4000 моделей с помощью Heretic.

Использование

Подготовьте окружение Python 3.10+ с установленным PyTorch 2.2+ в соответствии с вашим оборудованием. Затем выполните:

pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507

Замените Qwen/Qwen3-4B-Instruct-2507 на ту модель, которую хотите децензурировать.

[!IMPORTANT]

Хотя PyTorch 2.2 — это минимальная версия PyTorch, необходимая для работы Heretic, некоторые модели и конфигурации могут требовать функций, доступных только в более поздних версиях. Например, загрузка моделей с квантованием MXFP4, таких как gpt-oss, использует torch.accelerator, который был добавлен в PyTorch 2.6.

[!TIP]

Heretic использует uv для управления зависимостями, и репозиторий включает файл uv.lock, фиксирующий версии всех пакетов. Если вы уже используете uv (а, вероятно, так и есть!), вы можете просто клонировать репозиторий и запускать Heretic с помощью uv run heretic, что гарантирует соответствие ваших зависимостей тем, что используются разработчиками, повышая надёжность и безопасность.

Процесс полностью автоматический и не требует настройки; однако Heretic имеет множество параметров конфигурации, которые можно изменить для большего контроля. Выполните heretic --help, чтобы увидеть доступные опции командной строки, или посмотрите на config.default.toml, если предпочитаете использовать конфигурационный файл.