Heretic: полностью автоматическое удаление цензуры для языковых моделей

Heretic — это инструмент, который удаляет цензуру (также известную как «выравнивание безопасности») из языковых моделей на основе трансформеров без дорогостоящего дообучения. Он сочетает продвинутую реализацию направленной абляции, также известной как «абляция» (Arditi et al. 2024, Lai 2025 (1, 2)), с оптимизатором параметров на основе TPE, работающим на Optuna.

Этот подход позволяет Heretic работать полностью автоматически. Heretic находит высококачественные параметры абляции путём совместной минимизации числа отказов и KL-дивергенции от исходной модели. В результате получается расцензурированная модель, сохраняющая как можно больше интеллекта исходной модели. Использование Heretic не требует понимания внутреннего устройства трансформеров. Фактически, любой, кто умеет запускать программу командной строки, может использовать Heretic для расцензурирования языковых моделей.

Heretic поддерживает большинство плотных моделей, включая многие мультимодальные модели, несколько различных архитектур MoE и даже некоторые гибридные модели, такие как Qwen3.5. Чистые модели пространства состояний и некоторые другие исследовательские архитектуры пока не поддерживаются из коробки.

 

Работая без учителя с конфигурацией по умолчанию, Heretic может создавать расцензурированные модели, которые соперничают по качеству с абляциями, созданными вручную экспертами-людьми:

Модель	Отказы на «вредоносные» запросы	KL-дивергенция от исходной модели на «безвредных» запросах
google/gemma-3-12b-it (исходная)	97/100	0 (по определению)
mlabonne/gemma-3-12b-it-abliterated-v2	3/100	1.04
huihui-ai/gemma-3-12b-it-abliterated	3/100	0.45
p-e-w/gemma-3-12b-it-heretic (наша)	3/100	0.16

Версия Heretic, созданная без каких-либо усилий человека, достигает того же уровня подавления отказов, что и другие абляции, но при гораздо меньшей KL-дивергенции, что указывает на меньшее повреждение возможностей исходной модели. (Вы можете воспроизвести эти числа, используя встроенную функцию оценки Heretic, например heretic --model google/gemma-3-12b-it --evaluate-model p-e-w/gemma-3-12b-it-heretic. Учтите, что точные значения могут зависеть от платформы и оборудования. Приведённая выше таблица была составлена с использованием PyTorch 2.8 на RTX 5090.)

Конечно, математические метрики и автоматизированные бенчмарки никогда не рассказывают всей истории и не заменяют человеческую оценку. Модели, созданные с помощью Heretic, хорошо приняты пользователями (ссылки и выделение добавлены):

«Раньше я скептически относился, но я только что скачал GPT-OSS 20B Heretic и, чёрт возьми. Он даёт правильно отформатированные длинные ответы на деликатные темы, используя именно те нецензурированные слова, которые вы ожидаете от нецензурированной модели, создаёт таблицы в формате markdown с деталями и всем прочим. Похоже, это лучшая абляционная версия этой модели на данный момент...» (Ссылка на комментарий)

«Heretic GPT 20b кажется, лучшая нецензурированная модель, которую я пробовал. Она не разрушает интеллект модели и отвечает на запросы, которые обычно были бы отклонены базовой моделью.» (Ссылка на комментарий)

«[Qwen3-4B-Instruct-2507-heretic] была лучшей неквантованной абляционной моделью, которую я смог запустить на 16 ГБ VRAM.» (Ссылка на комментарий)

Модели Heretic также независимо оценивались с использованием стандартных метрик, таких как MMLU и GSM8K, и было обнаружено, что они выгодно отличаются от моделей, созданных конкурирующими инструментами абляции: 1, 2.

Сообщество создало и опубликовало более 5000 моделей с помощью Heretic.

Использование

Подготовьте окружение Python 3.10+ с установленным PyTorch 2.2+, подходящим для вашего оборудования. Затем выполните:

pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507

Замените Qwen/Qwen3-4B-Instruct-2507 на любую модель, которую вы хотите расцензурировать.

[!IMPORTANT]

Хотя PyTorch 2.2 — это минимальная версия PyTorch, необходимая для работы Heretic, некоторые модели и конфигурации могут требовать функций, доступных только в более поздних версиях. Например, загрузка моделей с квантованием MXFP4, таких как gpt-oss, использует torch.accelerator, который был добавлен в PyTorch 2.6.

[!TIP]

Heretic использует uv для управления зависимостями, и репозиторий включает файл uv.lock, фиксирующий версии всех пакетов. Если вы уже используете uv (а вам, вероятно, стоит!), вы можете просто клонировать репозиторий и запустить Heretic с помощью uv run heretic, что гарантирует соответствие ваших зависимостей тем, которые используют разработчики, повышая надёжность и безопасность.

Процесс полностью автоматический и не требует настройки; однако Heretic имеет множество параметров конфигурации, которые можно изменить для большего контроля. Запустите heretic --help, чтобы увидеть доступные параметры командной строки, или посмотрите config.default.toml, если предпочитаете использовать файл конфигурации.