
Модификация языковых моделей без обучения: удаление цензуры, подавление slop, снижение сикофантства и многое другое
Удалите цензуру, подавите slop, снизьте угодничество и многое другое.
Всё за один день, на вашем игровом ПК.
Heretic — уникальный инструмент, который позволяет делать то, что обычно делают только корпорации с доступом к огромным вычислительным мощностям: модифицировать, а не просто запускать языковые модели. Он не выполняет дорогостоящее обучение; вместо этого он использует набор математических методов для управления поведением на основе контрастных примеров промптов и соответствующих скореров.
Heretic может, в зависимости от конфигурации:
config.noslop.toml)config.nohumor.toml)config.nosyco.toml)config.emotions.toml)config.terse.toml)и многое-многое другое.
На самом деле, вы можете пройти путь от нуля до удаления цензуры из вашей первой модели за считанные секунды. Heretic поддерживает большинство плотных моделей, включая многие мультимодальные модели, несколько различных архитектур MoE и многие современные гибридные модели.
Сообщество создало и опубликовало тысячи моделей с помощью Heretic. Модели Heretic были независимо протестированы с использованием стандартных метрик, таких как MMLU и GSM8K, и было обнаружено, что они выгодно отличаются от моделей, созданных с помощью конкурирующих инструментов аблятерации.23
Подготовьте окружение Python 3.10+ с установленным PyTorch 2.6+, подходящим для вашего оборудования. Затем выполните:
pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507
Замените Qwen/Qwen3-4B-Instruct-2507 на любую модель, которую вы хотите обработать.
По умолчанию Heretic выполняет удаление цензуры (подавление отказов).
Если вы хотите сделать что-то другое, выберите один из файлов конфигурации, ссылки на которые приведены
выше, или напишите свой собственный. См. config.default.toml
для доступных параметров конфигурации. По умолчанию Heretic загружает конфигурацию из
config.toml в рабочем каталоге или из пути к файлу, указанному в
переменной окружения HERETIC_CONFIG_FILE.
[!IMPORTANT]
Файлы конфигурации, созданные для Heretic 1.x, не совместимы с Heretic 2.x! См. руководство по миграции, чтобы узнать, что нужно изменить, чтобы ваши старые конфигурации заработали.
В начале запуска программы Heretic выполняет бенчмаркинг системы, чтобы определить оптимальный размер пакета для наиболее эффективного использования доступного оборудования. На RTX 3090 с конфигурацией по умолчанию обработка Qwen3-4B-Instruct-2507 занимает около 30-40 минут.
После того как Heretic завершит обработку модели, вам будет предложено сохранить модель, загрузить её на Hugging Face, пообщаться с ней, чтобы проверить, насколько хорошо она работает, запустить на ней стандартные бенчмарки или любую комбинацию этих действий.
Heretic управляет поведением модели путём оптимизации одной или нескольких оценок. Оценки вычисляются плагинами-скорителями. Вы можете легко написать собственные скоризеры, чтобы получить полный контроль над тем, что Heretic делает с моделями.
Интерфейс Scorer (абстрактный базовый класс), от которого должен наследоваться ваш скоризер,
определён в scorer.py. Единственный обязательный метод —
get_score, но при необходимости доступно больше механизмов (например, управление настройками).
По умолчанию Heretic оценивает модели по частоте отказов (реализовано в
keyword_rate.py) и KL-дивергенции
(реализовано в kl_divergence.py).
Дополнительные скоризеры доступны в каталоге scorers.
Эти скоризеры могут служить примерами для ваших собственных реализаций и легко
адаптируются под ваши нужды.
Скоризеры настраиваются через главный файл конфигурации.
Какие плагины-скоризеры активны, определяется настройкой scorers, которая
также управляет тем, должна ли оценка скоризера минимизироваться или максимизироваться во время
оптимизации. Любое количество скоризеров может использоваться одновременно, и их оценки
будут совместно оптимизироваться. Можно настроить несколько экземпляров одного и того же скоризера
с разными настройками. Полную документацию по этому механизму см. в файле конфигурации.
Heretic поддерживает 4-битную квантование модели на лету с помощью bitsandbytes,
что может снизить объём VRAM, необходимый для обработки модели, до того же объёма,
который используется для запуска типичной квантованной версии, при небольшой потере точности.
Установите параметр quantization в значение bnb_4bit, чтобы включить это. ↩
Qwen2.5-7B: Three-Way Abliteration Comparison: "Heretic is the most surgical and most effective." ↩
Gemma 4 E4B: 23 Abliteration Variants Compared: "Best overall: heretic." ↩