Broken Hill

Broken Hill — это доведённый до production-уровня, готовый к использованию автоматизированный инструмент для атак, который генерирует специально сформированные промпты для обхода ограничений в больших языковых моделях (LLM) с помощью атаки с использованием жадного координатного градиента (GCG), описанной в статье «Universal and Transferable Adversarial Attacks on Aligned Language Models» Энди Цзоу, Цзифань Вана, Николаса Карлини, Милада Насра, Дж. Зико Колтера и Мэтта Фредриксона.

Broken Hill может генерировать устойчивые промпты, которые успешно выполняют джейлбрейк LLM, сконфигурированных иначе, чем модель, использованная для генерации промптов. Например:

Та же модель, но с бо́льшим или меньшим количеством параметров
- например, промпты были сгенерированы с помощью версии Gemma с 2 миллиардами параметров, но применяются к реализации, основанной на версии Gemma с 7 миллиардами параметров.
Та же модель, но с весами, квантованными в другие типы
- например, промпты были сгенерированы с помощью версии Phi 3, в которой веса хранятся в формате FP16, но применяются к версии Phi 3 по умолчанию в ollama, в которой веса квантованы в 4-битный целочисленный формат q4_0.
Та же модель, но с другими настройками рандомизации
- например, нестандартная температура или случайное начальное значение (random seed).
Возможно, даже другая модель, отличная от той, которая использовалась для генерации промптов

BrokenHill

Популярное

Документация

Возможности

Запланировано в будущих релизах