Saffron-1: Масштабирование инференса для обеспечения безопасности LLM

📖 Статья

🛠️ Зависимости

Код был протестирован со следующими зависимостями:

• Python 3.12.3
• CUDA 12.2
• typing_extensions==4.14.0
• numpy==2.2.6
• torch==2.5.1
• huggingface_hub==0.30.2
• accelerate==1.1.1
• datasets==3.1.0
• evaluate==0.4.3
• transformers==4.45.2
• peft==0.15.0
• deepspeed==0.16.7

🚀 Использование

Смотрите saffron.py. Более подробные описания скоро появятся...

📊 Результаты