VulnLLM-R

获得亚马逊、英伟达、阿里云等的应用。

👋 加入我们的微信群、NPU 用户群、大模型实验室群 或 LLaMA Factory Online 用户群。

[English | 中文 ]

微调大模型可以像这样轻松…

https://github.com/user-attachments/assets/43b700c6-a178-41db-b1f8-8190a5d3fcfc

选择你的打开方式：

• 入门教程：https://zhuanlan.zhihu.com/p/695287607
• 微调视频教程：https://www.bilibili.com/video/BV1djgRzxEts/
• 框架文档：https://llamafactory.readthedocs.io/zh-cn/latest/
• 框架文档（昇腾 NPU）：https://ascend.github.io/docs/sources/llamafactory/
• Colab（免费）：https://colab.research.google.com/drive/1d5KQtbemerlSDSxZIfAaWXhKr30QypiK?usp=sharing
• 本地机器：请见如何使用
• PAI-DSW（免费试用）：https://gallery.pai-ml.com/#/preview/deepLearning/nlp/llama_factory
• 九章智算云（算力优惠活动）：https://docs.alayanew.com/docs/documents/useGuide/LLaMAFactory/mutiple/?utm_source=LLaMA-Factory
• 官方课程：https://www.lab4ai.cn/course/detail?id=7c13e60f6137474eb40f6fd3983c0f46&utm_source=LLaMA-Factory
• LLaMA Factory Online（在线微调）：https://www.llamafactory.com.cn/?utm_source=LLaMA-Factory

[!NOTE] 除上述链接以外的其他网站均为未经许可的第三方网站，请小心甄别。

目录

• 项目特色
• 官方博客
• 更新日志
• 模型
• 训练方法
• 数据集
• 软硬件依赖
• 如何使用
  • 安装 LLaMA Factory
  • 数据准备
  • 快速开始
  • LLaMA Board 可视化微调
  • LLaMA Factory Online 在线微调
  • 构建 Docker
  • 利用 vLLM 部署 OpenAI API
  • 从魔搭社区下载
  • 从魔乐社区下载
  • 使用 W&B 面板
  • 使用 SwanLab 面板
• 使用了 LLaMA Factory 的项目
• 协议
• 引用
• 致谢

项目特色

• 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Qwen2-VL、DeepSeek、Yi、Gemma、ChatGLM、Phi 等等。
• 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练、ORPO 训练等等。
• 多种精度：16 比特全参数微调、冻结微调、LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8 比特 QLoRA 微调。
• 先进算法：GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA。
• 实用技巧：FlashAttention-2、Unsloth、Liger Kernel、RoPE scaling、NEFTune 和 rsLoRA。
• 广泛任务：多轮对话、工具调用、图像理解、视觉定位、视频识别和语音理解等等。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等等。
• 极速推理：基于 vLLM 或 SGLang 的 OpenAI 风格 API、浏览器界面和命令行接口。

最新模型的 Day-N 微调适配

适配时间	模型名称
Day 0	Qwen3 / Qwen2.5-VL / Gemma 3 / GLM-4.1V / InternLM 3 / MiniCPM-o-2.6
Day 1	Llama 3 / GLM-4 / Mistral Small / PaliGemma2 / Llama 4

官方博客