Efficient fine-tuning对于将大型语言模型（LLMs）调整到下游任务中至关重要。然而要在不同模型上实现这些方法需要付出相当大的努力。LLaMA-Factory是一个统一的框架，集成了一套先进的高效训练方法。它允许用户通过内置的Web UI灵活定制100多个LLMs的微调，而无需编写代码。

• 多种精度：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。

• 先进算法：GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微调。

• 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。

unsetunsetLLaMA-Factory的起源unsetunset

大型语言模型（LLMs）展示了卓越的推理能力，并赋予了各种应用程序以动力，随后大量的LLMs通过开源社区开发并可供使用。例如，Hugging Face的开源LLM排行榜拥有超过5,000个模型，为希望利用LLMs强大功能的个人提供了便利。

使用有限资源对极大数量的参数进行微调成为将LLM调整到下游任务的主要挑战。一个流行的解决方案是高效微调它在适应各种任务时降低了LLMs的训练成本。然而社区提出了各种高效微调LLMs的方法，缺乏一个系统的框架来将这些方法适应和统一到不同的LLMs，并为用户提供友好的界面进行定制。

为解决上述问题，LLaMA-Factory是一个LLMs微调的框架。它通过可伸缩模块统一了各种高效微调方法，实现了使用最小资源和高吞吐量微调数百个LLMs。此外，它简化了常用的训练方法，包括生成式预训练、监督微调、基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）。用户可以利用命令行或Web界面定制和微调他们的LLMs，几乎不需要编写代码。

unsetunset高效微调技术unsetunset

高效LLM微调技术可以分为两大类：一类侧重于优化，另一类旨在计算。高效优化技术的主要目标是在保持成本最低的同时调整LLMs的参数。另一方面，高效计算方法旨在减少LLMs中所需计算的时间或空间。

高效优化

• 冻结微调方法涉及在微调少部分解码器层的同时冻结大部分参数。

• 梯度低秩投影将梯度投影到一个低维空间中，以一种内存高效的方式进行全参数学习。

• 低秩适应（LoRA）方法冻结所有预训练权重，并在指定的层引入一对可训练的低秩矩阵。

• 当与量化结合时，这种方法被称为QLoRA，它额外降低了内存使用。

高效计算

用的技术包括混合精度训练和激活检查点。通过对注意力层的输入输出（IO）开销进行检查，Flash Attention引入了一种硬件友好的方法来增强注意力计算。S2 Attention解决了在块稀疏注意力中扩展上下文的挑战，从而减少了在微调长上下文LLMs中的内存使用。各种量化策略通过使用更低精度的权重表示减少了大型语言模型（LLMs）的内存需求。

LLaMA-Factory有效地将这些技术结合到一个统一的结构中，大大提高了LLM微调的效率。这将导致内存占用从混合精度训练中的每个参数18字节，或者bfloat16训练中的每个参数8字节，减少到仅0.6字节每个参数。

unsetunsetLLaMA-Factory模块划分unsetunset

LLaMA-Factory由三个主要模块组成：模型加载器（Model Loader）、数据处理器（Data Worker）和训练器（Trainer）。

• 模型加载器准备了各种架构用于微调，支持超过100个LLMs。数据处理器通过一个设计良好的管道处理来自不同任务的数据，支持超过50个数据集。

• 训练器统一了高效微调方法，使这些模型适应不同的任务和数据集，提供了四种训练方法。

• LLaMA Board为上述模块提供了友好的可视化界面，使用户能够以无需编写代码的方式配置和启动单个LLM微调过程，并实时监控训练状态。

unsetunsetLLaMA-Factory微调对比unsetunset

比较了完全微调、冻结微调、GaLore、LoRA和4位QLoRA的结果。微调后，我们计算训练样本上的困惑度，以评估不同方法的效率。

我们观察到，QLoRA始终具有最低的内存占用，因为预训练权重采用了更低的精度表示。LoRA通过Unsloth在LoRA层中的优化，实现了更高的吞吐量。

Mistral-7B模型在英文数据集上表现更好，而Qwen1.5-7B模型在中文数据集上获得了更高的分数。这些结果表明，微调模型的性能也与它们在特定语言上的固有能力相关联。

（完）

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

自己也整理很多AI大模型资料：AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓