LoRA、QLoRA微调与Lama Factory

1.什么是LoRA（Low-Rank Adaptation）
LoRA（Low-Rank Adaptation，低秩自适应）是一种高效的大模型微调技术，通过引入低秩矩阵来减少微调时的参数量，在预训练的模型中LoRA通过添加两个小矩阵A和B来，近似原始大矩阵ΔW，从而减少需要更新的参数数量。

具体来说：LoRA通过将全参微调的增量参数矩阵ΔW表示维两个参数量更小的矩阵A和B的低秩矩阵近似实现：W+ΔW=W+B*A，其中B和A的秩远远小于原始矩阵的秩，从而大大减少了需要更新的参数数量。

LoRA专为减少计算和内存开销而设计，广泛应用于自然语言处理（如GPT、LLaMA等大模型）和其他领域的迁移学习。

2.LoRA的核心思想
预训练模型中存在一个极小的内在维度，这个内在维度是发挥核心作用的地方。在继续训练的过程中，权重的更新依然也有如此特点，即也存在一个内在维度(内在秩)

权重更新:W=W+^W

因此，可以通过矩阵分解的方式，将原本要更新的大的矩阵变为两个小的矩阵

权重更新:W=W+ ^W=W+ BA

具体做法，即在矩阵计算中增加一个旁系分支，旁系分支由两个低秩矩阵A和B组成

3.LoRA的原理
在训练时，输入的内容分别与 原始权重 和两个低秩矩阵进行计算，共同得到最终结果，优化时则仅优化两个低秩矩阵，训练完成后，可以将两个低秩矩阵与原始模型中的权重进行合并，合并后的模型与原始模型无差异。