大致了解大模型微调

简单来说大模型微调就是在已经训练过的基准模型（或者想再增量预训练后的）上进行二次加工，使它能够满足更定制化的要求。

文章一：两条轴框架（johng.cn）

原文链接：johng.cn/ai/fine-tuning

在这篇文章中，微调被拆成了两条轴，一条是训练量的多少，另一条是训练的目标，他们共同组成了一张二维表，展现了最后模型的状态。

横轴：训练量的多少

横轴根据训练量的多少，在这篇文章介绍划分为全量微调，PEFT（下划为LoRA（QLoRA））。

• 全量就是全部都动，而PEFT就是省点钱，冻结大部分，只动少部分。

这时要考虑灾难性遗忘，即忘掉之前训练过的内容。

纵轴：训练的目标

纵轴根据训练的目标，在此篇文章划分为 SFT，RFT，RLHF 三个。

• SFT一般用于那些有标准答案的场景，学要遵循的指令和回答格式。
• 而局限就在于很多东西没有标准答案，只能判断优先级，好坏，那就有了RFT。
• 而此时如果想人为排序的话，就来到了RLHF，用真实的，人的判断来训练一个奖励模型去优化大模型。

要考虑到大模型为了得高分而绕规则。

文章二：七种微调方法（知乎）

原文链接：zhuanlan.zhihu.com/p/1967283473199916166

在此篇文章则更深入地谈了横轴的参数量。

横轴的参数量（方法一览）

• LoRA相当于是贴了张膜，通过增量，更改了权重本身。
• QLoRA则是用量化的方法有损压缩了一些数据，后面跟LoRA一样了。
• Adapter Tuning 不改变基准模型本身的权重，而是在外面挂了一个新的模块，有专业性。
• Prefix Tuning，在前面加前缀，即上下文。
• Prompt Tuning 在前面加提示内容，类似于提示词吧。
• 上面俩都是静态的，下面这俩是动态的提示。
• P-Tuning，动态提示。
• P-Tuning v2，多层插入静态提示

自监督和有监督

自监督就是给全文，遮后文，自行校对更改权重

有监督就是人给格式，SFT那种咯

和ds的问答

https://chat.deepseek.com/share/5fk93di6yh9i5thuz2

凝气期收尾

下面是合成的八篇带读笔记，非常有用