📕 配套速览手册：下面这份 5 页 PDF 是从本篇笔记提炼的速览版，点「展开」即可直接翻页阅读（支持缩放、缩略图跳页、全屏、键盘 ← →、手机左右滑动）。想看细节再往下读正文。
依旧，原笔迹丢给ai整理，下方是ai生成的导读
来源：https://zhuanlan.zhihu.com/p/642923989
看这篇文章云里雾里，于是丢给 AI 生成了个前置知识点了解，在里面用比喻的方式大概了解了里面的术语。
首先文章用 Transformer 模型引出了自注意力机制、编码器、解码器。
一、LLM 的三种架构
1. 编码器（Encoder-only）
- 擅长：对文本内容分析、分类、总结、判断（看完原理之后就能理解了）
- 代表：BERT
- 原理：全读，将一大段文字全部理解
- 训练方式：挖空，根据上下文推出空缺句
2. 前置知识点（了解到的有）
嵌入
模型接受文字，会先切成小块，即 token，然后通过模型内部的字典，替换成编号，最后变成一长串数，作为向量，此过程叫嵌入。
- 作用：意思相近的词，点挨得近。计算机靠它区分字词意思。当然，字典是需要训练的。
注意力
Q（Query，查询）K（Key，键）V（Value，值）
拿 Q 和每个字的 K 比对，算出相关度，变成加和为 100 的百分比（softmax 过程），然后把所有字的 V 混合起来，得到新表示。
这个时候就会有自注意力和交叉注意力。
自回归
把自己刚才的输出，当成下一步的输入。
3. 解码器（Decoder-only）
- 擅长：推理，因果推断
- 代表：主流模型都是这样，因为训练方式和使用方式相一致，减少了额外的训练成本
- 原理：一个一个往后生成，利用自注意力机制，每一次 token 生成都包含其”左边”的内容
- 训练方式：使用掩码，遮住后面，然后再对比结果
解编码器差别就是有无掩码，有无自回归。
4. Encoder-Decoder 混合
- 擅长：强输入型输出工具，需要很完备的输入提供材料，然后再输出
二、Decoder 中的细化
这里介绍了 Decode 中的细化。
1. 稠密型模型（Dense）
让每个参数都被激活，计算复杂度与参数数量呈线性关系。
优缺点大致介绍
- 优点：稳定，可预测，训练方法成熟，泛化能力强
- 缺点：过于全面，训练成本高
- 未来可能会与稀疏模型混合进行平衡
2. 混合专家模型（MoE）
只激活部分参数，有一个总开关，路由器决定分配给哪些专家处理。可以拥有比 Dense 多很多的参数（不是很理解）。
- 优点：训练效率高，推理速度快
- 缺点：内存需求大（所有专家加载到内存中）（不是很理解）；路由造成的稳定性较差，时长延误
3. 其他提到的架构
下面的后面再具体了解
状态空间模型（State Space Models, SSM）
有一个选择性机制，动态决定保留or忽略输入的信息，用状态递推替代全局注意力
递归神经网络及其变体（RNN and Variants）
保留网络（Retentive Network, RetNet）
这俩差不多，RetNet是RNN的现代版，且他们与SSM差不多都是非全局注意力
多模态大模型架构（Multimodal LLM Architectures）
这个了解哈哈哈，让模型同时吃各种格式的文件，并且相互理解。其中还是非常复杂的，以后再了解吧