大模型安全总览（AI 自身安全）
整理自微信公众号转载《重生之我在修仙世界学AI安全》PART1 / PART3。原始素材：笔记本原文
定义
大模型安全（文章称”AI 自身安全”） = 把 AI 当成”靶子”，研究 AI 模型和应用本身有哪些安全漏洞，并保护它。典型问题：提示词注入、对抗样本、模型窃取等。
一句话区分：大模型安全是”保 AI 的安全”；另一分支 AI 赋能安全 是”让 AI 帮我们做安全”。
威胁矩阵：四大风险领域
文章把 AI 系统的攻击面归纳为四大类（可理解为 AI 安全领域的”ATT&CK 框架”）：
| 风险领域 | 关注什么 | 典型风险 |
|---|---|---|
| 软件系统风险 | 跑模型的”底子” | pickle 反序列化 RCE、框架漏洞、供应链攻击、硬件侧信道 |
| 模型内生风险 | 模型本身的”脑子” | 提示词注入、越狱、对抗样本、模型后门 |
| 数据安全风险 | 训练 / 推理数据 | 训练数据重现、成员推断、存储不当 |
| 内容与滥用风险 | AI 被拿去干坏事 | 深度伪造、恶意滥用、API 滥用、水印缺失 |
学习路线建议
文章建议从 OWASP Top 10 for LLM 入手——这是专门针对大语言模型应用的十大核心风险，相当于 AI 自身安全的”入门地图”。几个常见方向：
- 提示词注入：把恶意指令藏进用户输入，让模型执行不该执行的操作 —— 最基础、入门门槛最低。
- 越狱攻击：通过角色扮演 / 编码混淆等绕过安全对齐，让模型回答本应拒绝的问题（注入的”高阶版”）。
- 数据 / 模型投毒：在训练数据或知识库里注入恶意样本，特定条件下触发错误 / 恶意输出（RAG 时代门槛更低）。
- 对抗样本：对输入加人眼不可察的微小扰动，让模型完全误判（物理世界也能生效）。
- 供应链安全：从硬件、框架、数据集到部署，任一环被污染都会从内部瓦解防线。
- 以模治模（防御）：用 AI 做防御，对抗层出不穷的攻击。
我现在学到哪
目前主要跟这篇文章的 PART3 过一遍大模型安全的几个核心方向，属于”知道有哪些、原理大概懂”的阶段，还没动手实践。后续会把每个方向拆成独立概念页。
来源
- 原始文章（转载）：/notebooks/ai-security/大模型安全–《重生之我在修仙世界学AI安全》/
- 转载来源：微信公众号（青鸾sec）
- 文中延伸：OWASP Top 10 for LLM、AI Sec Matrix（aisecmatrix.org）