《图解DeepSeek技术》
译者序
前言
第 1 章 测试时计算
1.1 什么是推理大模型 1
1.2 什么是训练时计算 3
1.3 什么是测试时计算 7
1.3.1 缩放定律 10
1.3.2 测试时计算的分类 12
1.4 基于验证器的搜索 16
1.4.1 多数投票法 17
1.4.2 Best-of-N 采样 17
1.4.3 基于过程奖励模型的束搜索 20
1.4.4 蒙特卡洛树搜索 21
1.5 调整提议分布 24
1.5.1 提示工程 25
1.5.2 STaR 方法 26
1.6 小结 28
1.7 延伸阅读 29
第 2 章 架构设计 31
2.1 稠密层 31
2.2 MoE 层 34
2.2.1 专家机制 35
2.2.2 路由机制 40
2.2.3 DeepSeekMoE 44
2.3 小结 50
第 3 章 DeepSeek-R1 训练方案 51
3.1 回顾：大模型的训练原理 51
3.2 DeepSeek-R1-Zero 的推理能力 55
3.2.1 示例：推理问题的自动验证 57
3.2.2 DeepSeek-R1-Zero 的完整训练过程 62
3.3 DeepSeek-V3 的效率优化策略 64
3.3.1 多头潜在注意力机制 64
3.3.2 混合精度训练 66
3.3.3 多词元预测 70
3.4 构建 DeepSeek-R1 72
3.5 通过 DeepSeek-R1 蒸馏推理能力 77
3.6 未成功的尝试 78
3.7 基于 GRPO 的强化学习 78
3.7.1 奖励值与优势值 79
3.7.2 KL 散度惩罚项 83
3.7.3 GRPO 目标函数 85
3.7.4 GRPO 算法 86
3.7.5 GRPO 参考实现 87
3.8 小结 87
附录 DeepSeek 开源周 89
《图解大模型：生成式AI原理与实战（全彩）》
对本书的赞誉 xi
对本书中文版的赞誉 xiii
译者序 xv
中文版序 xxi
前言 xxiii
第 一部分 理解语言模型
第 1章 大语言模型简介 3
1.1 什么是语言人工智能 4
1.2 语言人工智能的近期发展史 4
1.2.1 将语言表示为词袋模型 5
1.2.2 用稠密向量嵌入获得更好的表示 7
1.2.3 嵌入的类型 9
1.2.4 使用注意力机制编解码上下文 10
1.2.5 “Attention Is All You Need” 13
1.2.6 表示模型：仅编码器模型 16
1.2.7 生成模型：仅解码器模型 18
1.2.8 生成式AI元年 20
1.3 “LLM”定义的演变 22
1.4 LLM的训练范式 22
1.5 LLM的应用 23
1.6 开发和使用负责任的LLM 24
1.7 有限的资源就够了 25
1.8 与LLM交互 25
1.8.1 专有模型 26
1.8.2 开源模型 26
1.8.3 开源框架 27
1.9 生成你的第 一段文本 28
1.10 小结 30
第 2章 词元和嵌入 31
2.1 LLM的分词 32
2.1.1 分词器如何处理语言模型的输入 32
2.1.2 下载和运行LLM 33
2.1.3 分词器如何分解文本 36
2.1.4 词级、子词级、字符级与字节级分词 37
2.1.5 比较训练好的LLM分词器 39
2.1.6 分词器属性 47
2.2 词元嵌入 48
2.2.1 语言模型为其分词器的词表保存嵌入 49
2.2.2 使用语言模型创建与上下文相关的词嵌入 49
2.3 文本嵌入（用于句子和整篇文档） 52
2.4 LLM之外的词嵌入 53
2.4.1 使用预训练词嵌入 53
2.4.2 word2vec算法与对比训练 54
2.5 推荐系统中的嵌入 57
2.5.1 基于嵌入的歌曲推荐 57
2.5.2 训练歌曲嵌入模型 58
2.6 小结 60
第3章 LLM的内部机制 61
3.1 Transformer模型概述 62
3.2 Transformer架构的最新改进 79
3.3 小结 87
第二部分 使用预训练语言模型
第4章 文本分类 91
4.1 电影评论的情感分析 92
4.2 使用表示模型进行文本分类 93
4.3 模型选择 94
4.4 使用特定任务模型 96
4.5 利用嵌入向量的分类任务 99
4.6 使用生成模型进行文本分类 105
4.7 小结 113
第5章 文本聚类和主题建模 114
5.1 ArXiv文章：计算与语言 115
5.2 文本聚类的通用流程 116
5.3 从文本聚类到主题建模 122
5.4 小结 138
第6章 提示工程 140
6.1 使用文本生成模型 140
6.2 提示工程简介 145
6.3 高级提示工程 149
6.4 使用生成模型进行推理 155
6.5 输出验证 161
6.6 小结 167
第7章 高级文本生成技术与工具 168
7.1 模型输入/输出：基于LangChain加载量化模型 169
7.2 链：扩展LLM的能力 171
7.3 记忆：构建LLM的对话回溯能力 177
7.4 智能体：构建LLM系统 185
7.5 小结 190
第8章 语义搜索与RAG 191
8.1 语义搜索与RAG技术全景 191
8.2 语言模型驱动的语义搜索实践 193
8.3 RAG 211
8.4 小结 218
第9章 多模态LLM 219
9.1 视觉Transformer 220
9.2 多模态嵌入模型 222
9.3 让文本生成模型具备多模态能力 231
9.4 小结 242
第三部分 训练和微调语言模型
第 10章 构建文本嵌入模型 247
10.1 嵌入模型 247
10.2 什么是对比学习 249
10.3 SBERT 251
10.4 构建嵌入模型 253
10.5 微调嵌入模型 265
10.6 无监督学习 271
10.7 小结 276
第 11章 为分类任务微调表示模型 277
11.1 监督分类 277
11.2 少样本分类 286
11.3 基于掩码语言建模的继续预训练 292
11.4 命名实体识别 297
11.5 小结 305
第 12章 微调生成模型 306
12.1 LLM训练三步走：预训练、监督微调和偏好调优 306
12.2 监督微调 308
12.3 使用QLoRA进行指令微调 317
12.4 评估生成模型 322
12.5 偏好调优、对齐 326
12.6 使用奖励模型实现偏好评估自动化 327
12.7 使用DPO进行偏好调优 333
12.8 小结 337
附录 图解DeepSeek-R1 338
后记 349
