刘强，2009年毕业于中国科学技术大学，有15年大数据与AI相关实践经验。出版过畅销书《推荐系统：算法、案例与大模型》和《构建企业级推荐系统：算法、工程实现与案例分析》，参与翻译《AI革命：人工智能如何为商业赋能》《认识AI：人工智能如何赋能商业（原书第2版）》《MongoDB性能调优实战》等书。目前担任杭州数卓信息技术有限公司CEO，公司业务方向为大模型推荐系统、大模型搜索、大模型知识库等，致力于帮助企业利用大模型技术实现降本、提效与精细化运营；兼任爱搭（AIda）高级技术顾问，与爱搭一同推动推荐系统及大模型技术在行业内落地应用。

详解大模型在推荐系统中应用的4 种范式。

4种范式的算法原理、应用案例与代码实现。

利用大模型解决电商推荐场景中的7类问题。

提供将大模型推荐系统更好应用于工业界的思路和方法。

读者群中获取本书参考资料，GitHub中下载全书代码。

为什么写作本书

我从2010 年开始研究、实践推荐系统，属于国内最早从事推荐系统工作的一批人。过去15 年，我有过至少4 次从零开始成功构建推荐系统的经历，曾经负责构建的推荐系统最高有超过千万日活跃用户数量（Daily Active User，DAU）。我出版过两本推荐系统相关图书，分别是《构建企业级推荐系统：算法、工程实现与案例分析》（2021.09）和《推荐系统：算法、案例与大模型》（2024.04）。过去十几年的经历让我见证了推荐系统技术的完整发展过程，我也一直跟随推荐系统的发展大势进行学习、实践。

2022 年11 月底ChatGPT 发布后，全世界掀起了新一轮的人工智能浪潮，以ChatGPT 为代表的大模型技术逐步渗透到各个应用场景和领域，当然也包括推荐系统。将大模型应用在推荐系统上的相关学术研究非常多，截至2024 年5 月，已有上百篇相关的研究论文发表。大模型在产业上的应用也逐步开始：阿里巴巴在淘宝上内测了淘宝问问—— 一个对话式推荐引擎；Meta在尝试利用大模型技术实现万亿级参数的新一代推荐系统；百度正在利用大模型重构底层的核心搜索、推荐模块……

ChatGPT 和大模型带来的影响是空前的，过去没有哪一项AI 技术对全球的冲击像ChatGPT和大模型这么大。我预见到ChatGPT 和大模型会革新推荐行业，因此在过去的一年多时间里，我阅读了上百篇大模型、大模型推荐系统相关的论文，并且跟行业专家进行了密切的交流。

另外，我从2023 年4 月开始创业，公司业务为B 端的数智化转型，主要方向是精细化运营、大模型搜索推荐、大模型智能知识顾问等。过去一年，我针对将大模型应用于推荐、搜索等话题与相关的企业进行交流并付诸实践。

结合过往的学习、交流、实践，我准备将自己掌握的大模型推荐系统的知识框架进行系统梳理，整理成一本系统介绍大模型推荐系统的图书，希望为推荐行业提供一套完整的、基于大模型的方法论和实践指南。

希望我的经验和经历可以帮助想学习大模型在推荐系统上应用的读者体系化了解并快速掌握大模型推荐系统。

读者对象

本书主要讲解大模型在推荐系统中的应用，既有算法原理，又有代码实现，聚焦于如何利用最新的大模型技术赋能、革新、重构现有的推荐系统。本书需要读者有一定的推荐系统基础知识，了解大模型的一些基本原理，本书适合以下读者。

1. 推荐系统开发人员及推荐算法研究人员。

2. 期望从事推荐系统相关工作的学生。

3. 在高校从事推荐算法研究，希望对大模型在推荐系统中的应用有全面了解的科研人员。

4. 对大模型在推荐、搜索中的应用感兴趣的产品和运营人员。

5. 期望将大模型引入推荐、搜索产品的公司管理层人员。

如何阅读本书

本书分为9 章，包含大模型基本原理介绍、将大模型应用于推荐系统的思路和方法、在电商推荐场景中使用大模型等。下面分别对各个章节进行简单介绍。

第1~3 章是准备部分。第1 章介绍大模型的基础知识，包括大模型的发展历史、数据资源、数据预处理、大模型预训练、大模型微调、大模型推理、大模型部署、相关软件和框架等，这一章是后续章节的理论基础，是为没有大模型基础的读者准备的。如果你已经非常熟悉大模型，那么可以略过这一章。第2 章对后续章节用到的数据和开发环境进行介绍，本书的代码实现基于微软的MIND 数据集和Amazon 电商数据集，开发环境包括Python 沙盒、CUDA 和MacBook。第3 章将大模型在推荐系统中的应用抽象为4 种范式——生成范式、预训练范式、微调范式、直接推荐范式。

第4~7 章展开说明第3 章介绍的4 种范式，每章既包含算法原理，又包含相关的案例说明，同时会基于MIND 数据集给出对应的代码实现。

第8 章是一个完整的实战案例，基于Amazon 商品评论数据，利用大模型解决电商推荐问题。本章讲解如何利用大模型来解决生成用户兴趣画像、生成个性化商品描述信息、猜你喜欢推荐、关联推荐、冷启动、推荐解释、对话式推荐7 类问题，针对每类问题都提供完整的步骤及对应的代码实现。其中，前6 类问题是大模型对传统推荐算法解决方案的有效补充和突破，有了大模型的支持，传统推荐算法有更新颖、更好的解决方案；而对话式推荐是基于传统推荐系统的一种新的推荐形态，借助大模型的自然语言对话能力，我们可以采用对话的方式为用户进行个性化推荐，在提升用户体验的同时，带来更高的商业价值。

第9 章为将大模型推荐系统更好地应用于工业界提供了一些思路和方法，包含大模型的高效预训练、高效推理，以及真实业务场景中的一些问题和建议。

本书是专门为方便读者快速上手大模型推荐系统而准备的。本书主要有三个特点：一是将大模型应用于推荐系统抽象为4 种范式，在这个统一的框架下，你可以体系化地学习大模型推荐系统；二是包含电商场景的最佳实践，针对每种问题，提供完整的利用大模型解决推荐问题的思路、步骤和方法；三是包含代码实战内容，第2~8 章都有完整的代码实现。本书所有的代码都可以从GitHub 的代码仓库中获取，读者也可以根据封底处提示，加入本书读者群，获取本书代码、链接及参考文献。

希望本书能够成为有志于利用大模型技术更好地赋能传统推荐、搜索系统的爱好者和从业者的方法论和落地实战指南！

01 基础知识 1
1．1 大模型相关资源 1
1．1．1 可用的模型及API 1
1．1．2 数据资源 3
1．1．3 软件资源 5
1．1．4 硬件资源 5
1．2 大模型预训练 5
1．2．1 数据收集与预处理 5
1．2．2 确定模型架构 7
1．2．3 确定目标函数及预训练 9
1．2．4 解码策略 10
1．3 大模型微调 13
1．3．1 微调原理 13
1．3．2 指令微调 14
1．3．3 对齐微调 17
1．4 大模型在线学习 21
1．4．1 提示词 21
1．4．2 上下文学习 23
1．4．3 思维链提示词 24
1．4．4 规划 26
1．5 大模型推理 27
1．5．1 高效推理技术 28
1．5．2 高效推理软件工具 29
1．6 总结 30
02 数据准备与开发环境准备 31
2．1 MIND数据集介绍 31
2．2 Amazon电商数据集介绍 34
2．3 开发环境准备 36
2．3．1 搭建CUDA开发环境 37
2．3．2 搭建MacBook 开发环境 40
2．4 总结 42
03 大模型推荐系统的数据来源、一般思路和4种范式 43
3．1 大模型推荐系统的数据来源 43
3．1．1 大模型相关的数据 44
3．1．2 新闻推荐系统相关的数据 44
3．1．3 将推荐数据编码为大模型可用数据 45
3．2 将大模型用于推荐的一般思路 46
3．3 将大模型应用于推荐的4种范式 46
3．3．1 基于大模型的生成范式 47
3．3．2 基于PLM的预训练范式 47
3．3．3 基于大模型的微调范式 48
3．3．4 基于大模型的直接推荐范式 49
3．4 总结 50
04 生成范式：大模型生成特征、训练数据与物品 51
4．1 大模型生成嵌入特征 51
4．1．1 嵌入的价值 51
4．1．2 嵌入方法介绍 52
4．2 大模型生成文本特征 57
4．2．1 生成文本特征 57
4．2．2 生成文本特征的其他方法 63
4．3 大模型生成训练数据 66
4．3．1 大模型直接生成表格类数据 66
4．3．2 大模型生成监督样本数据 67
4．4 大模型生成待推荐物品 69
4．4．1 为用户生成个性化新闻 69
4．4．2 生成个性化的视频 74
4．5 总结 77
05 预训练范式：通过大模型预训练进行推荐 78
5．1 预训练的一般思路和方法 78
5．1．1 预训练数据准备 78
5．1．2 大模型架构选择 79
5．1．3 大模型预训练 81
5．1．4 大模型推理（用于推荐） 82
5．2 案例讲解 84
5．2．1 基于PTUM架构的预训练推荐系统 84
5．2．2 基于P5的预训练推荐系统 86
5．3 基于MIND数据集的代码实战 91
5．3．1 预训练数据集准备 91
5．3．2 模型预训练 98
5．3．3 模型推理与验证 102
5．4 总结 104
06 微调范式：微调大模型进行个性化推荐 106
6．1 微调的方法 106
6．1．1 微调的价值 106
6．1．2 微调的步骤 107
6．1．3 微调的方法 111
6．1．4 微调的困难与挑战 113
6．2 案例讲解 114
6．2．1 TALLRec微调框架 114
6．2．2 GIRL：基于人类反馈的微调框架 117
6．3 基于MIND数据集实现微调 120
6．3．1 微调数据准备 120
6．3．2 模型微调 122
6．3．3 模型推断 130
6．4 总结 134
07 直接推荐范式：利用大模型的上下文学习进行推荐 135
7．1 上下文学习推荐基本原理 135
7．2 案例讲解 136
7．2．1 LLMRank实现案例 137
7．2．2 多任务实现案例 139
7．2．3 NIR实现案例 141
7．3 上下文学习推荐代码实现 142
7．3．1 数据准备 142
7．3．2 代码实现 145
7．4 总结 157
08 实战案例：大模型在电商推荐中的应用 158
8．1 大模型赋能电商推荐系统 158
8．2 新的交互式推荐范式 161
8．2．1 交互式智能体的架构 161
8．2．2 淘宝问问简介 162
8．3 大模型生成用户兴趣画像 164
8．3．1 基础原理与步骤介绍 164
8．3．2 数据预处理 165
8．3．3 代码实现 168
8．4 大模型生成个性化商品描述信息 178
8．4．1 基础原理与步骤介绍 178
8．4．2 数据预处理 179
8．4．3 代码实现 184
8．5 大模型应用于电商猜你喜欢推荐 196
8．5．1 数据预处理 196
8．5．2 模型微调 199
8．5．3 模型效果评估 205
8．6 大模型应用于电商关联推荐 209
8．6．1 数据预处理 209
8．6．2 多路召回实现 214
8．6．3 相似度排序实现 216
8．6．4 排序模型效果评估 219
8．7 大模型如何解决电商冷启动问题 221
8．7．1 数据准备 221
8．7．2 利用大模型生成冷启动商品的行为样本 226
8．7．3 利用大模型上下文学习能力推荐冷启动商品 228
8．7．4 模型微调 232
8．7．5 模型效果评估 232
8．8 利用大模型进行推荐解释，提升推荐说服力 237
8．8．1 数据准备 237
8．8．2 利用大模型上下文学习能力进行推荐解释 244
8．8．3 模型微调 248
8．8．4 模型效果评估 256
8．9 利用大模型进行对话式推荐 257
8．9．1 对话式大模型推荐系统的架构 257
8．9．2 数据准备 258
8．9．3 代码实现 260
8．9．4 对话式推荐案例 268
8．10 总结 269
09 工程实践：大模型落地真实业务场景 271
9．1 大模型推荐系统如何进行高效预训练和推理 271
9．1．1 模型高效训练 272
9．1．2 模型高效推理 273
9．1．3 模型服务部署 274
9．1．4 硬件选择建议 275
9．2 大模型落地企业级推荐系统的思考 275
9．2．1 如何将推荐算法嵌入大模型框架 275
9．2．2 大模型特性给落地推荐系统带来的挑战 276
9．2．3 大模型相关的技术人才匮乏 276
9．2．4 大模型推荐系统与传统推荐系统的关系 277
9．2．5 大模型推荐系统的投资回报率分析 277
9．2．6 大模型落地推荐场景的建议 277
9．3 总结 278
后记 279