《这就是ChatGPT》

斯蒂芬.沃尔弗拉姆（Stephen Wolfram）

计算机科学家、数学家和理论物理学家，当今科学和技术领域重要的革新者之一。他创造了在世界备受推崇的软件系统——Mathematica、Wolfram|Alpha和Wolfram语言。35年来，他一直担任科技公司Wolfram Research的首席执行官，并取得了基础科学领域的一系列突破性进展，包括最近的Wolfram物理项目（Physics Project）。著有热销书《一种新科学》《这就是ChatGPT》《计算探索者之旅》《创想者》等。

《GPT图解 大模型是怎样构建的》

黄佳，笔名咖哥，新加坡科技研究局人工智能研究员。主攻方向为 NLP 大模型的研发与应用、持续学习、AI in FinTech。黄佳深耕人工智能领域多年，积累了丰富的科研项目和政府、银行、能源、医疗等领域 AI 项目落地实战经验，目前正与 PlatoX.AI 展开富有前景的技术合作。曾著有《零基础学机器学习》《数据分析咖哥十话》等多部热销书。同时，在极客时间开设专栏《零基础实战机器学习》《LangChain 实战课》，在深蓝学院开设视频课程“生成式预训练语言模型：理论与实战”。

《这就是ChatGPT》

1.揭开AI聊天机器人的神秘面纱：计算科学家斯蒂芬·沃尔弗拉姆亲笔撰写，为读者揭示OpenAI开发的人工智能聊天机器人程序ChatGPT的内部机制。

2.从原理到应用，探索人工智能的边界：探讨ChatGPT如何以令人惊叹的方式生成具有意义的文本。通过深入了解其先进的神经网络技术，读者将对聊天机器人和人类思维之间的关系有更深刻的认识。

3.专家赞誉不断，ChatGPT原理best解释：OpenAI CEO、ChatGPT之父Sam Altman，世界AI学者Rodney Brooks都对本书表示赞赏，认为本书是对ChatGPT原理的解释非常出色，值得阅读学习。

4.深入浅出，生动表达科技原理：作者Stephen Wolfram不仅是一位杰出的科学家，还擅长将技术原理生动地表达出来。他的独到见解使得本书易于理解，即使对于非专业人士也能轻松阅读。

5.揭示聊天机器人的底层原理与界限：讲述ChatGPT底层的工作原理和谜团，为读者揭示了为何语言模型如此强大，以及它们的底线在哪里。

6.通用人工智能（AGI）时代的实用指南：ChatGPT的推出标志着通用人工智能时代的来临。本书从基本原理出发，以通俗易懂的方式介绍了与ChatGPT相关的技术，为读者提供了更深入的认识和了解。

《GPT图解 大模型是怎样构建的》

1、结构清晰，全面解读N-Gram至GPT-4等突破性技术，带读者轻松读懂NLP发展脉络，掌握AI核心，开启未来之旅！

2、书中含有多个插图及结构图，以生动的笔触、缤纷的图画，让技术细节变得轻松愉快，让读者能够轻松读懂知识，有趣，又有料！

3、配有丰富学习资料，提供源代码，带读者动手实操，搭建大模型，成为语言模型构建达人。

《这就是ChatGPT》

第一篇

ChatGPT 在做什么？它为何能做到这些？　　/ 1

它只是一次添加一个词　　/ 3

概率从何而来　　/ 10

什么是模型　　/ 16

类人任务（human-like task）的模型　　/ 19

神经网络　　/ 22

机器学习和神经网络的训练　　/ 35

神经网络训练的实践和学问　　/ 42

“足够大的神经网络当然无所不能！”　　/ 51

“嵌入”的概念　　/ 56

ChatGPT 的内部原理　　/ 64

ChatGPT 的训练　　/ 75

在基础训练之外　　/ 79

真正让ChatGPT 发挥作用的是什么　　/ 82

意义空间和语义运动定律　　/ 89

语义语法和计算语言的力量　　/ 96

那么，ChatGPT 到底在做什么？它为什么能做到这些？　　/ 102

致谢　　/ 105

第二篇

利用Wolfram|Alpha 为ChatGPT 赋予计算知识超能力 　　/ 107

ChatGPT 和Wolfram|Alpha　　/ 109

一个简单的例子　　/ 111

再举几个例子　　/ 115

前方的路　　/ 129

相关资源　　/ 134

《GPT图解 大模型是怎样构建的》

序章　看似寻常最奇崛，成如容易却艰辛　001

GPT-4：点亮人工通用智能的火花　002

人工智能演进之路：神经网络两落三起　004

现代自然语言处理：从规则到统计　007

何为语言？信息又如何传播？　008

NLP是人类和计算机沟通的桥梁　009

NLP技术的演进史　010

大规模预训练语言模型：BERT与GPT争锋　012

语言模型的诞生和进化　012

统计语言模型的发展历程　014

基于Transformer架构的预训练模型　016

“预训练+微调大模型”的模式　018

以提示/指令模式直接使用大模型　019

从初代GPT到ChatGPT，再到GPT-4　021

GPT作为生成式模型的天然优势　022

ChatGPT背后的推手——OpenAI　023

从初代GPT到ChatGPT，再到GPT-4的进化史　024

第 1课　高楼万丈平地起：语言模型的雏形N-Gram和简单文本表示Bag-of-Words　026

1.1　N-Gram模型　026

1.2　“词”是什么，如何“分词”　030

1.3　创建一个Bigram字符预测模型　032

1.4　词袋模型　036

1.5　用词袋模型计算文本相似度　037

小结　042

思考　043

第 2课　问君文本何所似： 词的向量表示Word2Vec和Embedding　044

2.1　词向量 ≈ 词嵌入　045

2.2　Word2Vec：CBOW模型和Skip-Gram模型　047

2.3　Skip-Gram模型的代码实现　050

2.4　CBOW模型的代码实现　061

2.5　通过nn.Embedding来实现词嵌入　063

小结　067

思考　068

第3课　山重水复疑无路：神经概率语言模型和循环神经网络　069

3.1　NPLM的起源　070

3.2　NPLM的实现　072

3.3　循环神经网络的结构　079

3.4　循环神经网络实战　082

小结　086

思考　087

第4课　柳暗花明又一村：Seq2Seq编码器-解码器架构　088

4.1　Seq2Seq架构　089

4.2　构建简单Seq2Seq架构　092

小结　103

思考　103

第5课　见微知著开慧眼：引入注意力机制　104

5.1　点积注意力　105

5.2　缩放点积注意力　114

5.3　编码器-解码器注意力　116

5.4　注意力机制中的Q、K、V　122

5.5　自注意力　125

5.6　多头自注意力　126

5.7　注意力掩码　129

5.8　其他类型的注意力　131

小结　132

思考　132

第6课　　层峦叠翠上青天：搭建GPT核心组件Transformer　133

6.1　Transformer架构剖析　133

6.1.1　编码器-解码器架构　135

6.1.2　各种注意力的应用　135

6.1.3　编码器的输入和位置编码　140

6.1.4　编码器的内部结构　141

6.1.5　编码器的输出和编码器-解码器的连接　142

6.1.6　解码器的输入和位置编码　143

6.1.7　解码器的内部结构　145

6.1.8　解码器的输出和Transformer的输出头　146

6.2　Transformer代码实现　148

6.3　完成翻译任务　176

6.3.1　数据准备　177

6.3.2　训练Transformer模型　179

6.3.3　测试Transformer模型　179

小结　181

思考　182

第7课　芳林新叶催陈叶：训练出你的简版生成式GPT　183

7.1　BERT与GPT争锋　184

7.2　GPT：生成式自回归模型　188

7.3　构建GPT模型并完成文本生成任务　191

7.3.1　搭建GPT模型（解码器）　　　　192

7.3.2　构建文本生成任务的数据集　　　　195

7.3.3　训练过程中的自回归　　　　198

7.3.4　文本生成中的自回归（贪婪搜索）　　　　200

7.4　使用WikiText2数据集训练Wiki-GPT模型　201

7.4.1　用WikiText2构建Dataset和DataLoader　　　　202

7.4.2　用DataLoader提供的数据进行训练　　　　206

7.4.3　用Evaluation Dataset评估训练过程　　　　207

7.4.4　文本生成中的自回归（集束搜索）　　　　209

小结　212

思考　213

第8课　流水后波推前波：ChatGPT基于人类反馈的强化学习　214

8.1　从GPT到ChatGPT　215

8.2　在Wiki-GPT基础上训练自己的简版ChatGPT　218

8.3　用Hugging Face预训练GPT微调ChatGPT　225

8.4　ChatGPT的RLHF实战　233

8.4.1　强化学习基础知识　　　　235

8.4.2　简单RLHF实战　　　　237

小结　243

思考　244

第9课　生生不息的循环：使用强大的GPT-4 API　245

9.1　强大的OpenAI API　245

9.2　使用GPT-4 API　249

小结　251

思考　252

后　记　莫等闲，白了少年头　253