魏新宇，微软全球黑带AI技术专家。曾任英伟达资深解决方案架构师、红帽首席解决方案架构师( RHCA Level5)。畅销书作者，著有《OpenShift
在企业中的实战: PaaS DevOps微服务》《云原生应用构建:基于OpenShift》《 金融级IT架构与运维》等书。

白雪冰，微软(中国)有限公司高级架构师。曾任IBM中国软件开发中心(CSDL)架构师。目前主要从事基于语音识别、计算机视觉、自然语言处理、智能搜索以及OpenAI和其他大语言模型等技术,构建.企业级解决方案的工作。


周博洋，微软(中国)有限公司高级架构师。曾任Juniper、Cisco系统架构师;主要研究生成式AI算法及训|练和推理方法的优化。负责Azure OpenAI业务的推广，同时负责Azure Machine Learning和GPU业务在国内的解决方案整合工作，拥有扎实的全栈技术能力，对Al Infrastructure和AI算法优化有独到的见解。

微软中国区总裁 原欣
红帽全球副总裁兼大中华区总裁 曹衡康
微软中国区首席技术官 韦青
NVIDIA电信行业总监 贾楠
联袂推荐

前言


在人工智能和机器学习领域，语言模型（Language Model）正以前所未有的速度推进AI发展，扩大AI应用的边界。尤其是大语言模型（Large Language Model，LLM）这一细分领域，在理论研究与应用实践方面发展迅猛，对通用人工智能（Artificial General Intelligence，AGI）的实现和应用起到了巨大的推动作用。基于大语言模型的应用开发是当前AI应用开发最为热门的领域之一。
为了系统地将大语言模型的理论研究成果和应用开发经验分享给广大开发者，来自微软公司，拥有深厚的云计算和AI技术背景，并且在开发及运用OpenAI等先进AI系统方面具备丰富经验的三位专家精心撰写了本书。
本书共7章，内容涵盖从大语言模型的基础概念介绍到复杂系统编排，再到具体行业应用与开发等多个层面。本书详尽阐述了大语言模型的起源、定义及其与传统深度学习方法间的关键差异，深入探讨了主流训练框架如何为大语言模型提供动力，并介绍了优化策略以及高效建立算力基础设施所要考虑的因素。
不仅如此，编者还特别注重将抽象理论同现实企业场景相结合，讲述了GPT 类模型是如何融入日常工作场景中，并通过Copilot 提升生产效率，还介绍了语言模型的小型化及在边缘端部署的相关内容。
本书具有以下特色。
 专家视角：由三位微软资深技术专家共同撰写，提供业界领先的专业视角。
 实用指南：详细介绍了大语言模型训练流程、主流的分布式大语言模型训练框架和大语言模型推理加速技术，为技术人员提供了实用的参考指南。
 案例丰富：书中不仅有对大语言模型原理的深入解析，还有丰富的实践案例，详解如何在企业环境中部署和优化GPT模型。
 技术领先：深入探讨了基于GPT的Plugin开发、应用场景构建、最佳应用实践，为读者呈现了前沿技术的进展。
 剖析深入：对大语言模型的开源框架和训练调优实践进行了深入剖析，帮助读者掌握核心技术。
本书对任何愿意走进或者已经身处人工智能新纪元、想要更加紧密拥抱AI 技术的读者都有较高价值，它不仅仅是知识海洋中的航海图，更是指引前路的灯塔，引领读者在AI时代安稳航行。
虽然大语言模型技术发展迅速，而且相关技术组件繁多，更新很快，但书中介绍的方法和思路并不受开发工具版本迭代升级的影响，对广大AI开发者能起到指引和借鉴的作用。尽管如此，书中内容难免有不足之处，恳请各位同人及广大读者提出宝贵意见。
本书配有全套案例源代码，读者可通过扫描关注机械工业出版社，回复76235获取本书配套资源下载链接。

编者
2024年6月

目录
推荐序
前言
第1章认识大语言模型
1.1大语言模型概述
1.1.1AI技术的发展
1.1.2生成式AI、NLP、GPT的关系
1.1.3大语言模型的发展
1.2大语言模型的训练
1.2.1预训练
1.2.2微调
1.2.3人类反馈强化学习
1.3大语言模型的核心应用场景
1.3.1内容创作
1.3.2摘要生成
1.3.3语义检索
1.3.4代码生成
1.4大语言模型的多模态场景
1.4.1文生图
1.4.2图片与视频理解
1.4.3语音转文字
1.4.4大语言模型与数字人/虚拟人的集成
1.4.5视频生成
1.5大语言模型的现状和未来
1.6本章小结
第2章大语言模型训练
2.1Transformer网络架构
2.1.1传统Transformer架构
2.1.2Casual-decoder架构
2.1.3Transformer Embedding和位置编码
2.1.4Attention层和Attention机制
2.1.5FFN/MLP网络
2.2模型参数量与计算量评估
2.2.1算力资源计算方法
2.2.2显存资源计算方法
2.3分布式训练介绍
2.3.1通信原语
2.3.2数据并行
2.3.3模型并行
2.3.4DeepSpeed Zero优化
2.4如何训练大语言模型
2.4.1预训练
2.4.2微调
2.4.3RLHF/RLAIF
2.5Casual-decoder 大语言模型训练案例
2.5.1预训练
2.5.2DPO
2.6本章小结
第3章GPU池化——构建大语言模型算力基础
3.1GPU池化建设目标
3.2GPU与网卡的选择
3.2.1GPU的选择
3.2.2RDMA网络
3.3基础架构环境的验证
3.3.1Perftest测试网卡
3.3.2NCCL测试性能
3.4分布式训练与推理
3.4.1训练环境选择
3.4.2Azure GPU VM的创建
3.4.3训练框架的选择
3.4.4在Azure GPU VM中安装驱动
3.4.5使用NeMo训练文本分类模型
3.4.6使用DeepSpeed-Chat训练OPT
3.4.7使用DeepSpeed-Training训练Stable Diffusion
3.4.8深度学习推理环境搭建
3.5本章小结
第4章GPT的优化与编排
4.1GPT的优化
4.1.1提示工程
4.1.2GPT微调
4.1.3基于Azure OpenAI实现RAG
4.1.4实现开源RAG
4.1.5基于Assistants API实现AI助手
4.1.6通过流程工程自动生成代码
4.2GPT的调度与编排
4.2.1大语言模型主流编排工具
4.2.2基于AutoGen调度开源模型实现AI助手
4.3本章小结
第5章GPT应用开发实践
5.1GPT的典型应用场景
5.2基于RAG构建知识库
5.2.1RAG的主要优势
5.2.2RAG的主要工作方式
5.2.3实现RAG的常用框架
5.2.4RAG开发示例
5.3基于ChatGPT优化电商商品详情页
5.3.1电商商品详情页优化概述
5.3.2亚马逊电商商品详情页概述
5.3.3数据的准备
5.3.4标题的优化
5.3.5商品要点的优化
5.3.6结果验证
5.4基于开源框架搭建智能体应用
5.4.1智能体的概念
5.4.2AutoAgents框架
5.4.3MetaGPT 框架
5.4.4AutoGen 框架
5.4.5基于AutoGen 实现智能体应用
5.5本章小结
第6章Copilot应用开发实践
6.1Copilot概述
6.2Copilot的应用
6.2.1网络协助工具
6.2.2生产力协助工具
6.2.3创意协助工具
6.2.4日常协助工具
6.2.5低代码/无代码开发协助工具
6.3开发一个Copilot
6.3.1Copilot的架构
6.3.2Copilot开发示例
6.4GitHub Copilot辅助编程
6.4.1GitHub Copilot的功能
6.4.2GitHub Copilot的配置与验证
6.5垂直领域的Copilot
6.5.1索菲亚项目介绍
6.5.2索菲亚项目效果展示
6.6本章小结
第7章语言模型小型化及在边缘端的部署
7.1语言模型小型化的关键因素
7.1.1基础模型的选取
7.1.2模型量化的方法
7.1.3BitsandBytes和GPTQ量化对比
7.1.4GPTQ 和AWQ量化对比
7.1.5模型的微调
7.1.6推理模型的选择
7.1.7使用TGI运行GPTQ量化后的模型
7.1.8使用vLLM进行量化推理优化
7.1.9使用ExLlamaV2对LLaMA-2进行量化推理优化
7.1.10使用llama.cpp进行量化推理优化
7.2小语言模型Phi
7.2.1Phi-2的执行模式和内存消耗
7.2.2Phi-2的微调
7.2.3Phi-3的量化与推理验证
7.3Mistral AI模型
7.3.1Mixtral 8x7B的性能数据
7.3.2Mixtral 8x7B的架构
7.3.3Mixtral 8x7B的Q-LoRA微调
7.3.4基于Mistral 7B实现聊天机器人
7.4本章小结