易显维：易智数维的创始人、中国地质大学硕士。10余年研发经验，曾先后任职于建行数据中心、科大讯飞研究院以及百分点科技集团认知智能实验室。长期为东风集团提供技术支持与方案咨询，在实车感知算法与机器人视觉项目方面拥有丰富且宝贵的经验。其研究方向涵盖机器视觉、自然语言处理、结构化数据挖掘等多个领域。曾在各种竞赛中获奖20余次。
虞凡：东风畅行公司首席出行官、西安交通大学计算机软件科学技术博士。拥有10余年工作经验，曾于清华大学软件学院进行博士后研究工作，现负责东风畅行公司的Robotaxi商业探索、平台软件工程效率提升、网络出行平台算法设计等工作，也曾联合创建网约车平台公司。他发表高水平论文10余篇，获得发明专利授权10余项，获得武汉市车谷英才称号。其研究方向包括软件工程中的形式化方法和AI算法，专注于大数据分析、知识图谱、网络出行平台和出行算法设计。

适读人群 ：智能汽车感知算法与开发工程师，以及与产品经理等
1）智能汽车领域实践型专家联合撰写，一次性学透BEV，实现快速落地与创新
2）以BEV主流技术与工程实践为主线，系统分析介绍BEV算法的基本原理、关键技术和源码级实现方法，掌握自动驾驶感知系统的整体架构和设计理念
3）初学者友好、理论与实践结合，获得多位业界专家极力推荐

为什么写这本书
在传统燃油车领域，我国与日本、德国等汽车工业强国相比，起步时间较晚，技术积累和产业链成熟度相对较低。然而，随着全球环保意识的增强和新能源汽车技术的快速发展，我们迎来了一个前所未有的机遇——通过新能源汽车实现产业赶超。
新能源汽车，特别是电动汽车，以其零排放、低噪声、低维护成本等优势，正逐渐成为全球汽车市场的新宠。而在这场新能源汽车的浪潮中，自动驾驶技术更是被誉为未来的科技明珠。自动驾驶不仅代表着汽车科技的前沿，更是提升道路安全、缓解交通拥堵、提高出行效率的关键技术。
自动驾驶技术的优势在于，它可以显著提高道路安全和交通效率。通过精确的传感器和先进的算法，自动驾驶车辆能够实时感知周围环境，做出准确的驾驶决策，从而降低交通事故发生率。同时，自动驾驶还有助于缓解交通拥堵，它通过智能路径规划和协同驾驶，提高了道路使用效率。
然而，自动驾驶技术的发展也面临着诸多挑战。首先，技术难题仍然存在，例如复杂道路和恶劣天气条件下的感知和决策问题。其次，法律和伦理问题也是自动驾驶技术发展中需要重点考虑的，如何在确保安全的前提下，平衡技术创新与法律法规的制约，是自动驾驶技术发展必须面对的问题。
随着自动驾驶技术的不断进步，城市导航辅助驾驶（NOA）成为技术研发和商业应用的热点。城市NOA是指在城市环境中，结合高精度导航技术和自动驾驶技术，实现车辆在城市道路上的自动驾驶。这一技术的兴起，得益于鸟瞰视角（Birds Eye View，BEV）技术方案的快速发展。
BEV方案为自动驾驶的感知系统带来了革命性的进步。它通过融合多个传感器的数据，生成车辆周围的360°全景图像，为自动驾驶系统提供了更为准确的环境感知信息。这使车辆能够更加精准地判断道路情况、障碍物位置以及行人和其他车辆的动态，从而做出更为准确的驾驶决策。
自动驾驶的BEV感知算法是实现城市NOA的核心技术之一。它通过处理传感器数据，生成车辆行驶的决策和控制指令。BEV感知算法的优劣直接影响到自动驾驶系统的性能和安全性。因此，研究和开发高效、稳定的BEV感知算法对于推动我国自动驾驶技术的发展具有重要意义。
为了帮助广大自动驾驶技术的研究人员和工程师更好地理解和掌握自动驾驶BEV感知算法的基本原理，我们编写了本书。
本书汇集了两位作者多年的研究成果与实践经验：我专注于自动驾驶感知技术的基础研究与全流程优化，虞凡则致力于出行平台及Robotaxi技术的应用研究，特别关注BEV感知技术在城市复杂环境中的挑战。这种多角度的合作，使本书能够从理论与实践两方面，为读者提供全面的视角。
本书系统地介绍了BEV算法的基础知识、关键技术及实现方法，以及自动驾驶感知系统的架构和设计思路。通过传递我和虞凡的专业知识与技术积累，希望为读者提供实用的入门知识，并激发其在自动驾驶技术领域的创新。
如何阅读本书
本书共9章，各章内容简介如下。
第1章将带领你快速了解BEV感知算法的核心概念。本章不仅会勾勒BEV感知算法的大致框架，还会揭示其独特的优势以及在实践中可能遇到的挑战，为你后续的深入学习奠定坚实的基础。
第2章将引导你走进数据的世界。这一章详细介绍BEV感知算法所依赖的多个知名数据集，如KITTI、nuScenes和Waymo等。通过对比这些数据集的特点，你将更加明确它们的适用场景。同时，本章还提供评测算法性能的关键指标和计算方法，为你后续的实验和研究提供依据。
第3章将为你提供丰富的特征提取方法。无论是基于图像模态还是基于激光雷达模态的数据，本章都将进行深入的介绍，从相机的内外参数调整到图像特征的深度网络提取，再到点云目标检测算法，本章对每一环节都将进行了细致的讲解。
第4章将深入BEV感知算法的基本模块。你将探索视角转换的原理、注意力模块的运作机制，以及Transformer及其各种改进模型在算法中的应用。此外，本章也将深入剖析时序融合技术，让你对算法的每一个细节都了如指掌。
第5章将介绍显式视角转换的BEV感知算法。本章将详细解读BEVDet和BEVDet4D等先进算法，展示它们如何通过精确的数学变换，将复杂的图像数据转换为直观的鸟瞰视图，从而实现高精度的3D目标检测。
第6章将介绍隐式视角转换的BEV感知算法。在这一章中，你将接触包括BEVFormer、DETR3D和PETR在内的多种典型的BEV感知算法。这些算法通过独特的策略，成功实现了从相机视角到鸟瞰视角的灵活转换，极大地提高了3D检测的准确性。
第7章和第8章将通过生动的案例，指导你亲手实现BEV感知算法。从环境的搭建到代码的详细解读，再到模型的训练与优化，每一步都将进行详尽的阐述，确保你能够从理论走向实践，真正掌握BEV感知算法的精髓。
第9章将接触自动驾驶领域的前沿技术——大模型的应用。本章深入探讨端到端的自动驾驶系统UniAD，以及它在自动驾驶数据生产和模型训练中的独特作用。同时，也将客观分析视觉大模型当前面临的挑战和发展难点，为你在这一领域的研究指明方向。
通过阅读本书，你不仅能够全面掌握BEV感知算法的

前　言第1章　快速了解BEV感知
算法1　1.1　BEV感知算法解决的问题1
　1.2　BEV感知算法的常见范式7
　1.3　BEV感知算法的分类9
1.3.1　基于单应性的方法9
1.3.2　基于深度估计的方法10
1.3.3　基于多层感知器的
方法12
1.3.4　基于Transformer的
方法13
　1.4　BEV感知算法的不足14
　1.5　本章小结16第2章　BEV感知算法的
数据集17　2.1　KITTI数据集18
　2.2　nuScenes数据集25
　2.3　nuScenes数据集常用的评测
指标及计算方法39
2.3.1　检测任务评测指标计算
公式40
2.3.2　跟踪任务评测指标计算
公式42
2.3.3　其他辅助指标计算公式42
　2.4　Waymo数据集46
　2.5　不同数据集之间的对比47
　2.6　本章小结48第3章　BEV感知算法的特征
提取49　3.1　图像模态49
3.1.1　相机的内外参数49
3.1.2　图像特征提取和ResNet
原理54
　3.2　激光雷达模态中点云目标
检测的代表算法55
3.2.1　PointPillar算法55
3.2.2　PV-RCNN算法58
　3.3　本章小结61第4章　BEV感知算法的基本
模块62　4.1　视角转换模块62
4.1.1　自动驾驶中的坐标系63
4.1.2　坐标系转换与视角转换
模块65
4.1.3　LSS原理69
4.1.4　LSS代码实现与模型
运行71
　4.2　BEV感知算法中的注意力
机制82
4.2.1　通道注意力机制82
4.2.2　空间注意力机制83
4.2.3　混合注意力机制83
4.2.4　BEV感知算法中的时序
融合83
　4.3　本章小结86第5章　显式视角转换的BEV
感知算法87　5.1　基于LSS方法的显式视角转换的
BEV感知算法89
5.1.1　BEVDet89
5.1.2　BEVDet4D91
　5.2　BEVDet中的视角转换过程91
　5.3　BEVDet4D中的时序对齐93
　5.4　本章小结94第6章　隐式视角转换的BEV
感知算法95　6.1　传统目标检测方法与DETR
类方法95
6.1.1　传统目标检测方法的
局限性96
6.1.2　DETR类方法的优点97
　6.2　主要的隐式视角转换的BEV
感知算法98
6.2.1　BEVFormer98
6.2.2　DETR3D102
6.2.3　PETR103
　6.3　DETR3D计算过程106
6.3.1　图像特征提取106
6.3.2　特征查询模块107
6.3.3　二分图匹配108
6.3.4　DETR和DETR3D的
异同108
　6.4　隐式转换DETR、DETR3D和
PETR的主要差别109
　6.5　本章小结110第7章　BEVFusion实践111　7.1　原理详解111
7.1.1　网络架构112
7.1.2　图像支路113
7.1.3　点云支路114
7.1.4　融合模块115
　7.2　代码详解116
7.2.1　nuScenes数据集
处理116
7.2.2　模型训练过程131
　7.3　环境搭建149
7.3.1　搭建PyTorch环境149
7.3.2　安装BEVFusion150
7.3.3　编译BEVFusion
环境151
7.3.4　训练和测试
BEVFusion152
　7.4　本章小结153第8章　BEVFormer实践154　8.1　代码详解154
8.1.1　数据处理155
8.1.2　模型训练过程156
　8.2　环境搭建190
8.2.1　创建虚拟环境190
8.2.2　安装BEVFormer191
　8.3　模型部署192
　8.4　本章小结192第9章　大模型在自动驾驶领域
的应用193　9.1　端到端的自动驾驶系统
UniAD194
9.1.1　UniAD的提出背景194
9.1.2　UniAD架构196
　9.2　赋能自动驾驶数据生产和
模型训练197
9.2.1　辅助标注数据198
9.2.2　模型蒸馏给小模型
赋能200
9.2.3　将多个小模型合并成
大模型201
9.2.4　自动驾驶的重建和数据
生成201
　9.3　视觉大模型的难点202
9.3.1　视觉大模型发展相对落后
的原因202
9.3.2　视觉大模型的技术挑战与
实践难点203
　9.4　本章小结204