技术驱动，破局商用车高阶智能驾驶

编者按：2022年5月31日，由盖世汽车主办的2022商用车自动驾驶-云论坛如期举行。武汉极目智能技术有限公司算法专家王雅儒受邀出席并发表《技术驱动，破局商用车高阶智能驾驶》的主题演讲。盖世汽车根据演讲整理成文，以分享读者。

从2019年至今商用车的ADAS整体装配率上升飞快，预计在2025年可以达到48%。在高速发展的背景下，最直接的驱动力是法规，要求新出厂的某些规格的客车、货车必须安装相关功能。另一方面是出于安全考虑，双预警和AEB都可以直接提升驾驶的安全，有效地减少事故的发生。随着中国品牌向上突破，国内重卡车企相继布局高端产品，大量采用先进智能驾驶技术，福田欧曼银河、一汽解放鹰途、重汽汕德卡等诸多高端车型都配备了 L2级别及以上ADAS功能（如LKA、ACC、PACC预见性巡航等），高端重卡车型上的智能驾驶向上进阶趋势渐显。

极目智能认为分布式的产品方案已经不能满足现在的需求，智能驾驶域控会成为未来主流方案。域控可以把AEB、双预警、AMS、BSD、LCA、ACC以及TJA、NOA、HWA等所有智能驾驶功能都整合在一个方案里面，它有以下几点优势:一是打破了ECU架构的信息孤岛，实现多种传感器、多个摄像头之间的信息互通；二是通过这些传感器的相互协助，可以实现更高级别自动驾驶的功能。三是得益于整体SoC，可以更好地协调各个算法的算力利用率，有效避免算力的浪费；四是降低CAN总线负担，节约线束；最后域控方案可以显著降低研发成本、维护成本，缩短研发周期。

聚焦高阶智能驾驶感知方案 提出极目见解

高阶智能驾驶的实现，感知方面需重点关注前方目标的识别、车身侧视的感知、后方相邻车道的目标识别、车道线的检测、驾驶员状态监测等方面的需求，而实现这些，极目智能认为需要突破八个关键感知技术。

首先是基于硬件深度定制的算法模型的设计以及优化。现在的感知算法都是基于深度学习的方法来设计，而如何在同等算力下实现更高的算法精度，是非常考验供应商能力的地方。极目智能采用的是自主研发的JMNet深度学习网络系列，这套网络的优势是能根据不同硬件的特点适配最适合的网络结构，专网专用，充分发掘硬件性能，在同等算力条件下实现更好的性能，其定制的QAT量化方案可实现检测量化无精度损失，非常适合在端侧运行。JMNet易训练、易拓展，可大幅减少训练时间，且具有较强的泛化能力，能够灵活部署在不同算力硬件，同级别硬件性能下准确性大幅领先。在提升算力利用率方面，极目智能可以针对ADAS的图像进行计算量压缩，可以实现检测距离的加倍。

数据对于自动驾驶来说是非常重要的，尤其是自动驾驶中的长尾问题，需要收集非常多的困难样本。极目智能认为，困难样本、真正让算法失效的场景，对极目智能而言更加重要且更有价值。

对于数据收集的问题，极目智能分为四步实行：第一阶段是大规模的采集普遍的样本，来验证算法正确性；然后补充类别不均衡样本，训练出一个基线的版本；再针对失效的场景专门收集样本；第四个阶段是长期累积困难样本，这个就需要营运车辆在路上持续实时采集，采集算法失效的场景，把这些困难样本上传到数据平台。

除了数据的采集，跨样本联合训练也十分重要，一般常规做法是共用基础网络，用不同的HEAD网络进行不同的任务，这就涉及到样本问题。极目智能认为跨样本的联合训练可以更好地利用样本，因为检测样本、分割样本可以是不同的样本，不需要在同一批样本上分别都给做出标注。比如有些弯道场景车道线是属于困难场景，而对于检测来说，这些弯道场景并不是困难的场景，这就存在一个矛盾。通过把样本来进行隔离，降低了样本的要求，避免了矛盾，可以更好的优化网络。另一个方面，如果加入另外的任务，采用同一个样本来做，所有的样本不需要重新标注，方便进行训练。

为了将误检和漏检控制到最低，极目智能做了大量的工作。极目智能通过代价敏感矩阵对模型进行更加精细的调控，比如把人误检成自行车，和把人误检成地面的标志，两者产生后果是不一样的。把人识别成了地面的标志，车可能直接撞上去了，把人识别成自行车，车辆不会撞过去。通过代价敏感矩阵的方法可以对模型的训练进行更加精细地控制，有效降低误检和漏检。

实现精准的测距也是非常重要的关键技术，难点有以下几个方面。首先是检测框非常容易抖动，尤其在商用车上非常突出，比如载重不同的时候，测距、相机的高度差异会比较大，会造导致测距不准。极目智能通过动态补偿技术，可以有效补偿这样的差异，实现精准测距。此外，极目智能通过金字塔图像推理技术来实现多级的目标检测，可以有效地提升小目标的检测精度，可以构建冗余，提升回归的精度。

3D目标检测是域控算法非常重要的一部分。就检测距离而言，伪3D、升维3D、单目3D以及Transformer距离都可以很远，BEV算法想要把检测距离做得比较远，就需要构建更大的区域范围，这相对来说比较有挑战。极目智能认为基于BEV+单目3D技术组合是更优的方案，基于BEV算法可以提取周围各个相机的特征，然后投影到车辆周围规则的栅格之中，在此基础上再做一些IPN网络，再进行推理，来实现3D的检测以及分割的算法。

鱼眼测距也是难点。在使用鱼眼相机测距时，行业常规做法是采用矩形框进行标注，但由于缺少了方位角的信息，很难准确判断目标车辆与自车的距离。为了解决这个问题，极目智能采用了斜矩形框检测方案，可以对目标进行更好的包围，实现精准测距。此外，我们尝试了box监督的实例分割，其优势是复用检测样本，无需进行复杂的分割标注，也能有效提升测距精度，是一个很有潜力的研究方向。

一般障碍物的检测是现在研究的难点，针对一般障碍物的检测，极目智能采用自监督的方法来实现单目深度估计，这样可以不需要做过多的标注，最主要的工作是动态估计左右相机姿态的变化，达到更好的适应性，更好地解决因外参的变化、形变导致的精度低的问题。通过将2D光流升维到3D光流，再进行前景目标的提取可实现一般障碍物的检测分割。

面向量产，赋能商用车高阶智能驾驶

极目智能坚持以技术为驱动，破局高阶智能驾驶。极目智能的商用车智能驾驶方案，从L2级别逐渐发展到将AEB、AVM、BSD、DMS等这些所有功能集成到视频域控制器的高阶方案。方案具备很高的集成度，性能指标也处于第一梯队。极目智能合作方式非常灵活，可以提供全套的解决方案，也可以提供一些感知的模组。

极目智能以量产落地为目标，市场实现稳步扩张，目前已供货 30 余家主机厂，包括国内一线自主乘用车主机厂、60%+ Top10卡车主机厂及 80%+ Top10客车主机厂。此外，极目智能非常重视全球化布局，产品已经远销日、韩、俄罗斯、印尼、印度等国家，也是目前唯一一家实现智能驾驶核心零部件（ADAS&AD）出口国际汽车强国的中国智能驾驶厂商。