虹软科技陈锋：视觉技术协同车载芯片赋能安全智能的驾乘体验

6月29日—30日，由盖世汽车主办的“2021中国汽车半导体产业大会” 隆重召开。本次会议主要围绕中国车企缺芯现状、供应链国产化安全建设、车载芯片平台的搭建设计、自动驾驶、智能座舱领域的芯片需求和应用案例、功率半导体在三电中的应用以及芯片测试和功能安全等话题展开讨论，共谋产业未来发展之路。下面是虹软科技视觉车载事业群副总经理陈锋在本次大会上的发言。

虹软科技视觉车载事业群副总经理 陈锋

大家下午好，我叫陈锋，今天很高兴跟大家一起分享视觉技术和车载半导体的发展。上午有很多嘉宾提到了手机和车载的联系，虹软一直是做手机计算视觉感知技术的，我们跟手机打交道也有很长的时间。1876年贝尔发明了电话机以来，解决了远程语音通信的问题，从那一天开始，人类其实就在想象着有一天能够远程视频通讯。这个问题比语音通讯还要困难很多。一直到100多年以后，快到2000年的时候才出现了第一款可视移动电话夏普J-SH04，当然真正引导通信革命的是iPhone1，因为它不仅是通讯的手段，而且是一个电脑，它在上面可以下载，可以更新，可以有第三方，可以有我们自己开发的软件放在上面，所以它实际上是一个移动的计算平台。

从2013年苹果iphone5s更新到64位处理器之后，计算能力越来越强大，算力越来越强，同时摄像头从1个200万像素后置摄像头到后来一个前置，一个后置，一直到今天我们看到是6个摄像头5个后置，1个前置。为了支持这么多摄像头，我们的计算平台经过很多次升级。因为和声音不一样，声音只是采集，调制，传输的过程，对于视频来讲，它需要采集，需要压缩，需要编码，还有各种不同的应用场景，比如说暗光，抖动等，这上面需要的算力就大得多。那么手机革命实际上是因为我们半导体的革命引起的，在这里我们有很多公司做了很多贡献，其中就包括高通。

比如这一款五摄手机用的是骁龙845芯片，10纳米制程八核芯片，而且有其他各种异构的计算平台。因为有了这样的计算平台才能够支持5颗1200万像素后置摄像头和前置2000万象素摄像头，而且可以做实时视频拍摄和传输，同时上面有很多算法，比如说自动对焦，还有光的感应，重力感应，磁力感应等等，让这台手机变成非常智能的计算平台。

那么车的发展比手机的可视通讯迅速得多，第一颗真正装在车上的摄像头是别克概念车。真正量产的商用车装摄像头的我们认为是1991年丰田，丰田装了一个后置摄像头，通过视频连接线可以在仪表盘上面看到摄像头的影像。

2006年由Kate、Suzuki、Fujita、Hirama额四人提出汽车全景环视的概念，从此以后主要是在四摄环视，倒车影像上面出了很多摄像头解决方案，这样摄像头对汽车来说也不是陌生的事情。但是真正革命性的发展还是最近几年，随着自动驾驶的普及，在车上面装的摄像头是越来越多。

刚才讲到摄像头从可视方面对比了手机和汽车发展，在其他方面也是有很多类似和不同之处，比如说开发周期，传统汽车改款时间比较慢，五年改一次，每年有一个小的提升。而智能手机基本上半年到一年就会有一次大的改款。智能汽车也是一样，现在新能源智能汽车基本上每年都有更新，会增加很多功能在上面。

从品牌上面来说，汽车原来都是比较大的一线品牌，手机发展也经历过这个阶段，原来有很多家，但是最近基本上也就剩下那么几家（大家都知道的）。智能汽车的发展，因为前一段时间各种原因，冷落了一段时间，但是最近随着各种因素的改变，国内智能化汽车，新能源汽车，新势力汽车又活跃起来。但是我相信过了多少年以后肯定还是会重新回到几个大的车厂的局面。

交互方式，原来的汽车没有什么智能，都是手接触按键，无多点触控。那么随着智能手机的发展，现在在汽车上也看到了触控屏，看到了语音交互，视线交互，手势交互。关键技术汽车从原来底盘设计为主，分布式电机系统，电子电器架构，现在变成了域控制器，集中计算单元，就像手机一样，智能手机基本上变成了SOC主要的芯片作为处理的中心部分，所以汽车和智能手机相比是有很多可以类比之处。

iPhone苹果手机最大的创新实际上不是硬件，而是它的模式，即在上面可以加载第三方应用软件。现在所谓软件定义汽车也在向这一步迈进，Tesla可以根据用户需求进行升级定制。那么以后这种方式，这种模式在中国的车企里面肯定也会越来越多，这实际上和原来智能手机的发展也是一脉相承的。

半导体可以把它分为几类：内存，光学及其他传感器，控制器，逻辑电路，模拟电路，这里面传感器比重会越来越多，计算单元比重会增加。我们看看今天市场上最火的几款车，比如说Tesla有9颗摄像头，1个毫米波雷达，12个超声波雷达；小鹏P7有5个毫米波雷达，14个摄像头；蔚来ES6有5个毫米波雷达，8个摄像头，12个超声波雷达。可以看出，推动我们汽车发展非常重要的力量就是传感器，感知，视觉以及雷达。即只有看得见，知道周边的情况才能够作出正确的智能化的判断执行，才能走向自动驾驶。

车载芯片，除此之外还有计算能力部分，现在市场上通用的在仪表盘，在车机，甚至在独立的DCU上面，有这么几款，TDA4VM及SA8155P、CV2AQ76，H3/V3M等等。除此之外，我们还要看它的性能，ARM，DSP，GPU，NPU是什么样的，还有编解码能力，安全等级是多少？这些都是我们非常关心的东西。

车载传感器分为超声波，摄像头，毫米波雷达，激光雷达，这些共同组成了感知系统。虽说Tesla不用激光雷达，但是如果激光雷达真的达到了100美元以下的成本，为什么不用呢？相比其他的传感器，它肯定还是有很多优势。

对于摄像头本身来讲，其分为前视，环视，后视，侧视，内置，内置的时候驾驶员的状态监测，乘客监测，内置摄像头在很多车企里面都已经上了，欧洲和中国新车标准也要求在上面必须要有驾驶员的状态监测的技术。

总结来说，车载算力和传感器芯片，他们有什么特点呢？车载摄像头数量越来越多。从最早的用于后视1个摄像头，到环视的4个摄像头。另外还有汽车电子电器架构，从原来分散的分布式ECU向DCU域控制器转换，以及后面像Tesla一样，大家期待的，中央硬件单元，硬件计算单元，这是一个趋势。

从摄像头来讲，数量增加了，同时摄像头像素种类也是越来越多，从原来200万，100万，到现在800万像素摄像头，1600万像素摄像头，为什么？因为你看远的时候要把小的东西看清楚，必须要提升像素，提升分辨率。而且动态范围也增加了，要看得清暗光，这些是目前传感器的趋势，同时支持这些传感器的变化，我们这些车载芯片也在这些方面有了很大的提升。

下面介绍一下虹软公司，虹软公司1994年成立，在美国的硅谷。从公司成立以来，我们一直专注于一件事情，就是视觉，从计算影像到现在视觉感知。从最早的功能机到智能手机，从打印机，数字照相机到今天的汽车，我们做得都是软件算法，让所有设备看的更清，看的更懂，到现在累计起来已经超过100亿台设备都嵌入了虹软的算法。

虹软公司从1994年成立以来，技术涵盖了PC，各种嵌入式设备，打印机，相机，投影机，扫描仪，智能手机，智能汽车，IoT智能零售，机器人等等各个行业，只要跟视觉相关的东西都有我们的技术。其中包括影像增强，各种暗光高清，防抖，HDR，3D景深摄像头，双目立体视觉。在视觉上面基本上是全栈解决方案。

我们知道不可能有无穷无尽的算力让你来使用，它留给我们算法的资源还是很少的，而且你还要有冗余，还要安全。那么在有限的已经确定的硬件条件下如何充分利用好你的资源，把你算法的性能提高到客户所需要的水平，而且不能用太多的功耗，这就很重要。因为功耗用多了会带来发热等问题。我们虹软不仅在算法层面有一个强大的团队，还有一个强大的工程团队，能够在各种有限的计算资源下尽量高地得到计算性能。我们虹软有一句话：在低端的硬件成本上面可以做到跟高性能的芯片一样的性能，这也是虹软的强处。

我们是不做芯片的，但是我们支持基本上所有的芯片厂家，比如高通，MTK，TI，Ambarella，Renesas，NXP等等。

今天，我们借此机会向大家介绍我们智能座舱产品VisDrive6.0。VisDrive6.0包含了广义智能座舱所有的功能，其中有驾驶员状态监测，乘客监测，人机互动，我们把舱外盲区检测，AR导航也看作智能座舱一部分，因为它都是为驾驶员服务的，为了驾驶员安全智能的行驶提供服务。

这里面有八个领域，AR HUD，DMS，Interact，ADAS，OMS，AVM，BSD等。那么6.0有什么不同呢？比如说DMS上面有了疲劳行为提醒，人在疲劳的时候会有一些习惯性的动作，摇头，揉脸等等，我们可以提前判断是不是疲劳了。还有，方向盘脱手行为提醒，方向盘玩手机行为提醒；在Interact里面增加了自动唤醒。在OMS里面，欧洲对儿童乘客有很多明确的要求，我们也针对性地推出了儿童座椅识别，儿童哭闹检测，遗留宠物提醒，舱内合照美化，舱内视频自拍，3D虚拟行车助手。我们在Authenticate里面增加了车机无钥匙启动，手机、云端、车，机端账号联动，安全防伪便捷支付等等。

如果那些车厂现在要用高通8155，我们有现成方案可以马上给他。你要用MTK8666，我们也有现成解决方案可以很快地在你的车上实现。

虹软除了上面讲的还有什么东西呢？我们的优势是算法优势，我们有强大的算法团队，而且我们的方案和算法已经嵌入在超过百亿台设备上面，有很多工程实践的经验。我们还有平台优势，主流芯片平台我们都能够支持，而且可以在DSP里面实现，可以在GPU、NPU里面实现，也可以在有限的CPU里面实现我们的算法。服务优势，我们有一个视频开发平台，上面开发者超过25万，百亿台设备也有全球性支持团队，所以我们积累了大量的经验，服务优势也是和其他供应商来比也是优势之处。

下面简单放几个视频介绍一下实际产品的情况。右侧视频可以看到，我们不仅有环境连接，还有透视的车身底盘。

这个功能是AVM超广角相机上面做行人检测，非机动车检测。这个视频展示的是在遗留儿童情况下，我们的技术可以用手机相连及时提醒。这里面包含了后排人体的检测、年龄检测，如果是成人的话是不会提醒的，如果是儿童我们就会提醒。

还有其他的遗留物提醒，毕竟在座椅上遗留了手机等贵重作品是很头疼的事情，现在共享车上面很多都已经装载了OMS功能。视线亮屏，这是人机交互的一部分，只有你注视某一个地方的时候它才会把屏幕点亮。

最后我们有一个AR实景导航，谢谢大家。