多传感器融合用于自动驾驶

传感器是汽车感知周围的环境的硬件基础，在实现自动驾驶的各个阶段都必不可少。自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息，扮演眼睛、耳朵的角色。目前自动驾驶的安全事故原因绝大多数出现在传感器这个重要环节，将各类传感器融合在一起，能否就能起到1+1>2的效果呢？

多传感器融合是必然趋势

通过增加传感器的数量，并让多个传感器融合来提高自动驾驶能力。多个同类或不同类传感器分别获得不同局部和类别的信息，这些信息之间可能相互补充，也可能存在冗余和矛盾，而控制中心最终只能下达唯一正确的指令，这就要求控制中心必须对多个传感器所得到的信息进行融合，综合判断。

在使用多个传感器的情况下，要想保证安全性，就必须对传感器进行信息融合。多传感器融合可显著提高系统的冗余度和容错性，从而保证决策的快速性和正确性，是自动驾驶的必然趋势。

当然，要实现传感器融合，也是有前提条件的。硬件层面，数量要足够，也就是不同种类的传感器都要配备，才能够保证信息获取充分且有冗余；软件层面，算法要足够优化，数据处理速度要够快，且容错性要好，才能保证最终决策的快速性和正确性。

传感器融合的技术概述

每种传感器都有自己无法克服的缺陷，因此数量的增加无法解决实际的问题。真正的解决之道是综合不同传感器采集到的信息。而目前的雷达技术在分辨率上也有些不合格，可以说每种传感器都有自己的软肋。

想做到完美的传感器融合，就要接受不同传感器的输入，并利用综合信息更准确的感知周边环境，其得出的结果比不同传感器各自为战要好得多。将不同传感器进行融合还能换来一定程度的冗余，即使某个传感器出了问题也不会影响车辆的安全。

目前车辆上搭载的大多数ADAS系统都是独立运作的，这就意味着它们不会与其他车辆上的系统交换信息。此外，车上的后置摄像头、360度全景系统、雷达和前置摄像头都有自己的独立任务，它们之间几乎没有交流。

给车辆安装这些独立系统后，司机就能获知更多信息，车辆也能实现少数自动驾驶功能。不过，我们也可以对这些传感器进行融合，实现更为强悍的功能。

AI芯天下丨传感器融合：自动驾驶领域的另一个突围方向

①后置摄像头+超声波距离传感器这项配置在现售车辆上早已不再新鲜，倒车时它能用警报声提醒我们车辆离周边物体还有多远。

在这套新系统中，后置摄像头能让司机看清车辆后方情况，而机器视觉算法则负责探测车辆后方物体或马路牙子。超声波距离传感器则是辅助设备，它能在在没有任何照明的夜晚帮司机顺利倒车入库。

②前置摄像头+多模前置雷达能产生意想不到的效果。前置雷达能探测到150米范围内物体的移动速度和距离，而且它几乎不受天气情况影响。摄像头则负责发现并辨别前方物体，比如读取街道上的交通标识和红绿灯。

虽然一些ADAS功能只靠单个传感器或独立系统就能实现，但一旦遇到不可预知的情况，车辆就会变得手忙脚乱。反观能支持更复杂自动驾驶功能的传感器融合，就可大幅降低车辆的误报和漏报率。

传感器融合的体系结构

对自动驾驶汽车而言，没有必须将哪几类传感器数据融合在一起的说法。传感器数据间的融合可以有多种组合。处于中间过程的传感器融合将会产生各种假设和转变。

因为多传感器的使用会使需要处理的信息量大增，这其中甚至有相互矛盾的信息，如何保证系统快速地处理数据，过滤无用、错误信息，从而保证系统最终做出及时正确的决策十分关键。

多传感器融合在硬件层面并不难实现，重点和难点都在算法上。多传感器融合软硬件难以分离，但算法是重点和难点，拥有很高的技术壁垒，因此算法将占据价值链的主要部分。

算法是多传感器融合的核心。传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境，从而提高系统决策的正确性。

AI芯天下丨传感器融合：自动驾驶领域的另一个突围方向

随着传感器技术、成像技术、雷达、LiDAR、电子设备和人工智能技术的进步，数十种先进驾驶辅助系统(ADAS)功能已得以实现，包括防撞、盲点监测、车道偏离报警和停车辅助。

①分布式：先对各个独立传感器所获得的原始数据进行局部处理，然后再将结果送入信息融合中心进行智能优化组合来获得最终的结果。分布式对通信带宽的需求低、计算速度快、可靠性和延续性好，但跟踪的精度却远没有集中式高。

②集中式：集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理，可以实现实时融合。其数据处理的精度高，算法灵活，缺点是对处理器的要求高，可靠性较低，数据量大，故难于实现。

③混合式：混合式多传感器信息融合框架中，部分传感器采用集中式融合方式，剩余的传感器采用分布式融合方式。混合式融合框架具有较强的适应能力，兼顾了集中式融合和分布式的优点，稳定性强。

传感器融合的要素和流程

关于传感器和传感器融合需要考虑的因素：成本、体积、重量、可拓展性、可靠性、制冷、安装、空间、故障自检、报告、容错性、灵活性、冗余性、反戏弄。

通过传感器融合同步运行，以允许全自动驾驶车辆或无人驾驶车辆对周围环境检测，并警告驾驶员潜在的道路危险，甚至可以采取独立于驾驶员的规避动作来避免碰撞。

①驾驶中雷达图像被捕获，负责雷达单元的电子控制单元（ECU）花很短的时间对捕捉到的图像进行预处理。然后借助控制区域网络（CAN），把图像发送到传感器融合中心。在区域网络传输图像，以及接受信息都要花时间。

②同时传感器融合中心也会接受来自摄像头、超声波传感器和激光雷达传感器的数据。传感器融合处理了所有这些数据，又需要短暂时间。

③最终结果被传到人工智能上，需要对其进行处理，并更新环境模型。这需要时间。

④通过控制区域网络（CAN），人工智能向汽车控制系统发出指令，这需要时间来完成。

⑤控制系统接收命令，明确它要做什么，继而采取实际行动。

算法和成本因素是关键所在

目前企业都在积极寻找传感器融合的方法，推出的解决方案也不尽相同，但尚未出现一种经过验证、最可靠的方案。因为传感器融合是一个不断推进的过程，难点有不少。

①不同类型传感器的优缺点不同，获取的信息量巨大，要保证最终融合结果及时、准确，就需要在传感器的选型配置和算法精度上有巧妙的布局，而能把这些环节都做好的企业目前还不多。

②为了提升传感器融合的效果，最理想的状态就是将各类最顶级传感器融合在一起。但光一个激光雷达的价格就已与一辆传统汽车持平，可见某些关键传感器的价格还远没到消费类电子产品的水平。

③在传感器融合过程中，一些厂商不愿公开自己获取的原始数据，怕因此沦为纯粹的数据采集供应商，导致利润空间有限。由此造成的数据壁垒也是实现传感器融合的一大障碍。

结尾：

传感器融合得越好，自动驾驶汽车也会越安全。因此传感器融合是自动驾驶汽车发展中的一个重要方面，相信在不久的将来，将有更多机会来提出新思路和创新方式来改进传感器融合。