多传感器融合是自动驾驶的未来
发布时间：2017-7-18 8:24:32 点击量：1116
核心提示：传感器是汽车感知周围的环境的硬件基础，在实现自动驾驶的各个阶段都必不可少。自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息，扮演眼睛、耳朵的角色。控制模块分析处理信息，并进行判断、下达指令，扮演大脑的角色。车身各部件负责执行指令，扮演手脚的角色。
传感器是汽车感知周围的环境的硬件基础，在实现自动驾驶的各个阶段都必不可少。
自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息，扮演眼睛、耳朵的角色。
控制模块分析处理信息，并进行判断、下达指令，扮演大脑的角色。车身各部件负责执行指令，扮演手脚的角色。而环境感知是这一切的基础， 因此传感器对于自动驾驶不可或缺。
三大重要传感器
摄像头：智能驾驶之慧眼
车载摄像头是实现众多预警、识别类 ADAS 功能的基础。在众多 ADAS 功能中，视觉影像处理系统较为基础，对于驾驶者也更为直观，而摄像头又是视觉影像处理系统的基础， 因此车载摄像头对于自动驾驶必不可少。
摄像头可实现的 ADAS 功能
以上众多功能都可借助摄像头实现，有的功能甚至只能通过摄像头实现。
车载摄像头价格持续走低，未来单车多摄像头将成为趋势。摄像头成本相对低廉，价格也从 2010 年的 300 多元持续走低，到 2014 年单个摄像头价格已降低至 200 元左右，易于普及应用。
根据不同 ADAS 功能的要求，摄像头的安装位置也不尽相同。按摄像头的安装位置不同，可分为前视、侧视、后视和内置四个部分。未来要实现全套 ADAS 功能，单车需配备至少 5 个摄像头。
前视摄像头
前视摄像头使用频率最高，单一摄像头可实现多重功能。如行车记录、车道偏离预警、前向碰撞预警、行人识别等。前视摄像头一般为广角镜头，安装在车内后视镜上或者前挡风玻璃上较高的位置，以实现较远的有效距离。
侧视摄像头代替后视镜将成为趋势。由于后视镜的范围有限，当另一辆在斜后方的车位于这个范围之外就“隐身”，因为盲区的存在，大大增加了交通事故发生的几率。而在车辆两侧加装侧视摄像头可以基本覆盖盲区，当有车辆进入盲区时，就有自动提醒驾驶员注意。
全景泊车系统
全景泊车系统通过安装在车身周围的多个超广角摄像头，同时采集车辆四周的影像，经过图像处理单元矫正和拼接之后，形成一副车辆四周的全景俯视图，实时传送至中控台的显示设备上。
驾驶员坐在车中即可以“上帝视角”直观地看到车辆所处的位置以及车辆周报的障碍物。
车载摄像头应用广泛且价格相对低廉，是最基本最常见的传感器。相对于手机摄像头，车载摄像头的工况更加恶劣，需要满足抗震、防磁、防水、耐高温等各种苛刻要求。制造工艺流程复杂，技术难度高。
特别是用于ADAS功能的前视摄像头，涉及行车安全，可靠性必须非常高。因此车载摄像头的制造工艺也更加复杂。
车载摄像头产业链
在成为整车厂商的一级供应商之前，需经过大量不同种类的严格测试。但是一旦进入整车厂商的一级供应商体系就会形成很高的壁垒，很难被替代，因为更换供应商的成本太高，重新更换供应商就意味着整车厂商要再次进行复杂的测试。
全球视觉系ADAS龙头Mobileye从1999年成立就开始研发视觉处理系统，但在2007年搭载Mobileye产品的车型才上市，从研发到正式进入前装市场，用了八年的时间。但成为众多整车厂商的一级供应商后，Mobileye已成为这一领域绝对的寡头。
自从其公司2014年上市至今，与其他公司竞逐各大汽车厂商的智能汽车安全设备招标时，Mobileye的成功率几乎是百分之百。
由于毫米波雷达、激光雷达在此前均有写过，因此不再累赘，只作简单介绍。
快了，这些中国毫米波雷达企业就要突破技术封锁了！
国内外主流激光雷达传感器厂商，你想知道的都在这
毫米波雷达：ADAS 核心传感器
毫米波的波长介于厘米波和光波之间， 因此毫米波兼有微波制导和光电制导的优点：
1）同厘米波导引头相比，毫米波导引头具 有体积小、质量轻和空间分辨率高的特点；
2）与红外、激光等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点；
3）性能稳定，不受目标物体形状、颜色等干扰。毫米波雷达很好的弥补了如红外、激光、超声波、 摄像头等其他传感器在车载应用中所不具备的使用场景。
毫米波雷达的探测距离一 般在 150m-250m 之间，有的高性能毫米波雷达探测距离甚至能达到 300m，可以满足汽车在高速运动时探测较大范围的需求。与此同时，毫米波雷达的探测精度较高。
毫米波雷达应用于自适应巡航
这些特性使得毫米波雷达能够监测到大范围内车辆的运行情况，同时对于前方车辆的速度、加速度、距离等信息的探测也更加精准，因此是自适应巡航（ACC）、自动紧急刹车(AEB) 的首选传感器。
目前 77GHz 毫米波雷达系统单价大约在 250 欧元左右，高昂的价格限制了毫米波雷达的车载化应用。
激光雷达：功能强大
激光雷达性能精良，是无人驾驶的最佳技术路线。激光雷达相对于其他自动驾驶传感器具有非常优越的性能：
分辨率高。激光雷达可以获得极高的角度、距离和速度分辨率，这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。
精度高。激光直线传播、方向性好、光束非常窄，弥散性非常低，因此激光雷达的精度很高。
抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同，自然界中能对激光雷达起干扰作用的信号源不多，因此激光雷达抗有源干扰的能力很强。
激光雷达的空间建模
三维激光雷达一般安装在车顶， 可以高速旋转，以获得周围空间的点云数据，从而实时绘制出车辆周边的三维空间地图。同时，激光雷达还可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息，再结合 GPS 地图计算出车辆的位置，这些庞大丰富的数据信息传输给 ECU 分析处理后，以供车辆快速做出判断。
激光雷达车用方案:
以地图为中心：以 Google 和百度为代表的互联网企业的无人驾驶是以地图为中心， 主要原因在于激光雷达可以为这些公司绘制高精度地图。
以汽车为中心：对大多数车企而言，他们更想要一款专为汽车量身定制的激光雷达产品。
百度自动驾驶汽车上的激光雷达
首先，和测绘专用的笨重“大花盆”相比，小型激光雷达和汽车更配，为了兼顾美观和风阻系数，自动驾驶汽车与普通汽车不应该在外观上有任何差别，激光雷达尽量要被做成小体积直接嵌入车身，这就意味着要将机械旋转部件做到最小甚至抛弃。
因此车用激光雷达没有选用大体积旋转结构，而是在制作工艺上，将旋转部件做到了产品内部。例如 Ibeo 的激光雷达产品 LUX，改为固定激光光源，通过内部玻璃片旋 转的方式改变激光光束方向，实现多角度检测的需要。
而Quanergy 旗下产品 S3 是一款全固态产品，使用了相位矩阵新技术，内部不存在任何旋转部件。
不过，好东西都很贵。激光雷达单价以万为单位，高昂的价格让其难以市场化。
最后我们对比一下这三大传感器性能：
一起事故引发的改变
2016 年 5 月，美国佛罗里达州一辆开启了自动驾驶模式（Autopilot） 的特斯拉与白色重型卡车相撞，导致特斯拉车主身亡。
这起被称为“全球首例自动驾驶致死”事故，让不少人开始对自动驾驶的安全性表示担忧，也给特斯拉蒙上一层阴霾。
特斯拉
事故曝光后，特斯拉与其视觉识别系统供应商 Mobileye 终止合作，并于 9 月份通过 OTA 推送了 V8.0 系统， 强化毫米波雷达作用，将其提升成为主控制传感器。
特斯拉 V7.0 时代的自动驾驶主要以图像识别为主，毫米波雷达只是一个辅助传感器，V8.0 系统对整个技术方案做出了很大的调整：以毫米波雷达为主，图像识别为辅，雷达可以监测范围是之前的 6 倍，大幅增强特斯拉的前方障碍识别能力。
而到了2016 年 10 月，特斯拉又发布 Autopilot2.0，宣布未来生产的所有车型都将具备进行完全自动驾驶的硬件系统。同时，特斯拉表示在此硬件基础上的自动驾驶的安全性有了空前提升。
Autopilot 2.0 与 Autopilot 1.0 硬件对比情况
特斯拉的完全自动驾驶硬件系统包括：
1）车身四周加装 8 个摄像头，能够测量 250 米范围内的物体；
2）搭载 12 颗 超声波传感器，用以辅助侦测；
3）升级增强版的毫米波雷达，能够在恶劣天气下工作，也能探测到前方车辆；
4）汽车主板的性能是前款产品的 40 倍，大幅提升计算能力。
特斯拉本次发布Autopilot 2.0的完全自动驾驶硬件变化最大的在于摄像头，数量从原先的1个增至8个。 这也预示着特斯拉感知端的技术路线从原先的摄像头，到倚重雷达，最后又重新选择了摄像头。
特斯拉不断变化的主控传感器选择说明感知端目前还没有完全固定的技术路线，特斯拉自身也是在探索中不断地前进。
Mobileye
实际上，与特斯拉“分手”，是Mobileye提出来的。
经过十几年的研发创新，Mobileye凭借其EyeQ系列芯片上的高级视觉算法可实现多种ADAS功能，已成为视觉系ADAS产品中绝对的龙头。
从2007年研发出的第一代EyeQ产品开始，Mobileye与意法半导体合作，不断升级芯片技术，优化视觉算法，EyeQ3产品的运算速度已是第一代产品的48倍。
Mobileye 的 EyeQ 系列产品升级情况
从表格中我们可以看到，前三代产品都只搭载一颗摄像头。目前EyeQ4、EyeQ5产品计划已发布，其中EyeQ4将开始使用多摄像头方案。预计未来通过芯片升级和算法优化，Mobileye的芯片算法将融合更多传感器，将推出多目摄像头+毫米波雷达+激光雷达的解决方案，全面支持无人驾驶。
2016年7月，Mobileye 宣布和特斯拉终止合作，EyeQ3 将会是 Mobileye 和特斯拉的最后一次合作。几乎同时，Mobileye 还宣布英特尔、宝马进行合作。今年3月，英特尔以溢价33%+的价格收购Mobileye。
其实，Mobileye与特斯拉终止合作的深层次原因在于：
1）风格策略不同。Mobileye相对保守，特斯拉相对激进，因此Mobileye更倾向与传统汽车厂商合作。
2）数据归属有争议。Mobileye提出了一个名为REM的概念，数据将由加入的成员共享，而作为积累里程以及数据最多的特斯拉不愿意白白把数据共享给别的车厂。
不过特斯拉只是Mobileye所面对的众多整车客户之一，但是与英特尔的强强联合，Mobileye将受益于英特尔从芯片端提供的资源帮助，构造基于视觉、实现传感器融合的强大算法，推动视觉算法持续向自动驾驶迈进。
趋势——多传感器融合
对比特斯拉跟Mobileye的产品升级我们会发现，“老情人”的肉体虽然分离了，但精神上还是一致的。都是通过增加传感器的数量，并让多个传感器融合来提高自动驾驶能力。
上面提到的特斯拉事故中，主要原因有：
毫米波雷达测距可能误判。毫米波雷达测到前方有巨大障碍物，但可能因为卡车反射面积过大和车身过高，毫米波雷达将拖挂车误判为悬挂在道路上方的交通指示牌；
摄像头强光致盲
前置摄像头 EyeQ3 可能误判。事故拖挂车是横置的，全身白色，没有色彩警告，在阳光强烈的环境下，图像识别系统容易将拖挂车误判为白云。
在极端情况下，特斯拉的毫米波雷达和前置摄像头均发生了误判。可见摄像头+毫米波雷达方案缺乏冗余度，容错性差， 难以完成自动驾驶的使命，需要多个传感器信息融合综合判断。
传感器各有优劣，难以互相替代，未来要实现自动驾驶，是一定需要多种（个） 传感器相互配合共同构成汽车的感知系统的。不同传感器的原理、功能各不相同，在不同的使用场景里可以发挥各自优势，难以互相替代。
多个同类或不同类传感器分别获得不同局部和类别的信息，这些信息之间可能相互补充，也可能存在冗余和矛盾，而控制中心最终只能下达唯一正确的指令，这就要求控制中心必须对多个传感器所得到的信息进行融合，综合判断。
试想一下，如果一个传感器所得到的信息要求汽车立即刹车，而另一传感器显示可以继续安全行驶，或者一个传感器要求汽车左转，而另一个传感器要求汽车右转，在这种情况下，如果不对传感器信息进行融合，汽车就会“感到迷茫而不知所措”， 最终可能导致意外的发生。
因此在使用多种（个）传感器的情况下，要想保证安全性，就必须对传感器进行信息融合。 多传感器融合可显着提高系统的冗余度和容错性，从而保证决策的快速性和正确性，是自动驾驶的必然趋势。
多传感器融合要求：
1）硬件层面，数量要足够，也就是不同种类的传感器都要配备，才能够保证信息获取充分且有冗余；
2）软件层面，算法要足够优化，数据处理速度要够快，且容错性要好，才能保证最终决策的快速性和正确性。
算法是多传感器融合的核心
简单地说，传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境，从而提高系统决策的正确性。
多传感器融合的基本原理
多传感器融合的基本原理类似于人类大脑对环境信息的综合处理过程。人类对外界环境的感知是通过将眼睛、耳朵、鼻子和四肢等感官（各种传感器）所探测的信息传输至大脑（信息融合中心），并与先验知识（数据库）进行综合，以便对其周围的环境和正在发生的事件做出快速准确地评估。
多传感器融合的体系结构：分布式、集中式和混合式。
1）分布式。先对各个独立传感器所获得的原始数据进行局部处理，然后再将结果送 入信息融合中心进行智能优化组合来获得最终的结果。分布式对通信带宽的需求低、 计算速度快、可靠性和延续性好，但跟踪的精度却远没有集中式高。
2）集中式。集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理， 可以实现实时融合。其数据处理的精度高，算法灵活，缺点是对处理器的要求高，可 靠性较低，数据量大，故难于实现。
3）混合式。混合式多传感器信息融合框架中，部分传感器采用集中式融合方式，剩 余的传感器采用分布式融合方式。混合式融合框架具有较强的适应能力，兼顾了集中 式融合和分布式的优点，稳定性强。混合式融合方式的结构比前两种融合方式的结构 复杂，这样就加大了通信和计算上的代价。
三种传感器融合体系结构的对比
目前多传感器融合的理论方法有贝叶斯准则法、卡尔曼滤波法、D-S 证据理论法、模糊集理论法、人工神经网络法等。因为多传感器的使用会使需要处理的信息量大增，这其中甚至有相互矛盾的信息，如何保证系统快速地处理数据，过滤无用、错误信息，从而保证系统最终做出及时正确的决策十分关键。
从我们上面的分析可看出，多传感器融合在硬件层面并不难实现，重点和难点都在算法上。多传感器融合软硬件难以分离，但算法是重点和难点，拥有很高的技术壁垒，因此算法将占据价值链的主要部分。
结语
在自动驾驶的浪潮下，自主品牌车企对智能化、电子化的需求比合资车企更加强劲，随之而来的便是自主一二级零部件供应商在该领域的机会，过去几年，零部件行业也在持续布局等待市场开启。
相对于控制层和执行层多被互联网巨头、整车厂及 Tier 1 所控制，传感器层的零部件供应商较为分散且门槛相对低一些，进入周期相对短一些。传感层仍然是国内企业进入自动驾驶产业最容易的切入点。
