在自动驾驶领域,纯视觉方案一直受到不少人的认可。双目摄像头由于模拟了人眼的工作方式,能够通过视差计算还原三维信息,在距离判断和空间感知上具有天然优势,因此被广泛应用于纯视觉系统中。
但在实地落地时,有些厂商并未止步于双目,而是选择了三目摄像头的方案。为什么有了双目,还要选择三目摄像头?
双目摄像头怎么“看出”深度?
虽然双目摄像头理论上可以还原三维、判断深度,但三目的设计能补足“双目”的短板,带来更多灵活性。
在聊三目之前,还是先看下双目摄像头是如何工作的。车载双目摄像头其实就是模仿人眼的视觉机制,通过两个略有间距的摄像头同时拍摄同一个场景,然后通过比较两幅图像之间的差异,算出深度信息。
与单目摄像头只能识别形状、颜色、或依赖学习来估算距离不同,双目系统能够直接量化物体到车辆的距离,这对于碰撞风险评估、精准停车、障碍物避让等任务非常关键。
相比单目视觉只看能到画面,双目可以让系统看到世界的深度。这也就是为什么不少自动驾驶、辅助驾驶的场景,会选择双目摄像头而不是单目的原因。
图片源自:网络
由于双目依赖图像中的特征(像纹理、边缘、对比)来匹配左右两幅图像中的对应点。如果画面单一、纹理很匀、或者光照差,匹配就容易失败,对深度估计就不可靠。
双目的深度计算也受视差大小影响,如果目标离摄像头很远,视差会变得非常小,小到可能低于一个像素,深度估算误差就比较大了。
双目系统还要求两个摄像头之间的“基线”(相对位置距离、对齐)必须精确,标定和同步也不容易。
因此,尽管双目是一个比单目更强、更直接的方案,但它在部分场景下依然表现不尽如人意,尤其在光照差、远近混合、遮挡/纹理不明显的时候,会表现出很强的不适应性。
三目/多目摄像头为啥成趋势?
现在越来越多车企使用三目摄像头,那三目摄像头是怎么设计的,它又解决了什么问题?其实对于自动驾驶来说,“多目视觉+多摄像头”的设计其实是为了提升系统对复杂环境的适应能力。视觉感知系统可分为单目、双目、以及多目(包括三目、四目、环视多摄像头等)三种主要方案。
三目不只是再加一颗摄像头这么简单。它往往包含一颗广角摄像头(视角宽、适合近距离与周边环境监测)、一个中视角摄像头(覆盖常规视野、中距离)和一个远距摄像头(视角窄、适合远距离观察,探测更远目标)三种不同焦段/视野组合。
这样一来,三目摄像头就能在“近–中–远”不同距离上都保持较好感知,这样既能看到近处突然出现的障碍、行人,也能监测远处的车辆或路况,保证在高速、长距离行驶时的安全与反应时间。
多目摄像头(比如三目)还能充分利用不同视角之间的信息关联。系统可以通过多视角一致性来交叉验证目标的存在和位置,在某一个视角因为遮挡、反光或角度原因看不清的时候,还能从另一个摄像头获得更清晰的观测结果。这种基于多视角的遮挡补偿能力,使得自动驾驶系统不再依赖单一路径或单一视角,从而减少漏检目标的情况,也让整体感知结果更加稳定可靠<span