如何知道立体摄像机是否需要校准

驾驶辅助系统

分享这篇文章

介绍

如果你戴眼镜,那么你一定有过这样的经历:早晨醒来,在床头柜上四处摸索你的眼镜。然后轻轻地把它拿起来,确定没有拿反,再把它架在鼻翼上。睁开眼睛的同时心里想着千万别拿错了,毕竟这样你才能看清楚熟悉的卧室。如果视觉不清晰,你还需要揉几下眼睛,清理掉眼睛的分泌物。如果这样还是看不清,你的直觉便会告诉你,你可能需要重新验光了。

就像我们发觉视觉不清晰时会想要重新验光一样,自动驾驶汽车也需要知道自己的传感器精确与否或者是否需要校准。

立体摄像机遇到这类问题则比较难解决,毕竟这类摄像机在校准时会互相进行参照,这就意味着偏离校准值的可能性也会翻倍。虽然单机系统不会特别受到微小振动和轻微移动的影响,但这些微小变化却会直接影响到立体摄像机,可能会导致其精度下降,有时甚至会完全偏离校准值。但这并不表示我们不该在自动驾驶汽车中使用立体系统。使用立体系统有诸多好处,而且很可能立体视觉系统对于彻底实现自动驾驶而言必不可少。我们必须克服这一技术和算法挑战,而第一项任务便是确定偏离立体校准值的时间,并激活 DynamiCal™ 流程使其发挥作用。

在解释如何进行校准评分之前需要提一下,高精度的 DynamiCal™ 可能是较难开发的一个流程。在 Foresight,对于能够成为促成这一重大里程碑和进步的小型组织团队中的一员,我们感到十分自豪。

现在,我们来详细了解一下。

在实验室中相互参照校准过的立体摄像机,在像素方面,它们并不能永远维持完美的校准状态。即便它们安装在相当稳固的底座上,摄像机也可能会随着时间推移出现轻微移动,尤其是在汽车高速行驶的时候。必须要有一种能够计算并确保摄像机始终保持校准状态的方法,毕竟偏离校准状态会危及乘客的生命和健康

当某个系统校准不良

立体摄像机系统所采集的最有价值的信息是场景的深度图(图 1)。只要内部或外部摄像机参数发生变化,深度估测也会很快受到影响(如图 2 所示)。一般而言,如果摄像机光学元件在安装后没有变动,那么随着时间推移,可能受到影响的主要外部参数则是摄像机之间的相对位置。

图 1 - 深度图对比真实场景(已校准)
图 2 - 深度图对比真实场景(校准不良)

要了解或测量一对立体图像的深度估测质量,通常可以通过观察两者间的差异或一致性来进行评估。从分析的角度来看,可以计算出一个分数来评定深度估测流程成功与否。

然后,通过使用计算机视觉技术分析采集的立体图像便有可能检测出立体摄像机的参数校准不良并进行预警。

方法

以下是解决这一问题的几种方法:

  1. 通过计算出的差异图,将其中一个图像重新映射到另一个图像上,然后测量两个图像之间的差异。这种方法也可能用于判断差异准确性——具体取决于它是否足够稳定和良好。
  2. 通过匹配特征和分析垂直偏移量(在完全校准的情况下偏移量为零)来测量两幅图像的一致性。
  3. 使用冗余传感器作为参考,比较每个传感器测量的深度图。这种方法主要与自动驾驶汽车的应用目的相关,因为在这种情况下,其他冗余传感器为必要元件。
  1. 将 DynamiCal™ 方法应用于图像分析,计算估测的新参数与原始参数间的差异。

有三种主要影响因素可能导致不良差异,表明摄像机偏离校准值。

  1. 立体图像之间旋转角度的变化
  2. 立体图像之间亮度/对比度的变化
  3. 立体图像之间的遮挡差异——一个图像的某个部分在视觉上被某个物体遮挡,而相同区域在另一个图像中并未被该物体遮挡。

在计算校准分数时,所采用的方法应考虑上述影响因素。并非所有方法都足以克服这些影响。根据不同应用目的,推荐组合使用不同的方法

测试案例 – 自动驾驶汽车

规模最大和前景最好的应用领域之一必然是自动驾驶汽车。先前提到过,出于对极端情况复杂性和生命安全的考虑,完全自动驾驶的汽车可能会配备立体视觉系统。

我们比较了两种立体系统的设置:(a) 两台摄像机稳定安装在稳固的底座上;(b) 通过磁铁将两个独立的摄像机模块连接到车顶。

基于两种配置,我们在标准市区陡坡上进行了试驾,测试结果如下:

配备稳固底座的立体系统校准分数非常高,即每一帧都如预想的一样保持良好的校准状态(图 3)。

图 3 - 校准场景下的校准分数

相比之下,摄像机独立安装的系统,每当车辆遇到小颠簸或坑洞导致摄像机轻微移动时,测量校准分数都会非常低。如图 4 所示,这在普通的驾驶环境中非常容易发生。

图 5 展示了校准分数测量值,检测到校准损耗(用 90% 或更少的分数表示),并触发 Foresight 的 DynamiCal™ 算法,相应地,该算法会重新校准系统,从而将校准分数拉回更高水平。

红外热成像自动驾驶
图 4 - 驾驶场景
图 5 - 校准不良场景下以及触发 DynamiCal™ 时的分数。DynamiCal™ 的激活时长取决于具体场景和场景特征

总结

我们的测试证明,DynamiCal™ 技术对于保障自动驾驶汽车立体视觉系统的安全性和稳定性而言十分必要。作为立体技术领先的开拓者,Foresight 具有引领世界自动驾驶汽车开启新征程的独特能力和突破性技术。

联系方式

订阅我们的报刊