能够感知三维世界是必不可少的能力。这可能也是人类拥有两只眼睛的原因。如果这对人类而言是事实，那么自动驾驶汽车是否也该拥有两只眼睛？
摄像机是当今最精确的仪器，它能够以很高分辨率捕捉准确的数据。就像人的眼睛一样，摄像机可以捕捉到某个场景的分辨率、小细节和生气，这样的细节是包括雷达、超声波和激光在内的其他传感器所无法比拟的。当某个人能够像人眼捕捉周围的世界一样从真实的视角描绘出某个场景时，便一定会赢得人们的钦佩和赞赏。
下一项工程挑战是实时智能机器视觉和感知，有人认为这是人类将经历的最重大的革命之一。智能机器视觉的应用包括实时医疗手术机器人、智能空中物流、国土安全和作战等等。由自动驾驶人工智能驱动的不需要驾驶室或方向盘的汽车则在该技术应用名单中名列前茅。截至目前，自动驾驶汽车行业工作的重心都集中在高级驾驶辅助系统 (ADAS) 上，因为这是实现汽车完全自动驾驶的第一步。所有 ADAS 应用的核心支柱都是摄像机，通常为单眼视觉系统或立体视觉系统。无论采用哪种方式，摄像机都是确保安全自动驾驶汽车能够“看见和驾驶”的基础。
这些应用可以通过由安装在前部、后部和侧面的摄像机组成的视觉系统实现，用于行人检测、交通标志识别、盲点和车道检测系统。其他功能，如自适应巡航控制 (ACC)，可以通过融合雷达或激光雷达数据与摄像机功能稳定实现，通常用于探测非弯道道路以及更快的行驶速度。
摄像机所遇到的所有现实世界场景均为三维场景。现实世界中具有不同深度的物体在摄像机传感器映射的二维世界中看起来可能都是相邻的。
例如，上图前景中的玩具车比背景中的储物架更靠近摄像机。但具体有多近呢？这完全取决于拍摄二维图像时的角度和距离。为了能够更好地理解这一概念，请注意图像之间的视角差异，以及汽车如何在只改变摄像机距离、角度或高度的情况下变得越来越远。
人的大脑具有判断力，因此我们能够根据二维场景确定深度。而安装在汽车前部的摄像机却难以对视角进行分析。
捕捉需要处理和分析的视频的单目视觉传感器被称为单目（单眼）系统或单系统。有两个相互分离摄像机的系统被称为立体视觉系统。一般而言，用于 ADAS 和 AV 用途的单系统尺寸较小，因为它们只有一个摄像机模块，而立体系统需要两个相互分离的组件。基线（两台摄像机之间的距离）的范围从几厘米到几米不等，视具体要求而定。此外，单系统的图像处理要求不像立体系统一样苛刻。下表为单摄像机 ADAS 和立体摄像机 ADAS 基本属性的比较结果。
单摄像机视频系统确实可以做很多事。支持该系统的分析技术可以准确识别车道、行人、交通标识和行车路径上的其他车辆。然而，在从单目视觉传感器接收到的二维平面框架中计算世界三维视图方面，单系统还不够强大和可靠。能够感知三维世界至关重要，而这可能也是人类和大多数高等动物天生就拥有两只眼睛的原因。
那么，自动驾驶汽车立体视觉系统的挑战（和机遇）是什么？
我们简化一下立体视觉系统的工作原理：
在计算与某个物体间距时，需要找到该物体在两台立体摄像机上的投影差。一个特定的点在右边的摄像机图像中所移动的像素数与左边的摄像机图像相比被定义为差值。两台立体摄像机相互校准后，所测得的差值等于该物体与摄像机的间距。
立体系统的最大距离范围和深度精度由许多参数决定。其中最重要的可能为以下三个参数：
- 摄像机焦距
- 基线
- 每台摄像机的像素尺寸（密度）
于是我们便遇到第一项挑战，即
物理和光流约束：
- 虽然较小的像素尺寸增加了距离范围，但却需要更多的计算资源。
- 虽然两台摄像机的间距越大，距离范围和精度就越高，但却很难维持一个精确的基线。
- 虽然较大的焦距增加了距离范围，但却缩小了视场 (FOV)。
由于 AV 系统需要安装在车辆上，因此基线会受到车辆尺寸的限制。狭窄的视场会影响系统对所处位置与驾驶车辆方向存在一定夹角的物体的探测能力。
计算：
下面的高级框图展示了某个立体视觉系统经历的流程。
差异计算对计算和内存的要求非常高。实际上，大部分通用处理器几乎不足以在 ADAS 或 AV 的高标准下实时执行这种计算。添加更高级的算法，例如用于车道保持和分类的人工智能，则需要更强大的性能。这意味着设计一个实时 AV 立体视觉系统需要利用专用硬件。如今，随着配备专用硬件加速器的处理器不断发展且价格更为合理，打造高性能立体系统的任务成为值得考虑的可行方案。可靠性：ADAS 和自动驾驶汽车的主要目的是用于避免交通事故发生或至少能够大幅减少交通事故发生的频率。ADAS 和 AV 视觉系统必须足够稳定和可靠以正确估测距离，对可能发生的碰撞发出预警，还要尽可能减少误报情况。这就要求系统的设计和开发具有最高水平的可靠性，并使用能够承受汽车安全应用的独特电气系统。Foresight 有着多年立体视觉系统开发经验，使用最高标准的技术和方案，并以国土安全应用知识为基准。QuadSight 2.0™ 系统为业内首创四摄像头多光谱视觉解决方案，由经过验证的高级图像处理算法和 AI 能力驱动。该系统完美融合 4 个摄像头——2 组立体长波红外（热）和可见光摄像头，在最具挑战性的照明及气候条件下实现高度准确和可靠的物体检测。这正是自动驾驶汽车的未来。
