自动驾驶汽车的摄像机性能在恶劣天气和照明条件有限的情况下会受到影响。这时就需要热像仪等附加成像系统提供支持，从而满足完全自动驾驶的要求。Foresight 实现了长波红外 ( LWIR) 和 三原色 (RGB) 摄像机的人工智能传感器全面融合。
介绍
视觉对自动驾驶汽车而言至关重要。自动驾驶是人工智能技术革命的产物，无人驾驶汽车在很大程度上依赖作为主要传感器的摄像机。但目前的摄像机系统仍存在一个关键缺陷，即普通可见光摄像机无法在所有条件下正常工作，包括恶劣天气、黑暗或直接眩光环境。
要铺设通往自动驾驶技术的道路则需要对车辆周围环境有着语义层面的理解。这对于所有级别的自动驾驶技术而言均为事实，不仅是 4-5 级（半自动和全自动），还包括 1-3 级（ADAS、AEB、LKA、ACC 等）。换句话说，车辆的“智能代理“必须检测和接收有关其他车辆、行人、摩托车、路况以及更多参数的信息，从而在行驶时作出智能判断。RGB 摄像机（又称可见光摄像机）在黑暗环境中、面对强光或恶劣天气的条件下表现不佳。为了克服这一问题，许多公司都采取了不同的措施。一些公司添加了价格十分昂贵的激光雷达（并且存在一些限制），还有一些公司则选择使用高动态范围 (HDR) 摄像机。后者比起普通摄像机能够增加“亮度条件”的范围，但在光线不足的情况下仍然无法良好运作。而 Foresight 决定采用一个更为完善的解决方案。除了高质量的可见光摄像机外，Foresight 还在系统中添加了 LWIR 摄像机。
QuadSight 2.0™ 介绍
QuadSight 是一个配备了四台摄像机的视觉系统，包括两台 RGB 摄像机和两台 LWIR 摄像机，摄像机组间通过一个稳固底座进行固定。所有摄像机均已同步，并以 30 fps 的速度运行。Foresight 开发了一项基于共同坐标轴校准所有摄像机的独特技术（专利申请中），从而实现 RGB 和 LWIR 摄像机接收图像的精确和像素级融合。这一系统即使在恶劣的光线条件下也能洞察一切。
提取图像数据
即使双眼能够洞察一切，但要理解看见的内容则需要大脑的参与。如今基于 RGB 图像实现最佳检测性能之所以如此简单，主要归功于两个重要的技术概念和进步：
- 用于自动驾驶汽车的多个免费数据集。图像具有多样性，而准确的标识提供了绝佳的数据。此外，还有一些可以生成高质量综合数据的模拟工具。
- 开源和公开的最佳性能神经网络解决方案。
神经网络通过处理实例进行学习，每个实例都包含一个已知的“输入”和“结果”，在两者间形成概率加权关联，储存在网络本身的数据结构中。在获得一定数量的实例后，该网络便有能力利用通过实例集建立的关联来预测输入产生的结果。（维基百科）
训练 RGB 摄像机深度学习检测系统的基本流程包括：
- 下载预训练网络。
- 查找几个可用的开源数据集。
- 增强并再次训练网络。
- 使用成像系统经过标识的专有小型数据集进行调整。
- 执行艰苦糟糕的挖掘周期。
1-3 步省去了对大量高质量标识图像的需求，因为可见光 RGB 摄像机已经能够获取这些图像。但如果使用另一种成像系统——即 LWIR 摄像机或者短波红外 (SWIR) 摄像机——会发生什么？如何使网络在不同的数据域中工作，而无需在全新的标识数据集上训练一个新的网络？
深度神经网络跨域训练
为响应不同的客户需求，Foresight 开发了多种跨域训练方案。
A. 仅适用于红外图像的神经网络
利用一个稍作调整的常规 RGB 网络来匹配红外图像（颜色、像素尺寸、长宽比等）。然后将一系列 RGB 红外图像组进行匹配，通过师生观训练红外网络，由 RGB 网络训练红外网络。通过这种方式，我们可以在非常短的时间内实现红外神经网络的最佳性能。该红外网络可应用在使用单个红外摄像机的系统中（如安防、监控、基础设施、医疗系统等）。
B. 优化后的 RGB 网络 + 红外网络
利用红外网络改善 RGB 网络的性能。在为每个通道制定一个置信度分数后，网络会根据神经网络准确检测特定图像中物体的能力返回计算出的置信度分数。例如，如果图像很暗，RGB 网络返回的置信度分数就会很低。两个深度神经网络在融合数据集上运行且不受监管，并搜索其中一个深度神经网络置信分数低而另一个置信度分数高的图像。之后，图像置信度分数高的通道会被用来训练置信度分数较低的通道使用的神经网络。这一过程在最苛刻的条件下对两个深度神经网络进行训练，并大幅优化了它们的性能。其中一个结果是，RGB 深度神经网络在黑暗场景和直接眩光环境中的表现有了很大改善。
C. 融合图像（R、G、B、红外）网络
利用四维图像（R、G、B、红外）有助于集成了 RGB 和红外摄像机的系统实现最佳性能。该深度神经网络的检测得分为 B 部分提到的两个深度神经网络所得分数之和，而且只使用了一半的计算资源。这种组合/融合将返回单个系统的最佳结果。
然而，在选择融合网络方案时必须考虑一些因素。通过使用两个不同的深度神经网络（B 部分），系统获得了自动驾驶汽车安全性所需的冗余支持（防止在遇到遮挡、镜头上存在污垢、其中一个传感器故障等情况下失灵）。此外，改进后的 RGB + 红外网络更具灵活性，即使移除其中一个摄像机（RGB 或红外）也不影响其余通道的深度神经网络。
总结
RGB 摄像机可能仍会是自动驾驶汽车主要应用的传感器。RGB 摄像机在某些情况下不够可靠，需要额外的传感器支持。在选择提供支持的传感器时，应考虑以下几点：
- 传感器在影响 RGB 摄像机性能的环境条件下的性能（光照、天气等）。
- 传感器价格
- 训练人工智能算法的难易程度和完整数据融合的能力
LWIR 摄像机彻底满足上述所有要求。QuadSight 视觉系统充分利用最先进的人工智能能力，可快速、可靠地实现完整的数据融合，使真正意义上的自动驾驶汽车成为现实。
