5、自动驾驶中鱼眼相机的环境感知应用

自动驾驶中鱼眼相机的环境感知应用

1. 引言

过去十年，自动驾驶发展迅速，学术界和产业界都极为关注。自动驾驶汽车配备了多种传感器，如相机、激光雷达和雷达等。其中，相机能提供比其他传感器更丰富的语义信息。鱼眼相机作为一种特殊相机，具有比普通相机更大的视野（FoV），最大可达 180°，只需较少数量的鱼眼相机就能全面监控周围环境，在自动驾驶中是不可或缺的传感器，在某些场景中发挥着重要作用。

鱼眼相机与普通相机拍摄的同一位置图像直观上差异明显。鱼眼图像包含更多风景，但存在严重畸变，例如普通图像中的直路灯在鱼眼图像中会变弯曲。而且，随着距离增加，鱼眼图像会丢失信息，相同物体在普通图像中的像素比鱼眼图像多。

鱼眼相机有以下三个优点：
- 视野宽广 ：通常可达 180°，能覆盖更多盲区，有助于提高自动驾驶的安全性。
- 避免多相机校准 ：普通相机若要覆盖更大空间需进行组合，这就需要校准，且不同传感器间的校准复杂，不准确的校准会引入噪声，导致后续算法失效，而鱼眼相机可避免此问题。
- 语义信息丰富且性价比高 ：与激光雷达传感器类似，鱼眼相机有大视野，但相机能提供更丰富的语义信息，且具有更高的性价比，这对产业至关重要。

不过，鱼眼相机的应用也面临三个挑战：
- 数据集匮乏 ：深度学习方法在计算机视觉领域，尤其是环境感知方面日益流行，数据集变得尤为重要。近年来虽有许多自动驾驶环境感知数据集发布，但大多是普通视野的图像，鱼眼图像与普通图像差异大，普通图像难以从基于鱼眼的算法中受益，因此有价值