实习日志3.23 opencv单目 双目 消失点

今天和老板沟通了项目需求，下周去实地采样，今天要做的就是了解什么是消失点以及单目，双目。ps.关于为啥用c++，而不用python，集成+速度快；为啥不用雷达，太贵。

• 单目 vs 双目

  
  1.mono
  优点：结构简单，成本低，便于标定和识别
  缺点：在单张图片里，无法确定一个物体的真实大小。它可能是一个很大但很远的物体，也可能是一个很近很小的物体。通过相机的运动形成视差，可以测量物体相对深度。但是单目SLAM估计的轨迹和地图将与真实的轨迹和地图相差一个因子：就是尺度（scale），单凭图像无法确定这个真实尺度，所以称尺度不确定性。
  （基于单目手眼相机和激光测距仪，提出了一种尺寸未知的空间矩形平面的位姿测量算法）--用于标定和定位

  2.stereo
  优点：基线距离越大，能够测量的距离就越远；并且可以运用到室内和室外。
  缺点：配置与标定较为复杂； 深度量程和精度受到双目基线与分辨率限制；视差计算非常消耗计算资源，需要GPU/FPGA设备加速；用两部相机来定位。

       对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相           机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在           固 定 一部相机的坐标系中的坐标，即确定了特征点的位置。

• 双目检测原理：单目图像是三维世界中一个视锥的二维投影，丢失了深度信息。双目视觉可以根据物体投影在左右图像上的位置差异计算出视差，并在已知相机参数的情况下根据极线约束计算出像素的深度。到每个像素的深度值后，我们可以逆投影得到视锥中每个像素的三维坐标。因此，双目视觉系统不仅能够预测物体的二维位置和类别信息，还能够预测物体在三维空间中的位置，实现三维目标检测。
• 双目检测网络也可以分为基础骨干、特征融合、预测网络三部分。首先，双目检测通常采用两个权重共享的基础骨干分别得到左右目的单目特征。然后，双目检测进行特征融合，除上文提到的构建特征金字塔外，一般还需要构建双目特征。双目特征构建的方式主要包括直接串接（Concatenation）和平面扫描法（PlaneSweeping），构建的特征坐标空间属于视锥投影空间。最后，预测网络可以直接使用融合后的视锥空间特征、也可将视锥空间特征显式逆投影到三维空间进行分类和回归。
• 根据预测网络所使用的特征空间，本文将双目视觉目标检测方法分为两类：基于直接视锥空间的目标检测方法和基于显式逆投影空间的目标检测方法。基于直接视锥空间的检测过程一般不包含逆投影变换，直接使用基于视锥空间的双目特征进行检测；而基于显式逆投影空间的检测方法一般需要将双目特征进行逆投影变换，生成三维空间上均匀的特征，适合构造体素或转换为俯视图进行检测。
• 

原文链接：https://blog.csdn.net/lc574260570/article/details/86256036

• 消失点：消失点是透视图图像平面上的一个点，三维空间中相互平行的线的二维透视投影（或图形）似乎会聚。图像中的所有东西似乎都汇聚在一个点上，这个点被称为消失点。

• 使用opencv实现图片的消失点检测：

• 相机标定：

估计相机参数的过程称为相机标定。

这意味着我们拥有确定现实世界中的 3D 点与其在该校准相机捕获的图像中对应的 2D 投影（像素）之间的准确关系所需的有关相机的所有信息（参数或系数）。

通常这意味着恢复两种参数：

相机/镜头系统的内部参数：例如。镜头的焦距、光学中心和径向畸变系数。
外部参数：这是指相机相对于某个世界坐标系的方向（旋转和平移）。

原文链接：https://blog.csdn.net/weixin_43229348/article/details/123520653