【深度相机系列二】深度相机原理揭秘--飞行时间(TOF)

深度相机——飞行时间TOF 本文只用作笔记,方便日后查阅。 深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。 一、TOF简介 飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。TOF相... 阅读详情

本文已经首发在个人微信公共号:计算机视觉life(微信号CV_life,欢迎关注!


深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。


飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后接收从物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。


TOF法根据调制方法的不同,一般可以分为两种:脉冲调制(Pulsed Modulation)和连续波调制(Continuous Wave Modulation)。


飞行时间法深度测量基本原理示意图



脉冲调制


脉冲调制方案的原理比较简单,如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。


光脉冲法工作原理示意图


脉冲调制方案的照射光源一般采用方波脉冲调制,这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元(如光电二极管)组成,它可以将入射光转换为电流,感光单元连接着多个高频转换开关(下图的G0,G1)可以把电流导入不同的可以储存电荷(下图S0,S1)的电容里。




相机上的控制单元打开光源然后再关闭,发出一个光脉冲。在同一时刻,控制单元打开和关闭接收端的电子快门。接收端接收到的电荷S0被存储在感光元件中。


然后,控制单元第二次打开并关闭光源。这次快门打开时间较晚,即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来。具体过程如下图所示。




因为单个光脉冲的持续时间非常短,此过程会重复几千次,直到达到曝光时间。然后感光传感器中的值会被读出,实际距离可以根据这些值来计算。


记光的速度为c,tp为光脉冲的持续时间, S0表示较早的快门收集的电荷, S1表示延迟的快门收集的电荷,那么距离d可以由如下公式计算:

最小的可测量距离是:在较早的快门期间S0中收集了所有的电荷,而在延迟的快门期间S1没有收集到电荷,即S1 = 0。代入公式会得出最小可测量距离d=0。


最大的可测量的距离是:在S1中收集了所有电荷,而在S0中根本没有收集到电荷。然后,该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如,tp = 50 ns,代入上式,得到最大测量距离d = 7.5m。


优点:

  1. 测量方法简单,响应较快

  2. 由于发射端能量较高,所以一定程度上降低了背景光的干扰


缺点:

  1. 发射端需要产生高频高强度脉冲,对物理器件性能要求很高

  2. 对时间测量精度要求较高

  3. 环境散射光对测量结果有一定影响


连续波调制


实际应用中,通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导),因此可以利用相位偏移来测量距离。



连续波调制原理示意图


连续波调制的测量原理相对脉冲调制来说复杂一些,我们以最常用的连续正弦波调制来推导一下测量的原理。



连续正弦波调制测量方法示意图


连续正弦波调制测量方法,具体的推导过程如下。序号1-9对应下图的公式1-9。

  1. 假设发射的正弦信号s(t)振幅是a,调制频率是f

  2. 经过时延 △t后接收到的信号为接收r(t),衰减后的振幅为A,强度偏移(由环境光引起)为B

  3. 四个采样时间间隔相等,均为T/4

  4. 根据上述采样时间可以列出四个方程组

  5. 从而可以计算出发射和接收的正弦信号的相位偏移△φ

  6. 据此可以根据(6)中公式计算物体和深度相机的距离d

  7. 接收信号的衰减后的振幅A的计算结果

  8. 接收信号强度偏移B的计算结果,反映了环境光

  9. A, B的值间接的反应了深度的测量精度,深度测量方差可以用公式9近似表示。



连续正弦波调制公式推导


优点:

  1. 相位偏移(公式5)中的(r2-r0)和(r1-r3)相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差。

  2. 可以根据接收信号的振幅A和强度偏移B来间接的估算深度测量结果的精确程度(方差)。

  3. 不要求光源必须是短时高强度脉冲,可以采用不同类型的光源,运用不同的调制方法


缺点:

  1. 需要多次采样积分,测量时间较长,限制了相机的帧率

  2. 需要多次采样积分,测量运动物体时可能会产生运动模糊。



总结


目前的消费级TOF深度相机主要有:微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用,最典型的就是微软的Kinect 2。


TOF深度相机对时间测量的精度要求较高,即使采用最高精度的电子元器件,也很难达到毫米级的精度。因此,在近距离测量领域,尤其是1m范围内,TOF深度相机的精度与其他深度相机相比还具有较大的差距,这限制它在近距离高精度领域的应用。


但是,从前面的原理不难看出,TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离;TOF深度相机与基于特征匹配原理的深度相机不同,其测量精度不会随着测量距离的增大而降低,其测量误差在整个测量范围内基本上是固定的;TOF深度相机抗干扰能力也较强。因此,在测量距离要求比较远的场合(如无人驾驶),TOF深度相机具有非常明显的优势。





深度相机系列三】深度相机原理揭秘--双目立体视觉 本文已经首发在个人微信公共号:计算机视觉life(微信号CV_life),欢迎关注! 导读 为什么非得用双目相机才能得到深度? 双目立体视觉深度相机的工作流程 双目立体视觉深度相机详细工作原理     理想双目相机成像模型     极线约束     图像矫正技术     基于滑动窗口的图像匹配     基于能量优化的图像匹配 阅读详情

相关推荐

深度剖析 ToF 技术:原理、优劣、数据纠错与工业应用全解析

飞行时间(Time-of-Flight,简称ToF)技术是一种先进的三维成像技术,其工作机制与三维激光扫描技术有着相似之处。ToF技术的主要优势在于其能够一次性捕获整个场景的深度信息,而不是通过逐点扫描的方式来获取,这使得它特别适合于动态环境的三维成像

MRDVS的博客 4080

Tof原理及应用

1. 引言 ToF(Time of flight)是飞行时间法,它是一种深度测量的方法,精度为厘米级。因为其原理简单,小型化,测量距离范围较大,抗干扰能力较强,而得到广泛的应用,比如,微软的Kinect 2.0,Iphone 12手机的ToF相机,无人驾驶都应用到了ToF技术。下面就对ToF的基本原理,优缺点,影响ToF精度的因素这几方面展开描述。 2. 原理 ToF的基本原理是通过连续发射光脉冲(一般为不可见光)到被测物体上,然后接收从物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离

正在挣扎中的人 4万+

RGB相机、深度相机以及LiDAR成像原理

成像原理

家鸽的代码屋 1万+

深度相机(TOF)的工作原理

TOF相机内部每个像素经过上述过程都可以得到一个对应的距离,所有的像素点测量的距离就构成了一幅深度图,如下图所示。左边是原图,右边是对应的深度图。可以看到深度图其实是一张灰度图,它是一张三维的图:水平垂直坐标对应像素位置,该位置的灰度值对应的是该像素距离摄像头的距离。所以深度图中的每个像素可以表示空间中一个点的三维坐标,所以深度图中的每个像素也称为体像素(voxel)。

TyearLin的专栏 8533

深度相机原理揭秘飞行时间法(TOF

版权声明:本文为博主原创文章,未经博主允许不得转载。违者必究。 https://blog.csdn.net/electech6/article/details/78349107 </div> <link rel="styles...

Crystal_YS的博客 1万+

深度相机)——飞行时间TOF

   深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。一、TOF简介        飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激...

qq_37764129的博客 2万+

Tof 深度相机原理

Tof 深度相机原理

weixin_39354845的博客 2123

一文览尽ToF深度相机技术

点击上方“3D视觉工坊”,选择“星标”干货第一时间送达摘要:现行专业级或消费级的3D相机所采用的三角法(Triangulation)和飞时法(Time-of-Flight,ToF),现因...

3D视觉工坊 1万+

双目、结构光、tof,三种深度相机原理区别看这一篇就够了!

最近刷知乎看到这样一个问题👇碰巧B站也有朋友在问这种类似的问题,我寻思刚开始接触深度相机的朋友们应该都会有这种疑问,所以我整理了一下这个内容。大家也可以去知乎看我的回答,别忘了三连哦~深度相机也被称为3D相机,它和普通2D相机的区别在于可以获取物体到相机的距离信息,加之2D平面的X,Y坐标,可计算出每个点的三维坐标,以此我们可推断深度相机的应用,如三维重建、目标定位、导航避障等。

oakchina的博客 4万+

深度相机系列深度相机分类之飞行时间法(TOF

目前的深度相机根据其工作原理可以分为三种:TOF、RGB双目、结构光。 1. TOF简介 飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处,都是由光源、光学部件、传感器、控制电路以及处理电路

lemonxiaoxiao的博客 2803

深度相机TOF、RGB双目、结构光原理及优势对比

目前结构光技术有如下几种变种:一种是单目IR+投影红外点阵,另外一种是双目IR+投影红外点阵,这样相当于结构光+双目立体融合了,深度测量效果会比前者好一些,比如Intel RealSense R200采用的就是双目IR+投影红外点阵,不足之处就是体积较大。但是,在强光下,结构光核心技术激光散斑会被淹没,因此,不合适室外。3.TOF方案,传感器技术不是很成熟,因此,分辨率较低,成本高,但由于其原理与另外两种完全不同,实时性高,不需要额外增加计算资源,几乎无算法开发工作量,是未来发展的一个重要方向。

joanna_xiao的博客 3858

ToF原理以及应用

下图中Case 1为正常情况下的脉冲ToF测距场景,但当测量距离较远,光脉冲飞行一个来回的时间超过了两次连续发射脉冲的间隔,传感器在发射第个光脉冲后才接收到第一个光脉冲的反射波,就会把该反射波错认为是第个光脉冲的近距离反射波,这时就会出现相位模糊现象,如Case 2。与脉冲波调制不同的是,连续波调制法每次测量获取多个样本,每个样本之间相位差为90°,共采4个样本,分别是C1-C4,大部分的ToF都是使用这种方法,即4相法,这样在数字运算中比较容易实现。,其表示ToF传感器分离和收集光电信号的好坏程度。

weixin_45977690的博客 7729

深度相机工作原理 (AMCW)

工作原理 ToF成像深度相机实现调幅连续波 (AMCW) 时差测距 (ToF) 原理。 该相机将近红外 (NIR) 频谱中的调制光投射到场景中。 然后,它会记录光线从相机传播到场景,然后从场景返回到相机所花费的间接时间测量值。 处理这些测量值可以生成深度图。 深度图是图像每个像素的一组 Z 坐标值,以毫米为单位。 连同深度图一起,我们还可以获得所谓的清晰 IR 读数。 清晰 IR 读数中的像素值与从场景返回的光线量成正比。 图像类似于普通的 IR 图像。 下图显示了示例深度图(左)的对应的清晰 IR

格物智慧SkyPhy 8506

3D深度传感ToF技术的基本原理解析

点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达飞行时间ToF)相机凭借更小的外形尺寸、更宽的动态感测范围,以及在多种环境下工作的能力,成为首选的深度传感方法。虽然...

小白学视觉 1万+

嵌入式硬件篇---Tof

TOF飞行时间)技术通过测量光信号往返时间计算距离,分为直接测量(dTOF)和间接相位测量(iTOF)两类。其核心参数包括量程、精度、刷新率和抗干扰性等,广泛应用于消费电子(如人脸识别)、机器人避障、工业检测和自动驾驶等领域。典型模块如VL53L0X(iTOF)和LIDAR-Lite(dTOF)可实现单点测距或3D成像。相比超声波和红外技术,TOF具有更高精度和速度,正成为主流距离感知方案。

在你不想做的时候,正是应该做的时候。 3270

TOF科普篇

转自[http://www.sohu.com/a/127225089_296134] TOF技术原理 ToF是Time of Flight的缩写,直译为飞行时间,通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。 军事上和无人驾驶汽车上用的工业级激光雷达(LiDAR)也采用到了ToF技术,利用激光束来探测目标...

zhy295006359的博客 3万+

3D视觉传感技术:时间飞行(ToF) 技术分析

现行的深度传感镜头作为智能手机的一大创新,已在目前主流智能手机上广泛应用。因苹果在最新版iPad Pro上搭载了D-ToF(直接飞行时间法)深度传感镜头引起了极大的关注,推动了3D视觉在消...

3D视觉工坊 1万+

深度相机()——深度相机模型及用途介绍

详细介绍什么是深度相机,已经深度相机的分类和应用场景

bulletstart的博客 3528
上一篇: 【深度相机系列一】iPhone X的原深感相机到底是个什么玩意?
下一篇: 【深度相机系列三】深度相机原理揭秘--双目立体视觉
计算机视觉life
博客等级 码龄12年 4319粉丝 209原创
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值