双目深度相机技术全栈解析：从三角测距原理到端侧AI部署的工程实现

┌─────────────────────────────────────────────────┐
│              应用层（导航/抓取/检测/SLAM）          │
├─────────────────────────────────────────────────┤
│           感知算法层（目标检测/语义分割）            │
├─────────────────────────────────────────────────┤
│         深度计算层（视差→深度→点云）               │
├─────────────────────────────────────────────────┤
│    立体匹配层（代价计算+聚合+优化）                │
│    ├─ 传统：SAD/Census/SGM                       │
│    └─ 深度学习：PSMNet/CREStereo/FoundationStereo│
├─────────────────────────────────────────────────┤
│    图像预处理层（立体校正/畸变矫正）               │
├─────────────────────────────────────────────────┤
│    硬件层（双CMOS+硬件同步+ISP+SOC+NPU）          │
└─────────────────────────────────────────────────┘

K = [ fx   0   cx ]
    [  0  fy   cy ]
    [  0   0    1 ]

# OpenCV双目标定核心代码
import cv2
import numpy as np

# 1. 棋盘格角点检测
ret, corners = cv2.findChessboardCorners(gray, (9,6), None)

# 2. 亚像素精化
corners2 = cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)

# 3. 双目标定
retval, cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, \
    R, T, E, F = cv2.stereoCalibrate(
        objectPoints, imagePoints1, imagePoints2,
        cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2,
        imageSize, flags=cv2.CALIB_FIX_INTRINSIC)

# 4. 立体校正
R1, R2, P1, P2, Q, _, _ = cv2.stereoRectify(
    cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2,
    imageSize, R, T)

# 5. 计算校正映射
map1x, map1y = cv2.initUndistortRectifyMap(
    cameraMatrix1, distCoeffs1, R1, P1, imageSize, cv2.CV_32FC1)
map2x, map2y = cv2.initUndistortRectifyMap(
    cameraMatrix2, distCoeffs2, R2, P2, imageSize, cv2.CV_32FC1)

# 6. 应用校正
img1_rect = cv2.remap(img1, map1x, map1y, cv2.INTER_LINEAR)
img2_rect = cv2.remap(img2, map2x, map2y, cv2.INTER_LINEAR)

# Census Transform核心实现
def census_transform(img, window_size=5):
    h, w = img.shape
    census = np.zeros((h, w), dtype=np.uint64)
    offset = window_size // 2
    for y in range(offset, h - offset):
        for x in range(offset, w - offset):
            center = img[y, x]
            bits = 0
            for dy in range(-offset, offset + 1):
                for dx in range(-offset, offset + 1):
                    if dy == 0 and dx == 0:
                        continue
                    bits <<= 1
                    if img[y + dy, x + dx] < center:
                        bits |= 1
            census[y, x] = bits
    return census

# OpenCV SGBM
matcher = cv2.StereoSGBM_create(
    minDisparity=0,
    numDisparities=128,      # 视差搜索范围
    blockSize=7,             # 匹配块大小
    P1=8 * 3 * 7 * 7,       # 平滑惩罚1（小变化）
    P2=32 * 3 * 7 * 7,      # 平滑惩罚2（大变化）
    disp12MaxDiff=1,         # 左右一致性检验
    uniquenessRatio=10,      # 唯一性比率
    speckleWindowSize=100,   # 散斑滤波窗口
    speckleRange=32          # 散斑滤波范围
)
disparity = matcher.compute(left_rect, right_rect)

┌──────────┐    ┌──────────┐
│ 左CMOS   │    │ 右CMOS   │    全局快门，硬件同步触发
│ 1280×    │    │ 1280×    │
│ 1080@30  │    │ 1080@30  │
│  3.0μm   │    │  3.0μm   │
└────┬─────┘    └────┬─────┘
     │ MIPI         │ MIPI
     └──────┬───────┘
            │
     ┌──────┴───────┐
     │  欧冶SD3589  │    双核Cortex-A55 @1.0GHz
     │     SOC      │
     │  ┌────────┐  │
     │  │  ISP   │  │    图像信号处理
     │  ├────────┤  │
     │  │  DPU   │  │    深度处理单元（立体匹配加速）
     │  ├────────┤  │
     │  │  NPU   │  │    AI推理（4T INT8）
     │  └────────┘  │
     └──────┬───────┘
            │
     ┌──────┴───────┐
     │ USB 3.0 /    │    UVC协议 + MIPI_TX_CSI
     │ MIPI / I2C / │    + 串口
     │ UART         │
     └──────────────┘

# 端侧AI推理示例（伪代码）
depth_map = stereo_match(left_img, right_img)  # DPU加速
detections = npu_inference(left_img)           # NPU加速
for det in detections:
    det['distance'] = depth_map[det['y'], det['x']]
# 输出：[{class: 'person', distance: 3.2m, bbox: ...}, ...]

import stereo_camera_sdk as sdk

cam = sdk.Camera()
cam.open(device_id=0)
cam.set_resolution(1280, 720)
cam.set_fps(30)
cam.enable_depth(True)
cam.enable_pointcloud(True)
cam.enable_imu(True)

while True:
    frame = cam.get_frame()
    left_img = frame.left
    right_img = frame.right
    depth_map = frame.depth
    pointcloud = frame.pointcloud
    imu_data = frame.imu
    if frame.has_ai_result:
        detections = frame.ai_result
        for det in detections:
            print(f"{det.class_name} at {det.distance:.2f}m")
    process(depth_map, pointcloud)

# 弱纹理区域处理
def texture_check(patch, threshold=5.0):
    """检测弱纹理区域"""
    std = np.std(patch)
    if std < threshold:
        return True  # 弱纹理，需要特殊处理
    return False

# 弱纹理区域使用更大的匹配窗口或主动补光
if texture_check(patch):
    window_size = 15  # 增大窗口
else:
    window_size = 7   # 正常窗口