Raspberry Piでやってみた３（画像処理）：YOLOv5を用いたリアルタイム物体検出

[Terminal※Webカメラ動作確認用]
libcamera-hello

[参考API]
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)
model = torch.hub.load('ultralytics/yolov5', 'custom', path='./yolov5s.pt', force_reload=True)

[tyolov.py]
import cv2
import numpy as np
import subprocess
import torch

# YOLOv5モデルのロード（事前にダウンロードしたモデルを指定）
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)

# 解像度の設定
width, height = 640, 480

# libcamera-vidコマンドの設定
command = [
    'libcamera-vid',
    '--timeout', '0',  # 無限に動画を取得
    '--nopreview',     # プレビューを無効
    '--width', str(width),  # 幅の設定
    '--height', str(height),  # 高さの設定
    '--framerate', '50',  # フレームレートの設定
    '--codec', 'mjpeg',  # MJPEGコーデックを使用
    '-o', '-'  # 標準出力にフレームを出力
]

# libcamera-vidプロセスを開始
process = subprocess.Popen(command, stdout=subprocess.PIPE, bufsize=10**8)

# OpenCVウィンドウの設定
cv2.namedWindow("YOLOv5 Detection", cv2.WINDOW_AUTOSIZE)

frame_buffer = bytearray()

try:
    while True:
        # 標準出力からデータを読み込む
        while True:
            data = process.stdout.read(1024)
            if not data:
                break
            frame_buffer += data

            # JPEGのフレームが終わる0xFF 0xD9（EOIマーカー）を探す
            a = frame_buffer.find(b'\xff\xd8')  # SOIマーカー
            b = frame_buffer.find(b'\xff\xd9')  # EOIマーカー

            if a != -1 and b != -1 and b > a:
                jpg = frame_buffer[a:b+2]  # JPEGフレームの取り出し
                frame_buffer = frame_buffer[b+2:]  # 次のフレームのためにバッファをクリア
                frame = cv2.imdecode(np.frombuffer(jpg, dtype=np.uint8), cv2.IMREAD_COLOR)
                break
            # フレームが完全でない場合は、さらに読み込む
            if b == -1:
                continue
        
        # YOLOv5の推論を実行
        results = model(frame)
        
        # 推論結果を取得
        detections = results.xyxy[0].numpy()
        
        # 検出結果を描画
        for *xyxy, conf, cls in detections:
            label = f'{model.names[int(cls)]} {conf:.2f}'
            cv2.rectangle(frame, (int(xyxy[0]), int(xyxy[1])), (int(xyxy[2]), int(xyxy[3])), (255,0,0), 2)
            cv2.putText(frame, label, (int(xyxy[0]), int(xyxy[1])-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255,255,255), 2)
        
        # フレームを表示
        cv2.imshow("YOLOv5 Detection", frame)

        # 1ミリ秒待って、ESCかEnterが押されたら終了
        if cv2.waitKey(1) & 0xFF in [27, ord('q')]:
            break

finally:
    # プロセスとウィンドウのクリーンアップ
    process.terminate()
    cv2.destroyAllWindows()

[Terminal]
python3 tyolov.py

[tyolov.py]
import cv2
import numpy as np
import subprocess
import torch

# YOLOv5モデルのロード（事前にダウンロードしたモデルを指定）
model = torch.hub.load('ultralytics/yolov5', 'yolov5n', pretrained=True)

# 解像度の設定
width, height = 640, 480

# libcamera-vidコマンドの設定
command = [
    'libcamera-vid',
    '--timeout', '0',  # 無限に動画を取得
    '--nopreview',     # プレビューを無効
    '--width', str(width),  # 幅の設定
    '--height', str(height),  # 高さの設定
    '--framerate', '50',  # フレームレートの設定
    '--codec', 'mjpeg',  # MJPEGコーデックを使用
    '-o', '-'  # 標準出力にフレームを出力
]

# libcamera-vidプロセスを開始
process = subprocess.Popen(command, stdout=subprocess.PIPE, bufsize=10**8)

# OpenCVウィンドウの設定
cv2.namedWindow("YOLOv5 Detection", cv2.WINDOW_AUTOSIZE)

frame_buffer = bytearray()

try:
    while True:
        # 標準出力からデータを読み込む
        while True:
            data = process.stdout.read(1024)
            if not data:
                break
            frame_buffer += data

            # JPEGのフレームが終わる0xFF 0xD9（EOIマーカー）を探す
            a = frame_buffer.find(b'\xff\xd8')  # SOIマーカー
            b = frame_buffer.find(b'\xff\xd9')  # EOIマーカー

            if a != -1 and b != -1 and b > a:
                jpg = frame_buffer[a:b+2]  # JPEGフレームの取り出し
                frame_buffer = frame_buffer[b+2:]  # 次のフレームのためにバッファをクリア
                frame = cv2.imdecode(np.frombuffer(jpg, dtype=np.uint8), cv2.IMREAD_COLOR)
                break
            # フレームが完全でない場合は、さらに読み込む
            if b == -1:
                continue
        
        # YOLOv5の推論を実行
        results = model(frame)
        
        # 推論結果を取得
        detections = results.xyxy[0].numpy()
        
        # 検出結果を描画
        for *xyxy, conf, cls in detections:
            label = f'{model.names[int(cls)]} {conf:.2f}'
            cv2.rectangle(frame, (int(xyxy[0]), int(xyxy[1])), (int(xyxy[2]), int(xyxy[3])), (255,0,0), 2)
            cv2.putText(frame, label, (int(xyxy[0]), int(xyxy[1])-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255,255,255), 2)
        
        # フレームを表示
        cv2.imshow("YOLOv5 Detection", frame)

        # 1ミリ秒待って、ESCかEnterが押されたら終了
        if cv2.waitKey(1) & 0xFF in [27, ord('q')]:
            break

finally:
    # プロセスとウィンドウのクリーンアップ
    process.terminate()
    cv2.destroyAllWindows()

[Terminal]
python3 tyolov.py