MotionBert论文解读及详细复现教程

MotionBert：统一视角学习人体运动表示

通过学习人体运动表征，论文原作者提出了处理以人为中心的视频任务的统一方法。使用双流时空transformer（DSTformer）网络实现运动编码器，能够全面、自适应地捕获骨骼关节之间的远程时空关系。所学运动表征能轻松转移到多个下游任务，并在三个任务上实现最先进性能，证明其多功能性。
相关链接：
Paper: Learning Human Motion Representations: A Unified Perspective
Github: MotionBert

笔者出于学习目的，整理MotionBert相关内容如下：
本文内容中出现的一切论文直接相关的文字、图片版权归论文原作者所有，此处展示仅供参考学习。

效果演示

实测过程

注意： 该配置测试的时间及环境为：Ubuntu22.04、2023-7-18，以下内容在该环境下测试可行。

1.配置alphapose

MotionBert的2D Pose输入来自alphapose，因此需要先将视频放入alphapose进行处理。

# 1. Create a conda virtual environment.
conda create -n alphapose python=3.7 -y
conda activate alphapose

# 2. Install specific pytorch version
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3 -c pytorch

# 3. Get AlphaPose
git clone https://github.com/MVIG-SJTU/AlphaPose.git
cd AlphaPose

# 4. install dependencies
export PATH=/usr/local/cuda/bin/:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64/:$LD_LIBRARY_PATH
sudo apt-get install libyaml-dev
pip install cython==0.27.3 ninja easydict halpecocotools munkres natsort opencv-python pyyaml scipy tensorboardx  terminaltables timm==0.1.20 tqdm visdom jinja2 typeguard pycocotools
################Only For Ubuntu 18.04#################
locale-gen C.UTF-8
# if locale-gen not found
sudo apt-get install locales
export LANG=C.UTF-8
######################################################

# 5. install AlphaPose 
python setup.py build develop

# 6. Install PyTorch3D (Optional, only for visualization)
conda install -c fvcore -c iopath -c conda-forge fvcore iopath
conda install -c bottler nvidiacub
pip install pytorch3d

从github的项目页下载yolov3-spp.weights到AlphaPose/detector/yolo/data ，如果没有这个文件夹就创建一个。

下载FastPose预训练模型到AlphaPose/pretrained_models

2.测试alphapose

python scripts/demo_inference.py --cfg configs/halpe_26/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/halpe26_fast_res50_256x192.pth --indir examples/demo/ --save_img

AlphaPose/examples/demo文件夹下的图片将被用作处理，AlphaPose/examples/res文件夹下将出现处理后的结果

3.将视频导入模型进行姿态估计

python scripts/demo_inference.py --cfg configs/halpe_26/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/halpe26_fast_res50_256x192.pth --video examples/demo/test_video.mp4 --save_video