2021/05//01 Updated by

VideoPose3D

Facebookのコードを基に試す


[Up] Japanese English

VideoPose3D を動かすための環境を作りたい。 github facebooksearch/VideoPose3D に従って試す。


Quick start

README.md によれば、 以下の方法を試すことができるそうだ。 詳細はDOCUMENTATION.md を読め、とのこと。

Github からソースコードをダウンロードする

公式のgithub から コードをダウンロードしてから、展開する。
[手元のPC]
  g:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master\

Dependencies (依存関係)

Pyton 3+ distribution, PyTorch >= 0.4.0 が必須とのこと。

python 仮想環境 pytorch_gpu が python=3.6, torch=1.4.0 なので使えそうだ。 しかし、新しい python 仮想環境 videopose3d を作成して使うことにする。

  1. Windows10 に anaconda3 がインストールされていて、CUDA 11.0 がインストールされている。
  2. Anaconda Prompt 上で python 仮想環境 videopose3d を作成する
  3. python仮想環境を作成する
    (base) C:\Users\nitta> conda create -n videopose3d python=3.6 jupyter 
    
    
  4. python仮想環境 videopose3d に切り換える
  5. python仮想環境を切り換える
    (base) C:\Users\nitta> conda activate videopose3d  
    
    
  6. installされているパッケージのバージョンを確認する。
  7. パッケージのバージョンを確認
    (videopose3d) C:\Users\nitta> conda list 
    # packages in environment at D:\sys\Anaconda3\envs\videopose3d:
    #
    # Name                    Version                   Build  Channel
    argon2-cffi               20.1.0           py36h2bbff1b_1
    async_generator           1.10             py36h28b3542_0
    attrs                     20.3.0             pyhd3eb1b0_0
    backcall                  0.2.0              pyhd3eb1b0_0
    bleach                    3.3.0              pyhd3eb1b0_0
    ca-certificates           2021.4.13            haa95532_1
    certifi                   2020.12.5        py36haa95532_0
    cffi                      1.14.5           py36hcd4344a_0
    colorama                  0.4.4              pyhd3eb1b0_0
    decorator                 5.0.6              pyhd3eb1b0_0
    defusedxml                0.7.1              pyhd3eb1b0_0
    entrypoints               0.3                      py36_0
    icu                       58.2                 ha925a31_3
    importlib-metadata        3.10.0           py36haa95532_0
    importlib_metadata        3.10.0               hd3eb1b0_0
    ipykernel                 5.3.4            py36h5ca1d4c_0
    ipython                   7.16.1           py36h5ca1d4c_0
    ipython_genutils          0.2.0              pyhd3eb1b0_1
    ipywidgets                7.6.3              pyhd3eb1b0_1
    jedi                      0.17.0                   py36_0
    jinja2                    2.11.3             pyhd3eb1b0_0
    jpeg                      9b                   hb83a4c4_2
    jsonschema                3.2.0                      py_2
    jupyter                   1.0.0                    py36_7
    jupyter_client            6.1.12             pyhd3eb1b0_0
    jupyter_console           6.4.0              pyhd3eb1b0_0
    jupyter_core              4.7.1            py36haa95532_0
    jupyterlab_pygments       0.1.2                      py_0
    jupyterlab_widgets        1.0.0              pyhd3eb1b0_1
    libpng                    1.6.37               h2a8f88b_0
    libsodium                 1.0.18               h62dcd97_0
    m2w64-gcc-libgfortran     5.3.0                         6
    m2w64-gcc-libs            5.3.0                         7
    m2w64-gcc-libs-core       5.3.0                         7
    m2w64-gmp                 6.1.0                         2
    m2w64-libwinpthread-git   5.0.0.4634.697f757               2
    markupsafe                1.1.1            py36he774522_0
    mistune                   0.8.4            py36he774522_0
    msys2-conda-epoch         20160418                      1
    nbclient                  0.5.3              pyhd3eb1b0_0
    nbconvert                 6.0.7                    py36_0
    nbformat                  5.1.3              pyhd3eb1b0_0
    nest-asyncio              1.5.1              pyhd3eb1b0_0
    notebook                  6.3.0            py36haa95532_0
    openssl                   1.1.1k               h2bbff1b_0
    packaging                 20.9               pyhd3eb1b0_0
    pandoc                    2.12                 haa95532_0
    pandocfilters             1.4.3            py36haa95532_1
    parso                     0.8.2              pyhd3eb1b0_0
    pickleshare               0.7.5           pyhd3eb1b0_1003
    pip                       21.0.1           py36haa95532_0
    prometheus_client         0.10.1             pyhd3eb1b0_0
    prompt-toolkit            3.0.17             pyh06a4308_0
    prompt_toolkit            3.0.17               hd3eb1b0_0
    pycparser                 2.20                       py_2
    pygments                  2.8.1              pyhd3eb1b0_0
    pyparsing                 2.4.7              pyhd3eb1b0_0
    pyqt                      5.9.2            py36h6538335_2
    pyrsistent                0.17.3           py36he774522_0
    python                    3.6.13               h3758d61_0
    python-dateutil           2.8.1              pyhd3eb1b0_0
    pywin32                   227              py36he774522_1
    pywinpty                  0.5.7                    py36_0
    pyzmq                     20.0.0           py36hd77b12b_1
    qt                        5.9.7            vc14h73c81de_0
    qtconsole                 5.0.3              pyhd3eb1b0_0
    qtpy                      1.9.0                      py_0
    send2trash                1.5.0              pyhd3eb1b0_1
    setuptools                52.0.0           py36haa95532_0
    sip                       4.19.8           py36h6538335_0
    six                       1.15.0           py36haa95532_0
    sqlite                    3.35.4               h2bbff1b_0
    terminado                 0.9.4            py36haa95532_0
    testpath                  0.4.4              pyhd3eb1b0_0
    tornado                   6.1              py36h2bbff1b_0
    traitlets                 4.3.3                    py36_0
    typing_extensions         3.7.4.3            pyha847dfd_0
    vc                        14.2                 h21ff451_1
    vs2015_runtime            14.27.29016          h5e58377_2
    wcwidth                   0.2.5                      py_0
    webencodings              0.5.1                    py36_1
    wheel                     0.36.2             pyhd3eb1b0_0
    widgetsnbextension        3.5.1                    py36_0
    wincertstore              0.2              py36h7fe50ca_0
    winpty                    0.4.3                         4
    zeromq                    4.3.3                ha925a31_3
    zipp                      3.4.1              pyhd3eb1b0_0
    zlib                      1.2.11               h62dcd97_4
    
    
  8. PyTorchをインストールする。
  9. 手元のWindowsにインストールされている CUDA 11.0 +cuDNNに対応しているのは PyTorch 1.8.0 である。 PyTorch stable のPrevious version から目的のバージョン (1.8.0) をインストールする。
    pytorchのインストール
    (videopose3d) C:\Users\nitta> pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html  
    
    

Datasetの準備

DATASETS.md の記述にしたがって、Human3.6M と HumanEva-I データセットを用意する。

データセットの準備: Human3.6M

推奨されている「オリジナルなソースから設定する」方法をたどることにする。 このやり方は更新されて、今ではMatlabは必要なくなったそうだ。

最終的に data フォルダに 3D姿勢のための data_3d_h36m.npz と 実証済みの2D姿勢としての data_2d_h36m_gt.npz が生成される、とのこと。

  1. Human3.6m からデータセットをダウンロードする。
  2. まず、Human3.6m websiteに登録する。 数日するとloginできるようになるので、loginしてから

    DOWNOAD → TRAINIG DATA → Poses (Subject S1, S5, S6, S7, S8, S9, S11) → D3 Positions.
    

    とりあえず、ダウンロードしてきたファイルは以下に置いた。

    g:/マイドライブ/PyTorch/VidoePose3D/Human3_6M/
        Poses_D3_Positions_S{1,5,6,7,8,9,11}.tgz
    
  3. Anaconda Prompt で、ソースファイルのフォルダに移動する
  4. Anaconda Promptで作業フォルダに移動する
    (videopose3d) C:\Users\nitta> g: 
    (videopose3d) G:\> cd マイドライブ 
    (videopose3d) G:\マイドライブ> cd PyTorch\VideoPose3D\VideoPose3D-master 
    
    
  5. python仮想環境にcdflibをインストールする。
  6. cdflib は CDF (Common Data Format .cdf) ファイルを読み書きするためのライブラリである。 CDF NASA library をインストールする必要はない。python 3.6 or later が必要である。

    cdflib (MATLAB なしで作業を進めるために)
    (videopose3d) G:\マイドライブ\PyTorch\VideoPose3D\Human3_6M>pip install cdflib 
    Collecting cdflib
      Downloading cdflib-0.3.20.tar.gz (68 kB)
         |============================| 68 kB 4.8 MB/s
      Installing build dependencies ... done
      Getting requirements to build wheel ... done
        Preparing wheel metadata ... done
    Requirement already satisfied: numpy in d:\sys\anaconda3\envs\videopose3d\lib\site-packages (from cdflib) (1.19.5)
    Requirement already satisfied: attrs>=19.2.0 in d:\sys\anaconda3\envs\videopose3d\lib\site-packages (from cdflib) (21.2.0)
    Building wheels for collected packages: cdflib
      Building wheel for cdflib (PEP 517) ... done
      Created wheel for cdflib: filename=cdflib-0.3.20-py3-none-any.whl size=61607 sha256=f5d31b8e8d9e7f95803eab583902deeb3a6d97d23dfc8076f066a286fbe0b0e0
      Stored in directory: c:\users\nitta\appdata\local\pip\cache\wheels\77\02\28\4e1e17d685720d4adf37cd5e1c70f35c5b4c9784d37f9580e8
    Successfully built cdflib
    Installing collected packages: cdflib
    Successfully installed cdflib-0.3.20
    
    
  7. h5py パッケージが必要なのでインストールしておく。
  8. h5pyのインストール
    (videopose3d) G:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master\data> pip install h5py 
    Collecting h5py
      Using cached h5py-3.1.0-cp36-cp36m-win_amd64.whl (2.7 MB)
    Requirement already satisfied: numpy>=1.12 in d:\sys\anaconda3\envs\videopose3d\lib\site-packages (from h5py) (1.19.5)
    Collecting cached-property
      Using cached cached_property-1.5.2-py2.py3-none-any.whl (7.6 kB)
    Installing collected packages: cached-property, h5py
    Successfully installed cached-property-1.5.2 h5py-3.1.0
    
    
  9. ダウンロードしてきたファイルを展開する。Eating.cdf, Greeting.cdf, Purchases.cdf など、状況や動作などの名前がついたファイル群のようだ。
  10. g:\マイドライブ\PyTorch\VideoPose3D\Human3_6M\
      S1/MyPoseFeatures/D3_Positions/*.cdf
      S5/MyPoseFeatures/D3_Positions/*.cdf
      S6/MyPoseFeatures/D3_Positions/*.cdf
      S7/MyPoseFeatures/D3_Positions/*.cdf
      S8/MyPoseFeatures/D3_Positions/*.cdf
      S9/MyPoseFeatures/D3_Positions/*.cdf
      S11/MyPoseFeatures/D3_Positions/*.cdf
    
  11. ソースコードの中の prepare_data_h36m.py を使って処理する。
  12. 作業フォルダはg:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master\data である。 したがって、処理する cdf データの相対的位置は path/S*/MyPoseFeatures/D3_Positions/*.cdf としてpath の値として ..\..\Human3_6Mを指定することになる。

    cdfファイルを処理する
    cd data
    pip install h5py
    python prepare_data_h36m.py --from-source-cdf ..\..\Human3_6M
    
    (videopose3d) G:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master> cd data 
    (videopose3d) G:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master\data>python prepare_data_h36m.py --from-source-cdf ..\..\Human3_6M 
    Converting original Human3.6M dataset from ..\..\Human3_6M (CDF files)
    Saving...
    Done.
    
    Computing ground-truth 2D poses...
    Saving...
    Done.
    
    
    
  13. npz ファイルが生成されたことがわかる。
  14. 生成された .npz ファイルを確認する
    G:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master\data のディレクトリ
    
    2021/05/16  11:49    <DIR>          .
    2021/05/16  11:38    <DIR>          ..
    2020/08/05  15:50             6,983 ConvertHumanEva.m
    2020/08/05  15:50               597 convert_cdf_to_mat.m
    2020/08/05  15:50             2,719 data_utils.py
    2020/08/05  15:50             3,447 prepare_data_2d_custom.py
    2020/08/05  15:50             2,820 prepare_data_2d_h36m_generic.py
    2020/08/05  15:50             3,717 prepare_data_2d_h36m_sh.py
    2020/08/05  15:50             7,285 prepare_data_h36m.py
    2020/08/05  15:50             9,530 prepare_data_humaneva.py
    2021/05/16  11:49       153,172,965 data_3d_h36m.npz
    2021/05/16  11:49       242,730,564 data_2d_h36m_gt.npz
                  10 個のファイル         395,940,627 バイト
                   2 個のディレクトリ  357,667,414,016 バイトの空き領域
    

2D detections for Human3.6M

次の2次元検出をサポートする。

2D 検出ソースは --keypoints パラメータで指定する。 「DATASETh36mのようなデータセットを表す」 「DETECTION は’sh_pt_mpii のような2D検出ソースを表す」として data_2d_DATASET_DETECTION.npz から読み込む。 実証された姿勢 (gt) は前のステップまでに取り出される。 他の検出が必要な場合は、手動でデータをダウンロードすること。 使う検出だけをダウンロードすればよい。 作者がHuman3.6Mから得た最もよい結果は cpn_ft_h36m_dbb だそうだ。

Mask R-CNN and CPN detections

まずdata/ フォルダに npz ファイルをダウンロードする。 wgetを使うので cygwinでやってしまう。
cygwin上でwgetを使ってnpzファイルをダウンロードする。
nitta@galleria ~
$ cd /cygdrive/g/マイドライブ/PyTorch/VideoPose3D 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D
$ cd VideoPose3D-master 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master
$ cd data 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/data
$ wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_cpn_ft_h36m_dbb.npz 
--2021-05-16 13:19:10--  https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_cpn_ft_h36m_dbb.npz
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com) をDNSに問いあわせています... 104.22.75.142, 172.67.9.4, 104.22.74.142, ...
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com)|104.22.75.142|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 272757484 (260M) [application/zip]
`data_2d_h36m_cpn_ft_h36m_dbb.npz' に保存中

data_2d_h36m_cpn_ft_h36m 100%[==================================>] 260.12M  11.2MB/s 時間 28s

2021-05-16 13:19:42 (9.15 MB/s) - `data_2d_h36m_cpn_ft_h36m_dbb.npz' へ保存完了 [272757484/272757484]


nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/data
$ wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_detectron_ft_h36m.npz 
--2021-05-16 13:20:00--  https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_detectron_ft_h36m.npz
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com) をDNSに問いあわせています... 104.22.75.142, 172.67.9.4, 104.22.74.142, ...
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com)|104.22.75.142|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 408224197 (389M) [application/zip]
`data_2d_h36m_detectron_ft_h36m.npz' に保存中

data_2d_h36m_detectron_f 100%[==================================>] 389.31M  12.7MB/s 時間 41s

2021-05-16 13:20:46 (9.50 MB/s) - `data_2d_h36m_detectron_ft_h36m.npz' へ保存完了 [408224197/408224197]


nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/data
$ wget https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_detectron_pt_coco.npz 
--2021-05-16 13:27:05--  https://dl.fbaipublicfiles.com/video-pose-3d/data_2d_h36m_detectron_pt_coco.npz
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com) をDNSに問いあわせています... 104.22.75.142, 172.67.9.4, 104.22.74.142, ...
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com)|104.22.75.142|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 628823551 (600M) [application/zip]
`data_2d_h36m_detectron_pt_coco.npz' に保存中

data_2d_h36m_detectron_p 100%[==================================>] 599.69M  7.77MB/s 時間 67s

2021-05-16 13:28:19 (9.00 MB/s) - `data_2d_h36m_detectron_pt_coco.npz' へ保存完了 [628823551/628823551]


nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/data
$ cd .. 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/
$ 

Stacked Hourglass detections

Martinez et al. によって用意された github から h36m.zip と stacked_hourglass_fined_tuned_240.tar.gz をダウンロードする。

[自分へのメモ (2021/05/16)] ダウンロードできない。これは必要なのか? 取り敢えず、これは無視して次に進めることにする。


データセットの準備: HumanEva-I

HumanEva-I データセットで実験しないのであれば、準備する必要はないとのこと。

[自分へのメモ (2021/05/16)] MATLAB が必要となるので、とりあえず、これは無視して次に進めることにする。


Evaluating our pretrained models

学習済みのモデルがAWSにある。checkpoint にダウンロードするする。 pretrained_h36m_cpn.bin (for Human3.6M)

ブラウザを使っても構わないが、ここではcygwin 上で wget を使ってダウンロードすることにした。

cygwin上でwgetを使って学習済みモデルをダウンロードする。
nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master
$ mkdir checkpoint 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master
$ cd checkpoint 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/checkpoint
$ wget https://dl.fbaipublicfiles.com/video-pose-3d/pretrained_h36m_cpn.bin 
--2021-05-16 15:58:43--  https://dl.fbaipublicfiles.com/video-pose-3d/pretrained_h36m_cpn.bin
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com) をDNSに問いあわせています... 172.67.9.4, 104.22.74.142, 104.22.75.142, ...
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com)|172.67.9.4|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 67889963 (65M) [application/octet-stream]
`pretrained_h36m_cpn.bin' に保存中

pretrained_h36m_cpn.bin  100%[==================================>]  64.74M  7.97MB/s 時間 7.6s

2021-05-16 15:58:53 (8.50 MB/s) - `pretrained_h36m_cpn.bin' へ保存完了 [67889963/67889963]


nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/checkpoint
$ wget https://dl.fbaipublicfiles.com/video-pose-3d/pretrained_humaneva15_detectron.bin 
--2021-05-16 15:58:58--  https://dl.fbaipublicfiles.com/video-pose-3d/pretrained_humaneva15_detectron.bin
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com) をDNSに問いあわせています... 172.67.9.4, 104.22.74.142, 104.22.75.142, ...
dl.fbaipublicfiles.com (dl.fbaipublicfiles.com)|172.67.9.4|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 34242417 (33M) [application/octet-stream]
`pretrained_humaneva15_detectron.bin' に保存中

pretrained_humaneva15_de 100%[==================================>]  32.66M  2.43MB/s 時間 10s

2021-05-16 15:59:10 (3.12 MB/s) - `pretrained_humaneva15_detectron.bin' へ保存完了 [34242417/34242417]


nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master/checkpoint
$ cd .. 

nitta@galleria /cygdrive/g/マイドライブ/PyTorch/VideoPose3D/VideoPose3D-master
$

これらのモデルを用いて top-performing baselines を再構成できる。

Human3.6M を用いてテストするには次のようにする。
python run.py -k cpn_ft_h36m_dbb -arc 3,3,3,3,3 -c checkpoint --evaluate pretrained_h36m_cpn.bin
Human3.6Mを用いてテストする
(videopose3d) G:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master> python run.py -k cpn_ft_h36m_dbb -arc 3,3,3,3,3 -c checkpoint --evaluate pretrained_h36m_cpn.bin 
Namespace(actions='*', architecture='3,3,3,3,3', batch_size=1024, bone_length_term=True, by_subject=False, causal=False, channels=1024, checkpoint='checkpoint', checkpoint_frequency=10, data_augmentation=True, dataset='h36m', dense=False, disable_optimizations=False, downsample=1, dropout=0.25, epochs=60, evaluate='pretrained_h36m_cpn.bin', export_training_curves=False, keypoints='cpn_ft_h36m_dbb', learning_rate=0.001, linear_projection=False, lr_decay=0.95, no_eval=False, no_proj=False, render=False, resume='', stride=1, subjects_test='S9,S11', subjects_train='S1,S5,S6,S7,S8', subjects_unlabeled='', subset=1, test_time_augmentation=True, viz_action=None, viz_bitrate=3000, viz_camera=0, viz_downsample=1, viz_export=None, viz_limit=-1, viz_no_ground_truth=False, viz_output=None, viz_size=5, viz_skip=0, viz_subject=None, viz_video=None, warmup=1)
Loading dataset...
Preparing data...
Loading 2D detections...
INFO: Receptive field: 243 frames
INFO: Trainable parameter count: 16952371
Loading checkpoint checkpoint\pretrained_h36m_cpn.bin
This model was trained for 80 epochs
INFO: Testing on 543344 frames
Evaluating...
----Directions----
Test time augmentation: True
Protocol #1 Error (MPJPE): 45.15618083718614 mm
Protocol #2 Error (P-MPJPE): 34.11945961322734 mm
Protocol #3 Error (N-MPJPE): 42.629380243986425 mm
Velocity Error (MPJVE): 2.9753524666138 mm
----------
----Discussion----
Test time augmentation: True
Protocol #1 Error (MPJPE): 46.674850078175666 mm
Protocol #2 Error (P-MPJPE): 36.123839538676854 mm
Protocol #3 Error (N-MPJPE): 45.07634681772148 mm
Velocity Error (MPJVE): 3.10589468190882 mm
----------
----Eating----
Test time augmentation: True
Protocol #1 Error (MPJPE): 43.30023437441972 mm
Protocol #2 Error (P-MPJPE): 34.43398372860311 mm
Protocol #3 Error (N-MPJPE): 42.127685373173435 mm
Velocity Error (MPJVE): 2.2443489033043735 mm
----------
----Greeting----
Test time augmentation: True
Protocol #1 Error (MPJPE): 45.61267762397867 mm
Protocol #2 Error (P-MPJPE): 37.22414005347906 mm
Protocol #3 Error (N-MPJPE): 44.40103201315949 mm
Velocity Error (MPJVE): 3.4328652619509565 mm
----------
----Phoning----
Test time augmentation: True
Protocol #1 Error (MPJPE): 48.0941928286972 mm
Protocol #2 Error (P-MPJPE): 36.39450613291056 mm
Protocol #3 Error (N-MPJPE): 46.02659279139185 mm
Velocity Error (MPJVE): 2.2728513615959605 mm
----------
----Posing----
Test time augmentation: True
Protocol #1 Error (MPJPE): 44.62038722719527 mm
Protocol #2 Error (P-MPJPE): 34.42265006967566 mm
Protocol #3 Error (N-MPJPE): 43.34614035875545 mm
Velocity Error (MPJVE): 2.680506516890491 mm
----------
----Purchases----
Test time augmentation: True
Protocol #1 Error (MPJPE): 44.27884028055001 mm
Protocol #2 Error (P-MPJPE): 33.59664172406261 mm
Protocol #3 Error (N-MPJPE): 42.519162746493656 mm
Velocity Error (MPJVE): 3.0979490253487647 mm
----------
----Sitting----
Test time augmentation: True
Protocol #1 Error (MPJPE): 57.29248180074569 mm
Protocol #2 Error (P-MPJPE): 45.032774556802984 mm
Protocol #3 Error (N-MPJPE): 55.24516671003228 mm
Velocity Error (MPJVE): 2.0748278558379942 mm
----------
----SittingDown----
Test time augmentation: True
Protocol #1 Error (MPJPE): 65.79780272968215 mm
Protocol #2 Error (P-MPJPE): 52.53097001291465 mm
Protocol #3 Error (N-MPJPE): 63.29354340613671 mm
Velocity Error (MPJVE): 2.8698927397534426 mm
----------
----Smoking----
Test time augmentation: True
Protocol #1 Error (MPJPE): 47.08722255030145 mm
Protocol #2 Error (P-MPJPE): 37.37457435683257 mm
Protocol #3 Error (N-MPJPE): 45.277254687206955 mm
Velocity Error (MPJVE): 2.3061804993082036 mm
----------
----Photo----
Test time augmentation: True
Protocol #1 Error (MPJPE): 55.1247578341702 mm
Protocol #2 Error (P-MPJPE): 42.20605485984931 mm
Protocol #3 Error (N-MPJPE): 53.031417152921875 mm
Velocity Error (MPJVE): 2.7116055988105034 mm
----------
----Waiting----
Test time augmentation: True
Protocol #1 Error (MPJPE): 43.98553897192815 mm
Protocol #2 Error (P-MPJPE): 33.797740742655506 mm
Protocol #3 Error (N-MPJPE): 42.48611386389189 mm
Velocity Error (MPJVE): 2.418238050281232 mm
----------
----Walking----
Test time augmentation: True
Protocol #1 Error (MPJPE): 32.787373187562714 mm
Protocol #2 Error (P-MPJPE): 25.636827649750803 mm
Protocol #3 Error (N-MPJPE): 31.419326328166324 mm
Velocity Error (MPJVE): 3.1199507698488125 mm
----------
----WalkDog----
Test time augmentation: True
Protocol #1 Error (MPJPE): 48.95927361015245 mm
Protocol #2 Error (P-MPJPE): 37.75361612285953 mm
Protocol #3 Error (N-MPJPE): 46.43276492683896 mm
Velocity Error (MPJVE): 3.721293878466548 mm
----------
----WalkTogether----
Test time augmentation: True
Protocol #1 Error (MPJPE): 33.87752897793106 mm
Protocol #2 Error (P-MPJPE): 27.28032055550819 mm
Protocol #3 Error (N-MPJPE): 32.16627211320078 mm
Velocity Error (MPJVE): 2.7805865173662494 mm
----------
Protocol #1   (MPJPE) action-wise average: 46.8 mm
Protocol #2 (P-MPJPE) action-wise average: 36.5 mm
Protocol #3 (N-MPJPE) action-wise average: 45.0 mm
Velocity      (MPJVE) action-wise average: 2.79 mm

(videopose3d) G:\マイドライブ\PyTorch\VideoPose3D\VideoPose3D-master>

エラーなく動いたように見える。

Detectron (2Dpose推定)


作業記録

2021/05/09

Human3.6M に登録はしたがまだ承認されていないので、データのダウンロードできない。本日の作業は、ここまで 。

2021/05/11

Human3.6M に承認されたとメールが来た。

2021/05/12

Human3.6M から必要なデータをダウンロードできた。