NtKinect: Kinect V2 C++ Programming with OpenCV on Windows10

Kinect V2 の骨格認識をDLL化してUnityから利用する

2017.07.11: created by

2017.10.07: revised by

目次へ

前提として理解しておくべき知識

骨格認識プログラムのDLL化

NtKinectを利用して OpenCV や Kinect V2 の基本的機能を使う DLL ファイルを作成し、他の自作のプログラムや Unity から利用する方法は「NtKinect: Kinect V2 を使うプログラムをDLL化してUnityから利用する」で説明しました。

本稿では、骨格認識を行う DLL ファイルを作成する方法について解説します。

プログラム作成の手順

では実際に既存の DLL ファイルを必要とする Kinect V2 の例として、顔認識を行う DLL ライブラリを作成してみましょう。

「NtKinect: Kinect V2 を使うプログラムをDLL化してUnityから利用する」の Visual Studio 2015 のプロジェクト NtKinectDll.zipを用いて作成します。
宣言をヘッダファイルに記述します。ヘッダファイルの名前は"プロジェクト名.h"で、この場合は "NtKinectDll.h" になります。

マゼンタ色の部分が今回追加した関数のプロトタイプ宣言です。

NtKinectDll.h

#ifdef NTKINECTDLL_EXPORTS
#define NTKINECTDLL_API __declspec(dllexport)
#else
#define NTKINECTDLL_API __declspec(dllimport)
#endif

extern "C" {
  NTKINECTDLL_API void* getKinect(void);
  NTKINECTDLL_API int setSkeleton(void* ptr, float* skelton, int* state, int *id);
}

関数は"プロジェクト名.cpp"に記述します。この例だと NtKinectDll.cpp になります。

int setSkeleton(void *, float *data,int* state, int *id) 関数の定義を追加します。この関数ではまず、カメラで取得した画像を1/16に縮小してその上に関節を赤で描画してからcv::imshow()で表示しています。ウィンドウの内容を正しく表示させるためにはcv::waitKey(1)を呼び出す必要があります。 1つの関節の位置は3個のfloat値で表現されていて、一人につき 25 個の関節の位置が得られます。最大で6人分の骨格が認識されるので、 data 領域はこの関数を呼び出す側で「floatのバイト数 * 3 * 25 * 6 」バイト以上確保されている必要があります。返り値は、認識できた骨格の個数です。

NtKinectDll.cpp

#include "stdafx.h"
#include "NtKinectDll.h"

#include "NtKinect.h"

using namespace std;

NTKINECTDLL_API void* getKinect(void) {
  NtKinect* kinect = new NtKinect;
  return static_cast<void*>(kinect);
}

NTKINECTDLL_API int setSkeleton(void* ptr, float *skeleton, int* state, int* id) {
  NtKinect *kinect = static_cast<NtKinect*>(ptr);
  (*kinect).setRGB();
  (*kinect).setSkeleton();
  int scale = 4;
  cv::Mat img((*kinect).rgbImage);
  cv::resize(img,img,cv::Size(img.cols/scale,img.rows/scale),0,0);
  for (auto& person: (*kinect).skeleton) {
    for (auto& joint: person) {
      if (joint.TrackingState == TrackingState_NotTracked) continue;
      ColorSpacePoint cp;
      (*kinect).coordinateMapper->MapCameraPointToColorSpace(joint.Position,&cp);
      cv::rectangle(img, cv::Rect((int)cp.X/scale-2, (int)cp.Y/scale-2,4,4), cv::Scalar(0,0,255),2);
    }
  }
  cv::imshow("face",img);
  cv::waitKey(1);
  int idx=0, jt=0, st=0;
  for (auto& person: (*kinect).skeleton) {
    for (auto& joint: person) {
      skeleton[jt++] = joint.Position.X;
      skeleton[jt++] = joint.Position.Y;
      skeleton[jt++] = joint.Position.Z;
      state[st++] = joint.TrackingState;
    }
    id[idx] = (*kinect).skeletonId[idx];
    idx++;
  }
  return idx;
}

「アプリケーションの構成」を "Release"にしてコンパイルします。フォルダ x64/Release に NtKinectDll.lib および NtKinectDll.dll が生成されます。

[注意](2017/10/07 追記) Visual Studio 2017 Update 2 でのビルド時に「dllimport ...」というエラーが起きる場合はこちらを参考にして NtKinectDll.cpp 内で NTKINECTDLL_EXPORTS をdefineすることで対処して下さい。

サンプルのプロジェクトはこちら NtKinectDll5.zip。

上記のzipファイルには必ずしも最新の NtKinect.h が含まれていない場合があるので、こちらから最新版をダウンロードして差し替えてお使い下さい。

Unity内でDLLを利用する

NtKinectDll.dll を Unityで利用します。

Unity で DLL を利用する方法の詳細については公式のマニュアルを参照して下さい。
Unity(C#) のデータは managed (ガベージコレクタによって管理されており場所を移動することがある) な状態であり、DLL(C++) のデータは unmanaged (場所が移動することはない) な状態です。この間でデータを受け渡すには、状態を変換する必要があり、それにはC# の System.Runtime.InteropServices.Marshal クラスのメソッドを利用します。
異なる言語の間でデータを受け渡す方法については、 MSDNにあるマニュアル "Interoperating with Unmanaged Code" のうち、特に Interop Marshaling の部分を参照して下さい。
Unity の新しいプロジェクトを開始します。
Unity のプロジェクトのAssets/Plugins/x86_64/の下に NtKinectDll.dll をコピーします。

Empty Objectをシーンに配置して、名前を Skeleton に変更します。

Hierarchy上で Skeleton を選択して、Inspectorで設定からResetとして Transform の Position x, y, z をそれぞれ 0 に初期化しておきます。

ProjectのAssets/Scripts/の下に C# のスクリプトを生成します。

上部のメニューから「Assets」-> 「Create」 -> 「C# Script」 -> ファイル名は NtKinectBehaviour

C++ のポインタは C# では System.IntPtr として扱います。

NtKinectBehaviour.cs

using UnityEngine;
using System.Collections;
using System.Runtime.InteropServices;

public class NtKinectBehaviour : MonoBehaviour {
  [DllImport ("NtKinectDll")] private static extern System.IntPtr getKinect();
  [DllImport ("NtKinectDll")] private static extern int setSkeleton(System.IntPtr kinect, System.IntPtr data, System.IntPtr state, System.IntPtr id);

  private System.IntPtr kinect;
  int bodyCount = 6;
  int jointCount = 25;
  GameObject[] obj;
  int counter;
    
  void Start () {
    kinect = getKinect();
    obj = new GameObject[bodyCount * jointCount];
    for (int i=0; i<obj.Length; i++) {
      obj[i] = GameObject.CreatePrimitive(PrimitiveType.Cube);
      obj[i].transform.position = new Vector3(0,0,-10);
      obj[i].transform.localScale = new Vector3(0.1f,0.1f,0.1f);
    }
  }
  void Update () {
    float[] data = new float[bodyCount * jointCount * 3];
    int[] state = new int[bodyCount * jointCount];
    int[] id = new int[bodyCount];
    GCHandle gch = GCHandle.Alloc(data,GCHandleType.Pinned);
    GCHandle gch2 = GCHandle.Alloc(state,GCHandleType.Pinned);
    GCHandle gch3 = GCHandle.Alloc(id,GCHandleType.Pinned);
    int n = setSkeleton(kinect,gch.AddrOfPinnedObject(),gch2.AddrOfPinnedObject(),gch3.AddrOfPinnedObject());
    gch.Free();
    gch2.Free();
    gch3.Free();
    int idx=0;
    for (int i=0; i<bodyCount; i++) {
      for (int j=0; j<jointCount; j++) {
	if (i < n) {
	  float x = data[idx++], y=data[idx++], z=data[idx++];
	  obj[i*jointCount + j].transform.position = new Vector3(x,y,z);
	  obj[i*jointCount + j].GetComponent<Renderer>().material.color = new Color(0.0f,1.0f,0.0f,1.0f);
	} else {
	  obj[i*jointCount + j].transform.position = new Vector3(0,0,-10);
	  obj[i*jointCount + j].GetComponent<Renderer>().material.color = new Color(1.0f,1.0f,1.0f,1.0f);
	}
      }
    }
  }
}

NtKinectBehaviour.cs を NtKinect のComponentとして付加します。
カメラの位置を調節します。

カメラの位置はデフォルトでは (x,y,z)=(0,1,-10)になっているはずです。認識された骨格はz座標が正なのでカメラの位置は(x,y,z)=(0,0,-1)としてみましょう。

実行すると、認識した関節の位置に緑色の立方体が表示されます。

[注意] 骨格認識の状態を表示するためにDLL内でOpenCVのウィンドウを生成しています。後から生成されたこのウィンドウにフォーカスがあるときは (= Unityのウィンドウにフォーカスがない場合は) Unityの画面は変化しないので注意して下さい。 Unityのウィンドウの上部をクリックしてUnityのウィンドウにフォーカスがある状態で動作を試して下さい。

Unity のサンプルプロジェクトはこちら CheckNtKinectDll5.zip。
これを発展させた「Kinect V2 の骨格認識をDLL化してUnity の人型キャラクタを動かす」方法についての解説はこちら。

http://nw.tsuda.ac.jp/