Kinect introduction

初めての
KINECT + OpenNI
プログラム

Ver.1.1 2012/01/17
KINECT introduction by Geis Co. Ltd. is licensed under a Creative Commons - - 2.1 License.

⾃自⼰己紹介
中村薫
株式会社ゲッシュ (http://www.geis.co.jp/)
• Windows ⽤用のセキュリティソフトウェアの受託開発
• NUIデバイスを利利⽤用したアプリケーション開発
• Scrumなどのアジャイルな開発⼿手法を利利⽤用した現場改善
• 新⼈人研修やセミナー講師
• nakamura.kaoru@geis.co.jp

⾃自⼰己紹介


⾃自⼰己紹介

BP NE
http://techon.nikkeibp.co.jp/article/SEMINAR/20111021/199596/

⾃自⼰己紹介

http://www.atmarkit.co.jp/fdotnet/special/comparekinect01/comparekinect01_01.html


免責事項

本スライドの内容による、
いかなる損害も負いません。
⾃自⼰己責任の上、ご利利⽤用ください。


KINECTとは

•Microsoft社が発売しているXbox 360ゲーム
機のコントローラー

•ゲームを操作する際に、「コントローラーを持
つ必要がない」ことが特⻑⾧長


KINECTの販売台数
世界累累計

• 60⽇日で800万台

•5か⽉月で1,000万台

•1年年で1,800万台

KINECTセンサー


機能
•RGBおよび、距離離カメラ
•⾳音声および、⾳音声⽅方向の取得
•カメラ⾓角度度の変更更
•ユーザーおよび、⾻骨格の認識識
•ジェスチャーの認識識

RGBおよび距離離カメラ


⾳音声および⾳音声⽅方向の取得


ユーザーおよび⾻骨格の認識識


ジェスチャーの認識識


NUI

•KINECTのように、体の⾃自然な動作でコン
ピューターを操作することをNUIと呼ぶ

•WiiやPlaystaion Move、iPhoneやiPadな
どのインタフェース


NUI

•NUIとはNatural User Interfaceの略略であ
り、「ユーザーに⾃自然なインタフェース」で
ある

•NIと略略される、Natural Interactionも同
じような意味を持つ


何ができる？


ユーザーインタフェース

http://www.youtube.com/watch?v=HK7x9lKRt8g

ユーザーインタフェース

http://www.youtube.com/watch?v=x5-OcU56HOE

アパレル


遠隔操作

http://www.youtube.com/watch?v=bJFut8bzAXQ

福祉

NAIST Ballpool

舞台

http://www.uga-web.com/sb/


プロジェクション・マッピング

http://www.youtube.com/watch?v=k8nblUJwqkQ

教育


KINECTで変わる未来


さまざまなデバイスへの搭載

http://www.ionroad.com/


コンピューターの変化

http://www.chrisharrison.net/index.php/Research/OmniTouch

リアルとバーチャルの融合

http://channel9.msdn.com/coding4fun/kinect/Kinect--3D--Fusion4D

コンピューター
との関わり


学ぶものから
感じるものへ

アプリケーション
開発環境


キーワード


KINECT


購⼊入時の注意

KINECTのインタフェースはUSBではない。
コンピューターに接続する際は、変換アダプタが必要。

購⼊入時の注意

Xboxとのセットを買うと、USB変換ケーブルが付属していない。
コンピューターに接続する場合は、KINECT単体版を購⼊入すること。


ライセンス

KINECT


Xtion Pro


Xtion Pro LIVE


機能

•RGBおよび距離離カメラ
•ユーザーおよび⾻骨格の認識識
•⾳音声の取得
•USB接続/バスパワー動作


ライセンス

禁⽌止事項などは無い
商⽤用利利⽤用が可能


KINECT for Windows SDK

• KINECT for Windows SDKはMicrosoft社が
公式にリリースしているKINECT専⽤用のSDK。

• 2011年年12⽉月現在はBeta2となっており⾮非商⽤用
限定だが、2012年年の早い時期に商⽤用版がリリー
スされるとアナウンスがある。


OpenNI


概要

OpenNIとは、KINECTやXtionに搭載されて
いるチップを設計しているPrimeSnese社や、
OpenCVのWillow Garage社などが提供して
いるライブラリ


概要

⼀一般的にOpenNIという場合は

• APIの「OpenNI」
• ミドルウェアの「NITE(ナイト)」
• ドライバの「Sensor」
この3つを合わせたものを指す。


概要
• 正確には、KINECT⽤用のライブラリではない
• Xtion⽤用のライブラリ/ドライバセット
• KINECTで利利⽤用する際は、オープンソースで
提供されている⾮非公式のドライバを使⽤用する
必要がある
• https://github.com/avin2/SensorKinect


機能

•RGBおよび距離離カメラ
•ユーザーおよび⾻骨格の認識識
•⾳音声の取得
•ジェスチャーや⼿手の動きを認識識


ライセンス

• GPL/LGPLのデュアルライセンス
• LGPLであれば、商⽤用利利⽤用も可能
• ライブラリの改変は、公開の必要がある


OpenNIの概要


OpenNIの構成

•Context
•Generator
•MetaData
•Capability


Context

• OpenNIライブラリの初期化や、デバイ
スの初期化を⾏行行う

• GeneratorはContextを通してインス
タンスが⽣生成される


Context

クラス名概要

OpenNIの初期化やノード(デバイス)の初期化
Context
を⾏行行う


Generator

•デバイスの機能ごとに分かれている
•デバイスデータの取得や設定の変更更、
取得などを⾏行行う


Generator
クラス名概要

ImageGenerator RGBカメラのデータの取得や設定を⾏行行う

DepthGenerator 距離離カメラのデータの取得や設定を⾏行行う

UserGnerator ユーザーの追跡のデータの取得や設定を⾏行行う

HandsGenerator ⼿手の追跡や設定を⾏行行う

GestureGenerator ジェスチャーの検出や設定を⾏行行う


Generator
クラス名概要

SceneAnalyzer 床の検出や設定を⾏行行う

AudioGenerator ⾳音声のデータ取得や設定を⾏行行う

IRGenerator ⾚赤外線のデータ取得や設定を⾏行行う

Recorder RGBカメラと距離離カメラのデータを記録する

Player Recorderで記録したデータを再⽣生する


MetaData

•デバイスの機能ごとに分かれている
•データそのものを扱う
•Generatorから取得する


MetaData
クラス名概要

ImageMetaData RGBカメラのデータ

DepthMetaData 距離離カメラのデータ

SceneMetaData ユーザーや床のデータ

AudioMetaData ⾳音声のデータ

IRMetaData ⾚赤外線のデータ


Capability

•付加機能を提供する
•ミラー処理理やポーズの検出、⾻骨格検出
などを⾏行行う


Capability
クラス名概要

視点機能(RGBと距離離カメラの座標を
AlternativeViewPoint
合わせる)

MirrorCapability ミラー機能

PoseDetectionCapability ポーズの検出機能

SkeletonCapability ⾻骨格の検出、追跡機能


NITEの概要


NITEの構成

•Session
•Detector


Session

•NITEのジェスチャー検出は、セッショ
ンという範囲で⾏行行われる


Session

クラス名概要

SessionManager セッションの開始や終了了を制御する

MultiProcessFlowClient マルチプロセスでのデータの受信側


Detector

•ジェスチャーの検出器


Detector
クラス名概要

XnVWaveDetector ⼿手の左右動作を検出する

XnVPushDetector ⼿手の前後動作を検出する

XnVCircleDetector ⼿手の円動作を検出する

⼿手の上、下、右、左、前、後ろの各
XnVSwipeDetector
動作を検出する

XnVSteadyDetector ⼿手の静⽌止を検出する

Hello OpenNI!!


⼿手を振ると”Hello”と表
⽰示するアプリ


ソースコード


// see : http://arena.openni.org/OpenNIArena/Applications/ViewApp.aspx?app_id=424
#include <iostream>

#include <XnOpenNI.h>
#include <XnVNITE.h>

//
static void XN_CALLBACK_TYPE SessionDetected( const XnChar* strFocus,
const XnPoint3D& ptPosition, XnFloat fProgress, void* UserCxt )
{
std::cout << "SessionDetected:" << strFocus << "," << fProgress << std::endl;
}

// Wave
static void XN_CALLBACK_TYPE WaveCB( void* pUserCxt )
{
std::cout << "Hello OpenNI & NITE World!!" << std::endl;
}

void main( int argc, char* argv[] )
{
// OpenNI
xn::Context context;
XnStatus ret = context.InitFromXmlFile( "SamplesConfig.xml" );

// NITE
XnVSessionManager sessionManager;
ret = sessionManager.Initialize( &context, "Wave", "RaiseHand" );
sessionManager.RegisterSession( 0, &SessionStart, 0 , 0 );

// Wave
XnVWaveDetector wave;
wave.RegisterWave( 0, &WaveCB );
sessionManager.AddListener( &wave );

//
while ( true ) {
//
context.WaitAndUpdateAll();
sessionManager.Update( &context );
}
}

インクルードファイル
#include <XnOpenNI.h>
#include <XnVNITE.h>


OpenNIの初期化
// OpenNI
xn::Context context;
XnStatus ret =
context.InitFromXmlFile("SamplesConfig.xml");


NITEの初期化
// NITE
XnVSessionManager sessionManager;
ret = sessionManager.Initialize( &context,
"Wave", "RaiseHand" );


セッション遷移を通知する
コールバックの設定

sessionManager.RegisterSession( 0,
&SessionStart, 0 , 0 );


セッション開始のコールバック
//
static void XN_CALLBACK_TYPE SessionDetected(const XnChar* strFocus,
const XnPoint3D& ptPosition,XnFloat fProgress, void* UserCxt )
{
std::cout << "SessionDetected:" << strFocus <<
"," << fProgress << std::endl;
}


Waveジェスチャーの検出設定
// Wave
XnVWaveDetector wave;
wave.RegisterWave( 0, &WaveCB );
sessionManager.AddListener( &wave );
実際にジェスチャーを検出させてみましょう。セッションの開始にWaveを使っていま
すので、そのままWaveジェスチャーを検出させてみます。ジェスチャーの検出は、
ジェスチャーごとに検出⽤用のクラスが⽤用意されています。今回はWaveを検出させるの
でXnVWaveDetectorを使⽤用します。ジェスチャーを検出させるための準備は、⼤大ま
かに次の四ステップとなります。
1.ジェスチャー検出器を作成する
2.ジェスチャー検出器の設定をする(オプション)
3.ジェスチャーを検出した際のコールバックを設定する
4.セッションマネージャーにジェスチャー検出器を登録する


Waveジェスチャーの検出

// Wave
static void XN_CALLBACK_TYPE WaveCB( void* pUserCxt )
{
std::cout << "Hello OpenNI & NITE World!!" << std::endl;
}


メインループ
//
while ( true ) {
//
context.WaitAndUpdateAll();
sessionManager.Update( &context );
}


SamplesConﬁg.xml


ありがとうございました

miyagi.hideto@geis.co.jp
nakamura.kaoru@geis.co.jp

Kinect introduction

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (9)

Ähnlich wie Kinect introduction

Ähnlich wie Kinect introduction (20)

Mehr von Kaoru NAKAMURA

Mehr von Kaoru NAKAMURA (20)

Kinect introduction