このページ:TOP ≫  kinect

iPi Desktop MoCap + Kinect 個人的には絶賛だけど、微妙かも・・・

コンパラで10月31日までセール中iPi Desktop MoCap Express Editionを購入すべきかどうかで、現在フリートライアル版を試用中。
(以下、iPi Desktop MoCapを iPi DMC と略します)

個人的には「ノンリアルタイム方式」に大絶賛ですが、キャラクターモーションを付け慣れていない人には、恐らくこれでも苦痛でしょう。普通の人の場合はKinect + MMD or ライブアニメーションで上手くキャプチャ出来るまで繰り返し身体を動かした方が数倍早いです。

また、ツールとしても微妙に未完成な部分が・・・買おうかどうか迷う。

とりあえず、モーションキャプチャデータをアップ

途中6箇所ほど修正かけています(詳細はこのページ中段あたり)
以前ライブアニメーション+Kinectでキャプチャしたものとほぼ同じ動きをしてみたけれど、「非リアルタイム解析」の強みですね。野球のピッチングフォーム、バッティングフォームなど手足がクロスする動きでも、モーキャプツール内でかなりの所まで仕上げられます(数箇所を手動で補正しています)

トラッキングの外れた所のみを後から簡単に修正出来るので、手足のクロスする箇所の解析は優秀です。

あと、辛うじて肩とか頭の動きも追跡できるっぽいです。最初のポーズフィットでコツが必要だったり、後から手動で微調整を行う必要がありますが、なんとか追従してくれている感じです。手首や足首関節は現在のiPi DMCでは無理。後から別ソフトで調整が必要。

iPi DMC 、ここがスゲー

  • インストールが超簡単。Kinectドライバ同梱。
    • Kinectドライバにしては珍しく導入がアッサリできた。
      英語だけど導入手順が図解入りで殆ど迷わない。
    • OpenNIのような「2度~3度繰り返しインストールしている内に、気が付いたらインストール成功していた」みたいな不思議体験を経験せずに済む。
      (基本的にOpenNIと同じドライバ。)
    • ちなみに PrimeSense NITE(骨格・姿勢認識ライブラリ)はインストールされない(iPi DMCでは使用しない)
      • iPi DMCは一旦深度情報を動画ファイルとしてPCに保存して、そこから独自に解析を行う
      • 録画する動画形式は非圧縮avi。
        1分の録画ファイルに1.7GB程度必要!HDDの必要転送速度は最低限でも23MB/sec必要。IDE接続5400rpmのHDDでは多分間に合わない。(12~15秒程度なら録画出来るが、それ以上はバッファが追いつかない)
      • 注意
        レコーダー部分の作動には、別途DirectShowNet libraryFFMpegが必要。解析ツール(本体)の作動にはMicrosoft .NET Framework 3.5以降が必要。
  • モーキャプ撮影用のレコーダー部分はフリー。
    •  iPi DMC本体をインストールしていないPC環境でも利用可能。Kinectドライバはこのレコーダー部分に付属
      • つまり、ノートPCなどにレコーダーをインストールすれば、狭い部屋から他の部屋に移って録画が可能になる
      • 2002年購入の古いノートにインストールしてみたら、12~3秒までならエラー無く録画可能だった。(PentiumM 1.7Ghz、HDD 5400rpm、転送速度20Mb/secとややスペック不足)
        これで広い部屋に移ってモーキャプが可能になった!
  • 深度情報を元に3D映像が見れる
    • Kinectで撮影した動画を、以下な感じに表現してくれます。
      深度情報3D化・部屋のみ
      ▲自分の部屋の3Dデータ。初めて見る時は感動する。
       ちなみにキャリブレーション用に最初の2~3秒は人体の映っていない背景のみのデータを撮影しておく必要があります。
      深度情報3D化・モーキャプ中
      ▲キャプチャーエリアに立ってみた所。前後左右、障害物だらけ。
      こんな狭いエリアでモーキャプやれば、精度落ちますわな。
      障害物や壁と手足の距離が10cm程度まで近付くと、それだけでトラッキングが外れます(MMDやLAでも同様)
      深度情報3D化・広い部屋
      ▲ノートPCにレコーダーだけを入れて、広い部屋に移動。
      誤トラッキングがかなり減りました!
      • 余談になるけど、ここで解った事!
        iPi DMCの場合、正確にトラッキング出来る距離にある被写体は、で表示される。い部分は近すぎ or 遠すぎ。黄色で表示される部分はトラッキング不能。
        やっぱ6畳の部屋はKinectモーキャプにはやや狭い。最低でも8畳の部屋が望ましい。
  • 撮影データを元に解析する・解析途中で停止・データ再調整&再解析が可能。
    やり直し&微調整が楽チン!
    • 途中でトラッキングが外れた場合
      ▲クリックで拡大
      トラッキングが外れた所で、誤検出しているBoneのみを調整し、1フレームだけ手動で解析しなおして、自動解析を再開する事が可能。1フレーム修正すれば前後10~20フレームはほぼ修正できる。便利です。
      ※修正にはそれなりのスキルが必要。人間の関節がどのように回転するか、どの関節でトラッキングエラーが起きているかを判断出来ない人には難しい。またハンドルが小さいので慣れも必要。
  • トラッキング解析にはちょっと時間がかかる
    • ちなみにトラッキング解析にはGPUを利用しています。NVIDIA9600GTだと1000フレームの解析に15~30分必要。(複雑なポーズ取ると解析に時間がかかる)
    • 1000フレームの動画を、誤トラッキングした所を手動で微調整しながら解析すると、1~2時間かかります。それでも深度情報の3Dデータに重ねながらポージング出来る&半自動なので、他ツール使うより全然楽。
  • PoserのBVH形式に書き出し可能
    • エキスポート方法
      PoserのBVH形式に書き出し
      ▲Poserで利用したい場合は、「3D MAX Biped 形式」で書き出す。
    • 胸の部分のみ、テキストの書き換えが必要
       胴体の関節が一個多く、
       「Chest→Chest2→Chest3」となっているが、ここを
       「abdomen→Chest→Chest3」とかに書き換えればOK。
       (別に書き換えなくても読み込める)
    • 足首のデータを読み込んでくれない
       他のデータでもそうだっけ?
       これも警告は出るが、BVH自体は読み込めるので気にしない事にする。

 

iPi DMC +Kinect、ここが残念

  • 解析の精度自体は、PrimeSense NITE (MMDやLAで解析する方法)と変わらない。
    • 足の接地や座った時のトラッキングは iPi DMCの方が優秀に感じます。
      でも肩や肘関節のトラッキングはPrimeSense NITEの方が上っぽい。
    • あたりまえだけど、Kinect 1台で映る範囲でしかトラッキング出来ない。
      (カメラから隠れた手足のトラッキングは無理)
    • 体の影に隠れた手足のトラッキングは、どうあがいてもこのツールでは修正は無理(修正しても自動解析中にスグ外れる)。その辺は別途3DCGソフトに渡して編集する方が早い。
  • 手首・足首は追従しない。顔・肩の動きは半手作業?(コツが必要)
    • 肩、頭の動きは正確にトラッキングしてくれない。最初の「Refit Pose」時のポーズをかなり正確に合わせると、時々追従する。
      • 解析途中で一時中断し、目的の関節を手動で調整してやると、そこから上手い具合に追従してくれる事もある。微妙。
      • 手首・足首は手動で調整してもその後の自動解析で初期値に修正されてしまう。未対応。
    • この辺も自動で簡単にトラッキングしてくれる事を期待していたんですが無理でした・・・。今後のアップデートで追従してくれないかな
    • ちなみに腰をクネクネさせる動きはトラッキング可能。体幹部分の動きの検出はMMDやLAよりかなり上です(これもRefit Pose時の併せ方で上手く行く時・行かない時がある)
  • インポート・エキスポートの対応フォーマットが、思ったより少なかった。
    • bip形式やc3d形式も入出力対応してるんじゃないかと期待したけど、基本bvhとfbxのみだった。。。
  • Undo、Redoが無い!
    • トラッキングが外れたフレームでポージング付け直しの最中、これに困った。Ctrl+Z出来ないとか今時ありえない・・・
  • 数値入力出来ない
    • 関節の角度を調整したい時、全てマウスで操作する必要があり、微妙な角度調整が難しい。Poserみたいな数値入力やダイヤル調整が欲しい。

 

個人的には

  • 手首足首の関節が動いてくれたら、、頭・肩の関節がもう少し楽に追跡できるようになったら
  • Ctrl+zが効くようになったら
  • 関節の角度が数値入力出来るようになったら

上3点が可能になったら、このソフト欲しい。
(トラッキングの精度は1カメラならこの程度だろうって諦めてる。といか十分) すっごくイイ!と思いながら、現状ではお金を出すのにチョット躊躇するレベルなのも確か。MMDとかLAがフリーなこと自体が奇跡なんだけどね。どうしても比べちゃうねぇ。

Category : kinect
« Kinectのデータをオフライン解析するモーキャプチャツール iPi DMC Expressがセール中(一つ古い記事) | このページ | iPi MoCap Basic版を定価の58%OFFで購入(´∀`)ノ(一つ新しい記事) »
このブログを検索
カテゴリー
最近の記事
DAZ rendero e-on smithmicro e-frontier

関連項目

カテゴリkinect

トラックバック

このエントリーのトラックバックURL:
http://www.boktv.x0.com/blog/b4tt8bbx.cgi/2936-del
-delを削除してご使用ください(スパム対策)

コメント

コメントする




Posted by: purplerock | 2011年10月27日 23:16

ども~。purplerockです。

レポートありがとうございます。読ませていただきました。なるほどねえ。私も買うかどうか微妙になってきました。今回は見送りかな。

頭と胴体が石像みたいにくっついて動かないという点は、前から気になってます。

マーカーでも使ってみれば良くなるんでしょうかね。発光ダイオードつきのヘッドバンドをつけるとか。なにか原色のカラフルなマスクとか、左が赤で右が青とか。ヘアバンドでもいいかな。各部分で色分けした全身タイツへ進化してしまうとかw。

Posted by: けん(管理人) | 2011年10月29日 00:36

purplerockさんども~っす(´∀`)ノ

3Dキャラクターツールで多少は腕に覚えがある人ならば、MMDやLAでモーキャプするよりも、iPiの方が楽にモーションつけられますよ。
ブログアップ後もiPiを触り続けているうちに、使い方に慣れてきて、私はだんだん欲しくなってきていますw

あと、iPiはKinectの深度情報のみを読み取ってキャプチャしているので、LEDとかカラフルなマスクとか関係ないです(^_^;

あと・・・なんとですね、今日コンパラ見に行ったら iPiのBasic版も追加でセールされているのですよ。こいつがあればKinect2台接続できるのですよ。

2台接続してもKinect同士が60~90度の角度に納まっていなければ赤外線が干渉しちゃうので、「1台よりマシレベル
」なのですが。。。Basic版買っちゃいそうです。

Posted by: purplerock | 2011年10月29日 23:21

ども。ちょっと自己紹介。この夏からPoser8をはじめた新人です。よろしくご指導のほどをお願いします。それ以来、古代の謎の文書のようなマニュアルの謎解きをしてます。izaサイトにこの名前のHPがあります。

kinect1台って書いてあるけど、つないだら2台目もつかえるんですね。Basicですかあ、ビデオカメラ複数台だったら隠れたところができないし、精度も上がるんですかね?

アニメを目指して勉強中なのでる、細かい動作もとれるといいなと思ってます。

Posted by: けん(管理人) | 2011年10月29日 23:40

自己紹介ども~(´∀`)ノ

3DCGツール全般に言えることですが、マニュアル読むのはある程度ツールを使い倒してからが良いですよ。
自分でツールを使う前に読んでも訳ワカランし、日本語訳に変な所があったりするので、アテにならんですw

iPi Basic版以上+βドライバを導入する事で、Kinect2台接続が可能になる見たいですよ。

以下、外人さんが野球やゴルフのフォームをKinect2台で撮影して、こりゃスゲエ!って言ってるムービーです
http://www.youtube.com/watch?v=tdo2WT3mlhQ
http://www.youtube.com/watch?v=p-7kU9bHGX4

私も野球のバッティングフォームを撮影してみましたが、Kinect1台じゃ体がねじれた所をこんなに正確にキャプチャ出来ません。
でも、2台だと結構無理な姿勢まで認識できるっぽいです。
(1個前のコメントに書いた通り、2台の設置場所が重要で、赤外線干渉しないようにする必要があるみたいですが)