mocopi センシング の環境を整える

出席率

• 3年セミナー：??%

スケジュール

短期的な予定

• mocopi でセンシング
  • mocopi x Unity
  • 色んな動作をとる
  • 誤差を計測(簡易)
  • 動作をグラフ化
  • bvhをパースするパッケージを作る
  • csv に書き出せるアプリを作る
  • 複数人の絡みを取ってみる
  • 複数人の動作を可視化できるアプリを作る
• 研究をしたい
  • テーマを考える
  • 研究する
  • 論文を書く
  • 発表する

長期的な予定

• 1月~ 研究
• 12月 WiNF2024

進捗報告

複数人の動作を可視化できるアプリを作る

現状の手段

Unity

• bvhを再生するにはblenderでfbx形式に処理する必要がある
• UDPでデータを送信すれば再生できる

BVH sender (SONY公式)

• BVHを再生できる
• 複数同時に再生することができない
• そもそも再生目的でない

目標

BVHファイルから直接アニメーションを再生できるようにする
ただし複数ファイルを同時に再生できるようにすること

進捗

体全体と上半身 (体, 頭, 手など) の動きは再現できた。

下半身の動きがそのままでは荒ぶってしまう
→ bvhとvrm(モデル) のボーンの違い？

ポイント

回転量の単位が違う
bvh形式: 度数法(deg)
gLTF形式: 弧度法(rad)

回転量が一部異なる
ex) root(腰)のy軸の回転量は bvh + 180度
　 上腕のz軸の回転量は -bvh

今後

• 下半身の動作も再現できるようにする
• 複数ファイルあるときの進行時間を揃える
  • bvhのフレーム数が異なる場合、2週目からずれてしまう
• 初期位置・回転量を変更できるようにする
• 他のやり方も探す
  • Unreal Engine ではbvh形式を再生できるかも？

進路関係

なし

余談

岡崎体育のライブに行ってきた

mocopi を持って行ったが、さすがに付けれる環境ではなかった。
スマホでセンシングしたが、保存に失敗した。
研究のテーマ決めの参考にしたかった...

今週もライブに行くので再戦する