MMD 自動トレース (miu)

MMD 自動トレース

概要

リンク：

MMD モーショントレース自動化への挑戦 – Qiita

使い方

参考：

クラウド (Colab) で MMD 自動トレース – Qiita

動画を自動トレースして Unity でキャラクターに踊ってもらう – Qiita

#1 自動トレースを実行 | apr

#2 モーションサポーターで自動トレース結果を変換 | apr

バージョン 3

処理パイプライン

• OpenPose
• mannequinchallenge-vmd
• 3d-pose-baseline-vmd
• VMD-3d-pose-baseline-multi

参考：

クラウド (Colab) で MMD 自動トレース – Qiita

Colab

リポジトリ：

miu200521358/motion_trace_colab: Colab版 MMD 自動トレース – GitHub

デモ：

MMD 自動トレース 準備編 (miu) | Google Colab

MMD 自動トレース v3 実行編 (miu) | Google Colab

バージョン 4

動画：

MMD 自動トレース v4β (miu)

MMD モーショントレース自動化への挑戦 v4α (miu)

リポジトリ：

miu200521358/mmd-auto-trace-4 – GitHub

リンク：

使用技術 – miu200521358/mmd-auto-trace-4 Wiki – GitHub

利用規約 – miu200521358/mmd-auto-trace-4 Wiki – GitHub

デモ：

参考：

MMD 自動トレース v4 ベータ版、コミュニティにて公開します！ (@miu200521358) – X

MMD自動トレース v4 の正式版配布…には間に合いませんでしたので、途中経過報告動画になります (@miu200521358) – X

ワークフロー

v3

• 自動トレースを実行する
  • 人物の追跡を指定する
• 足 FK モーションを IK モーションに変換する
• モーションを大まかに修正する
  • 体幹の角度を修正する
  • センターの Z 位置を修正する
  • 全親移植
  • スムージング
• 映像に合わせてトレースする
  • カメラを調整する → 視野角／位置／姿勢
  • 体幹の移動を合わせる
  • 足 IK の位置／姿勢を調整する
  • 腕モーションをトレースする
    • 肩ボーンを使う
    • 腕捩／手捩を使う
  • 指モーションを付ける
• 追加でモーションを作成する
  • リップモーションを作成する
  • カメラモーションを作成する
  • 目線／表情モーションを作成する

動画：

モーション配布への道 v2 (miu)

参考：

MMD 自動トレースからモーショントレース始めてみよう！ まとめ | apr

リンク

MMD 自動トレースライセンス／クレジット | miu

リポジトリ

miu200521358/motion_trace_colab: colab 版 MMD 自動トレース – GitHub

miu200521358/motion_trace_bulk: MMD モーショントレース自動化一括処理バッチ – GitHub

miu200521358/mannequinchallenge-vmd: Inference Code and Trained Models for Learning the Depths of Moving People by Watching Frozen People – GitHub

miu200521358/FCRN-DepthPrediction-vmd: 映像データと OpenPose の結果を元に、人物の深度推定を行います – GitHub

miu200521358/3d-pose-baseline-vmd: OpenPose の 2D 人間骨格データから 3D 関節データを生成し、その関節データを出力します – GitHub

miu200521358/VMD-3d-pose-baseline-multi: 3d-pose-baseline-vmd で出力した関節データをもとに、VMD (MMD モーションデータ) ファイルを生成します – GitHub

チュートリアル

モーショントレース自動化への挑戦 v3.00 (miu s)

自動トレースの実践 (カツブシワークス)

まとめ

MMD 自動トレースからモーショントレース始めてみよう！ まとめ | apr

プレイリスト

MMD 自動トレース (miu) – YouTube

MediaPipe

リポジトリ：

google-ai-edge/mediapipe: Cross-Platform, Customizable ML Solutions for Live and Streaming Media – GitHub

ドキュメント：

ソリューション ガイド – MediaPipe | Google AI for Developers [公式]