uLipSync の使い方 [Unity]

uLipSync

リポジトリ：

hecomi/uLipSync: MFCC-based LipSync Plug-in for Unity Using Job System and Burst Compiler – GitHub

概要

参考：

リアルタイムにリップシンクを行うプラグインを更に作り直してみた | 凹みTips

リアルタイムにリップシンクを行うプラグインを作り直してみた – 凹みTips

使い方

1. モデルに「uLipSyncBlendShape」コンポーネントを付与する。
2. 「Blend Shapes」リストに「あ・い・う・え・お」5文字分の項目を追加し、プロパティを適切に設定する。
3. 「uLipSync」コンポーネントを適当なオブジェクトに付与し、「Audio Source Proxy」に音源を設定する。
4. 「On Lip Sync Update」のコールバックとして、「uLipSyncBlendShape」コンポーネントの OnLipSyncUpdate メソッドを指定する。

参考：

VRM モデルに uLipSync でリップシンクさせる | KOBABO

Animator

• uLipSyncAnimator

参考：

uLipSync で Animator を使ったリップシンクができるように更新してみた | 凹みTips

Add support for Animator by liudger · Pull Request #24 · hecomi/uLipSync – GitHub

VRM で使う

1. 「uLipSyncExpressionVRM」コンポーネントを付与し、AddBlendShape メソッドで「あ・い・う・え・お」5文字分のブレンドシェイプを追加する。
2. 「uLipSync」コンポーネントを付与する。
3. プロファイルを設定する。
4. 「On Lip Sync Update」のコールバックとして、「uLipSyncExpressionVRM」コンポーネントの OnLipSyncUpdate メソッドを指定する。

リポジトリ：

Samples/04. VRM – GitHub

参考：

uLipSync を VRM で試してみた | トマシープが学ぶ

VRM モデルに uLipSync でリップシンクさせる | KOBABO

Add VRM expression sample by mkc1370 · Pull Request #27 · hecomi/uLipSync – GitHub

マイク入力

参考：

VOICEROID のプレビュー音声で VRM モデルをリップシンクさせる | もふもふテックブログ

ベイク

参考：

uLipSync でリップシンクの事前計算およびタイムライン対応をしてみた | 凹みTips

uLipSync にアニメーションベイク機能を追加してみた | 凹みTips

メル周波数ケプストラム係数 (MFCC)

参考：

メル周波数ケプストラム係数 (MFCC) | 人工知能に関する断創録

Mel-Frequency Cepstrum – Wikipedia

Mel Scale – Wikipedia

比較

参考：

uLipSync をテスト | 白百合めしべ