前回まででVRoidで作ったキャラクター（アバター）をVRM形式でエクスポート（保存）するところまでを紹介しました。
今回はついに自分（中の人）の声・動きとキャラクターを連動させる方法を紹介します。
なお、VTuberの声をあてる人のことをモデルと呼ぶこともあるそうですが、3Dキャラクターをモデルと呼ぶ人もいて混同しやすいので、当記事では声やモーションを担当する人を「中の人」と呼んでいます。
目次
必要な道具
ここからはＰＣ内のアプリだけでなく、以下のものが必要です。
・カメラ
・マイク
カメラは安物のものでも大丈夫です。
カメラ性能は顔の輪郭と目（まぶた）、口の形などがアプリで認識できれば十分です。
ノートＰＣに内蔵されているカメラでも大丈夫ですが、スマホのカメラで連動させるのは大変です。
1000円台のものでもいいので購入しておきましょう。
お金をかけるならマイクです。
せっかくかわいらしい3Dキャラを動かしても雑音が入ったりしては評価が下がってしまいます。
「とりあえず試すだけ」ならノートパソコンの内臓マイクや1000円以下のマイクでも構いませんが、実際に配信する前には十分なスペックの物を用意したいところです。
必要なツール（アプリ）
必要なツールは「3tene」です。
無料でダウンロードできます。
公式サイトはこちらからです。
「pro」「studio」という有料版もありますが、まずは無料の「free」でやってみましょう。
公式サイトの一番左薄緑色の背景の「3tene free v2」をクリックし、「無料ダウンロード」からご自身のPCに適したものをダウンロードしてください。
3teneへのキャラクター実装
3teneを起動したら、左側の「アバターの選択」をクリックします。
「ファイル」タブの左上のシルエット画像を選択し、使いたいVRMファイルを選択します。
操作方法
拡大縮小・・・スクロール
平行移動・・・画面右の十字矢印
回転・・・画面右の上カーブ矢印
キャラクターと中の人との連動
さて、では3tene上に表示したキャラクターに中の人との連動を設定しましょう。
顔の連動（フェイストラッキング）の設定
カメラの設定をします。
右側の「アバター調整」をクリック
「設定」タブを選択
ウェブカメラ（「フェイストラッキングの種類」の右にも表示されることがありますが、それの一つ下の項目です）の項目から、中の人の顔を撮るためのカメラを選択します。
次にマイクの設定をします。
口周り（マイク・音声）の設定は2パターンある
3Dキャラクターの口を動かす方法は2パターンあります。
1つはカメラの映像で中の人の口の動きと連動させる（顔認識）方法。
もう一つは、マイク入力の音声に応じて動かす方法です。
顔認識で口を動かす
上記同様、「アバター調整」→「設定」へと進みます。
リップシンク種類の項目を「顔認識」に設定します。
音声連動
マイク入力の音声に連動させるには、リップシンク種類を「音声（録音）」を設定します。
さらにその下にあるリップシンクの音声入力で自分の口に一番近いマイクを設定します。
連動をスタートさせる
設定が終わったら、メイン画面右上のトラッキングオンオフ設定をクリックします。
顔の動きだけでいいのなら「フェイストラッキング」を、口周りも動かしたいのなら「リップシンク」をそれぞれ「開始」に変更します。
なお、全身操作はカメラだけでは対応できず、「リープモーション」に対応した道具が必要です。
「踊ってみた」動画を作成したい場合や、両手の動きも付けたい場合は購入を考えましょう。
※ちょっと高いです
背景画像
デフォルトは「精神と時の部屋」のような何もない空間です。
味気ないので背景を用意しましょう。
背景設定から
「画像」→「画像を追加」から背景にしたい画像を設定します。
「背景画像のフォルダを開く」は画像を保存するべきフォルダが開きます。
他のソフトで描いたりネットでダウンロードした画像ファイルをこのフォルダに保存してください。
※画像をダウンロードする場合は著作権に注意してください
画像は自分で用意してもいいですし、「クロマキー合成」という機能を使って別の動画を足すこともできます。
※クロマキー合成は3tene上ではできず、別のソフトと組み合わせる必要があります
ゲーム実況などでプレイ画面にキャラクターがいるのはこのクロマキー合成を使って作成されています。
ゲーム実況のほかに、「観光地案内」や「会社案内」などにも使えます。
こんな感じです。
動画を保存してみよう
動画を撮影するには、「F11」を押すか、メイン画面左側のカメラ画像をクリックします。
※左側はスクリーンショット、右側が録画です
もう一度「F11」を押すか、カメラ画像をクリックすると撮影が完了し自動的に保存されます。
動画の保存場所は？
メイン画面の「設定変更」→「録画」タブで保存先が変更できます。
録画を開始してから変更しようとすると、その間の珍妙な動きも録画されてしまいます。
開始前に保存場所を設定しましょう。
すでに保存してしまったという方は、保存先を変更する前のフォルダを見に行きましょう。
最後に
うまく自分の動き・声が3Dキャラクターと連動できたでしょうか。
とりあえず、この形でも「雑談動画」ならできそうですよね。
まずは自己紹介動画を作ってみてはいかがでしょうか。
自分がどんなキャラクターなのかという設定や、自分のチャンネルでどんなことをして行こうと思っているのかなどを語るだけでも初回の動画としては十分でしょう。