フェイストラッキングモバイルアプリ【nizima LIVE TRACKER】| nizimaでできること

nizima LIVE TRACKERは、顔の動きや表情を認識・トラッキング(追跡)して誰でも手軽にLive2Dモデルを動かすことができる無料のiOS用アプリケーションです。

デスクトップ版アプリ「nizima LIVE」と接続しiPhoneをカメラとして活用すると、ウェブカメラよりもさらに生き生きとした動きを表現できます。

機能一覧表

機能	nizima LIVE TRACKER
動作推奨環境　※1	iPhoneX以降、iOS14.0以降、ストレージ容量：500MB
料金	無料
商用利用　※2	×
モデルの読込	〇
表情トラッキング	〇
ロゴ表示	なし
カメラ連続使用時間	制限なし
nizima LIVE連携　※3	〇

注意事項

※1 iPad・iPod Touch は、動作保証対象外となります。
※2 nizima LIVE TRACKER単独での商用利用は不可です。ただし、nizima LIVEと接続して使用する場合はnizima LIVE【有料プラン】を利用中の場合に限り商用利用可能です。
※3 下記の機能を使用したい場合、デスクトップ版アプリ「nizima LIVE」をダウンロードし「nizima LIVE TRACKER」と接続する必要があります。

「nizima LIVE」には一部有料の機能がございます。
　・コラボ機能
　・OBSなどの配信用ソフトを使用した、YouTubeなどの配信プラットフォームでの配信

※ App StoreはApple Inc.のサービスマークです。

画面説明

nizima LIVE TRACKERの基本的な画面や機能をご紹介します。

メイン画面

nizima LIVE TRACKER_マニュアル_ロックアイコン（ロック解除）

機能	説明
①ロック動作	タップすると、モデルの移動・拡大・縮小のロックができます。再度タップすると解除されます。
②カメラ	タップすると、カメラの映像を元にしたフェイスマスクが表示されます。リセット…カメラで映されている顔の位置・表情をモデルの基準として設定します。
③モデル位置移動	下記の操作でモデルを操作することができます。ドラッグ…移動 2本指で回転…回転ピンチアウト…拡大ピンチイン…縮小 2本指でダブルタップ…位置リセット 1本指でダブルタップ…操作アイコンの表示・非表示切り替え
④メニュー	表示モデルを変更したり、デスクトップ版との接続設定を行ったりすることができます。詳細は下記のとおりです。

メニューをタップすると次の画面が表示されます。

モデル一覧

表示するモデルを変更します。

[モデル一覧]をタップするとモデル一覧が表示され、モデルのアイコンをタップすると表示モデルが切り替わります。

⇒ Live2Dモデルを追加する方法

背景設定

背景画像

背景の一覧から画像を選択すると、選択された画像が背景に表示されます。

＋マークをタップするとカメラロールから背景画像を追加できます。
ゴミ箱アイコンをタップして表示される×マークをタップすると、画像を削除できます。

単色背景

単色の背景を設定でき、スライダーで色を変更できます。

PC接続

デスクトップ版アプリ「nizima LIVE」との接続設定を行います。

⇒ nizima LIVEとの接続方法

アクションボタン

nizima LIVEで設定されている「表情・モーション」のショートカットキーと同じキーをnizima LIVE TRACKERに設定することで、モデルの「表情・モーション」をiPhoneから操作できます。

⇒ アクションボタンの設定方法

右上の編集ボタンをタップすると、アクションボタンを編集できるモードになります。

表示されているボタンの中から、編集したいボタンを選択すると次の画面が表示されます。

項目	説明
Name	任意のショートカット名を設定します。
Keyboard Shortcut	設定したいショートカットキーを入力します。
保存	上で入力した内容を保存します。
削除	表示されているアクションボタンの内容を削除できます。

右上のチェックマークをタップすると、編集モードが解除されます。

設定したアクションボタンをタップすると、「表情・モーション」がnizima LIVEの表示モデルに反映されます。

オプション

デバイス名

nizima LIVEとモバイル接続を行った際に「カメラ設定」＞「モバイル」で表示されるカメラ名を設定できます。

Live2Dモデル追加方法

新しく読み込むための組み込み用Live2Dモデルデータが必要です。Live2Dの公式マーケットnizimaで探してみるか、Live2D cubism Editorを使用して自分で作成しましょう。

nizimaでは書き出しデータが、組み込み用Live2Dモデルデータに該当します。

Live2Dモデルを探してみる！

1. PCにiTunesをインストールします。

2. PCとiPhoneをUSBケーブルで繋ぎます。

3. PCでiTunesを開き、画面上部にあるスマホのアイコンをクリックします。

左側に出てきた設定の中から「ファイル共有」を選択し、出てきたアプリ一覧の中から「nizima LIVE TRACKER」を選択します。　

4. 画面右側、「nizima LIVE TRACKERの書類」の中から「Models」を選択し、「保存」をクリックします。

「保存」が見当たらない場合はスクロールすると下の方に表示されることがあります。

5. フォルダを保存するウィンドウが表示されるので、デスクトップなどを指定し「フォルダーの選択」をクリックします。

指定した場所に「Models」フォルダが作成されます。　

6. 作成された「Models」フォルダにモデルデータを追加します。

組み込み用データ一式のフォルダごと追加してください。
フォルダ構成についてはEditorマニュアル内「組み込み用データ」を参考にしてください。
モデルのテクスチャサイズが8192×8192より大きい場合は読み込めません。テクスチャサイズを小さくしてご対応ください。

7. モデルデータを追加した「Models」フォルダを、iTunesの「nizima LIVE TRACKERの書類」の中にドラッグ&ドロップで追加します。

8. 置き換えの確認ウィンドウが出ますので、「置き換える」をクリックします。　

9. iTunesで右下の「同期」をクリックしてiPhoneと同期します。

10. iPhoneでnizima LIVE TRACKERを再起動し、メニューの「モデル一覧」で新しいモデルが追加されていることを確認します。

Live2Dモデルを削除したい場合、上記と同様に1~5の手順を行った後、 6で「Models」フォルダから削除したいモデルデータを削除します。
残りの7~9の手順も上記と同じです。

nizima LIVE(PC)との接続方法

1. PCとiPhoneを同じWi-Fiに接続します。

2. nizima LIVE(PC)を開きます。

3. メインウィンドウの左のメニューから [カメラ設定] を開き、 [モバイル設定] をクリックします。

nizima LIVE(PC)で下記のウィンドウが表示されます。

4. nizima LIVE(PC)で上記ウィンドウを表示したまま、nizima LIVE TRACKER(iPhone)を開きます。

5. 右下のメニューボタンをタップします。

メニューが表示されます。

6.「PC接続」をタップします。

PC接続設定画面が表示されます。

ここからは、3.で準備している nizima LIVE(PC) の画面と両画面での説明となります。

7. nizima LIVE(PC)側で表示された「ポート」と「PC IPアドレス」を、nizima LIVE TRACKER(iPhone)上で、それぞれ入力します。

8. nizima LIVE TRACKER(iPhone)で「モバイルトラッキング開始」をタップします。

「ステータス」が「トラッキングデータ送信中」に変化します。

9. nizima LIVE(PC)で「接続」をクリックします。

「ステータス」が「接続済み」になれば接続完了です。

ステータスは下記の４つがあります。

未接続(灰色)・・・接続開始していない状態
接続待機中(灰色)・・・接続を試みている状態　※30秒続くと接続エラーに変更されます。
接続済み(緑)・・・接続成功している状態
接続エラー(黄色)・・・接続待機中が30秒以上続いている状態

よくある接続エラーの原因

PCとiPhoneが同じWi-Fiに接続されていない
ネットワーク設定がパブリックになっている(プライベートに変更することで改善する場合があります)
セキュリティソフトがPCとiPhoneの接続をブロックしている(セキュリティソフトの設定見直しにより改善する場合があります)
ファイアウォールがPCとiPhoneの接続をブロックしている(ファイアウォールの設定見直しにより改善する場合があります)
IPアドレスが取得できない
回線に問題がある、回線速度が遅い

アクションボタンの設定方法

アクションボタン機能とは、nizima LIVE(PC)との接続中にiPhoneの画面のボタンをタップするだけでnizima LIVE(PC)で手軽に表情・モーションの再生ができる機能です。

特にゲーム配信中など、キーボードをすぐに触れない時に手元のiPhone端末で表情・モーションの操作ができて便利です。また、ボタンに名前をつけることができるので、表情・モーションの再生間違いが起こりにくくなります。

nizima LIVE(PC)で設定

まず、nizima LIVE(PC)で表情・モーションにショートカットキーを割り当てます。

1. nizima LIVE(PC)を開き「表情・モーション」をクリックします。

Live2Dモデルにつけられた表情・モーションの一覧が開きます。

表情・モーションはLive2D Cubism上でexp3.json（表情を決めるファイル）、motion3.json（モーションを決めるファイル）を作成する必要があります。

2. ショートカットキーを設定したい表情・モーションの右のプルダウンをクリックして設定を開きます。

3. 「表示名」にnizima LIVE上で表示したい名称を入力し、「ショートカット」に、開いた表情・モーションに割り当てたいショートカットキーを入力して「保存」をクリックします。

例えば「A」キーを押すとモデルが怒る表情を再生するように設定したい場合、怒る表情の右の三角をクリックして開き、「表示名」に「怒る」と入力し、「ショートカット」に「a」と入力して保存します。

4. nizima LIVE(PC)上で割り当てたショートカットキーが正常に作動するか確認してください。

これで、nizima LIVE(PC)での表情・モーションへのショートカットキーの割り当てが完了しました。

nizima LIVE TRACKER(iPhone) で設定

nizima LIVE TRACKER(iPhone)でnizima LIVE(PC)で設定したショートカットキーをアクションボタンに設定します。

1. nizima LIVE TRACKER(iPhone)を開き、トップページのメニューアイコンをタップします。

2. 「アクションボタン」をタップします。

3. アクションボタンが並んだ画面が表示されます。右上の編集ボタンをタップします。

編集モードに切り替わります。

4. ショートカットのボタンを設定したい場所を選んでタップします。

例えば、一番左上のボタンを押したときに特定の表情を再生するように設定したいときには、一番左上のボタンをタップします。

ボタン設定の画面が開きます。

5. 「Name」にボタンにつけたい名前を入力し、「Keyboard Shortcut」に設定したいショートカットキーを入力し、「保存」をタップします。

例えば、3のデスクトップ版で設定した怒る表情のショートカットキー「a」を設定したい場合は、「Name」に「怒る」と入力し、「Keyboard Shortcut」に「【なし】+a」と入力して保存します。

6. 右上のチェックマークをタップします。

編集モードが終了します。

これで、nizima LIVE TRACKER(iPhone)でのアクションボタンキーの設定ができました。

nizima LIVE TRACKER(iPhone)で作成したアクションボタンをタップすると、nizima LIVE(PC)上のLive2Dモデルで対応する表情・モーションが再生されます。

よくある質問

1. nizima LIVE TRACKERの利用に料金はかかりますか？

nizima LIVE TRACKERのダウンロード・利用料は無料です。ただし、パケット通信料はお客様のご負担となります。
デスクトップ用アプリ「nizima LIVE」では、一部機能制限のある無料版・機能制限のない有料版をご用意しております。

2. nizima LIVEとnizima LIVE TRACKERの違いは何ですか？

nizima LIVEはデスクトップ版アプリ、nizima LIVE TRACKERはモバイル版アプリとなります。
デスクトップ版単体でも使用できますが、モバイル版と接続してiPhoneをカメラ代わりに使用することで、webカメラよりもさらに生き生きとした高クオリティなモデル表現を実現できます。

3. nizima LIVE TRACKERの推奨機種を教えてください。

推奨機種：iPhoneX以降のiPhone・iOS14.0以降・ストレージ容量500MB
現在iOS版のみの提供となっております。

お問い合わせ

問い合わせフォームよりお問い合わせください。

nizima LIVE TRACKER

目次