第2回UE4何でも勉強会 in 東京にて、LTした時のスライド資料になります。

1. UE4でVR空間にカノジョを錬金するLT
+
The Phantom Knowledge Project for UE4進捗報告
荻野雄季
第2回UE4何でも勉強会 in 東京

2. 自己紹介
• 荻野雄季（おぎのゆうき）
• 所属：マイティゲームス ゲームサービス事業部
親会社がマイネットってところ
• Unreal Engine MeetUp Saitama主催 #ue4saitama
https://www.meetup.com/ja-JP/UnrealSaitama/
• UE4とかＶＲとか趣味で触ってます
• Twitter:@YuukiOgino

3. まずはじめに……
このLTはユニティちゃんライセンス条項の元、行っています
※ユニティちゃん成分が多いので、ライセンス表示しています

4. UE4でカノジョを錬金するLT

5. https://qiita.com/advent-calendar/2017/ue4vrgame-create

6. 2日で軽くプロトタイプ作成
https://twitter.com/i/videos/934709537428221952

7. 本日午前4時、コンテンツ完成
アドカレ全記事予約投稿完了
https://twitter.com/twitter/statuses/942904118632357889

9. 開発環境
• Windows10
• Unreal Engine4.18.1
• Oculus Rift + Oculus touch

10. UE4でカノジョを錬金するLT
記事内容全公開
※すでに公開済み（1～19日まで）の内容は簡単に紹介します
※20日以降は完全なネタバレなので、本日以降Qiita見なくてＯＫです

11. • 可愛いフリーの美少女モデルをとアニメーションを使用する
• Maya等の3Dレンダリングツールで自作する
美少女３Ｄモデルとアニメーションを用意する
１日目

12. • クリスマス部屋をマーケットプレイスで買う
• Maya等の3Dレンダリングツールで部屋を自作する
クリスマスにふさわしい部屋を準備
１日目

14. 2日目～3日目、8日目～10日目
• サマ○○○スンであったＵＩの一つ
• Oculusは加速度が取れるため、うなずいたり、首を振るのは全て加
速度の値を元に実装
首振り選択肢のロジック実装

15. モナくんありがとう！！ @mona19920307

25. 4日目～7日目
• 視線入力に対応した選択肢を作る
• UE4 ガンシューティングゲームを作ろう！その4 視線選択を
引用（YumaDogidogi’s blog）
http://yumadogidogi.hatenablog.com/entry/2015/08/19/124503
視線入力による選択肢ロジック実装

34. 11日目
• カノジョ（3Ｄモデル）にこちらに視線を合わせるように実装
• 今回は調整済みのデータを公開
LookAtでカノジョに見つめてもらう

35. 11日目
• UE4 LookAt機能を使ってGrayちゃんに見つめてもらってみる
• UE4 キャラクターの顔を特定の位置に向ける・Transform の向
きを Blueprint で制御する（Look At）
• UE4とOculusで～いつもと違うコトをしよう
参考にさせていただいたサイト

37. ユニティちゃんLookAt詳細設定

38. グレイちゃんLookAt詳細設定

39. 12日目～14日目
• ゲーム全体の流れを制御するGameManagerクラス作成
• ざっと中身を説明すると、適切なボイスを再生して選択肢を表
示するだけ
• 1時間で作った適当なクラスなので参考程度に
GameManagerクラス作成

42. 15日目
• 視界外でうなずきのアクションをしてしまうと勝手にゲームが進
んでしまい、ユーザーが混乱してしまうという問題点
• UIが視界に入った時のみ、入力が有効になるよう実装
うなずきＵＩを視界に入った時のみ有効

43. 15日目
• ロジック自体はAnswerHubの回答をそのまま引用
https://answers.unrealengine.com/questions/499508/%E3%82%A2
%E3%82%AF%E3%82%BF%E3%83%BC%E3%81%8B%E3%82%
AB%E3%83%A1%E3%83%A9%E3%81%AB%E6%98%A0%E3%8
1%A3%E3%81%A6%E3%81%84%E3%82%8B%E3%81%8B%E3
%82%92%E5%88%A4%E5%88%A5%E3%81%97%E3%81%9F%E
3%81%84.html
うなずきＵＩを視界に入った時のみ有効

44. 16日目
• Oculus RiftはHMDだけでなくOculus Touchの加速度も取れるので、
何回か連続で横方向の加速度が取れれば手を振っていると判定す
るように実装
• ゲームジャム中に思いついたが、結局実装しなかった
手を振っているかどうかの実装

47. 17日目
• 乱数を取得し、もし一定値異常だった場合はモーフターゲットを
操作して、まばたきをするように実装
まばたき実装

51. 18日目～23日目（ここからネタバレ）
• カノジョ（3Ｄモデル）のボーンを回転させて、擬似的に呼吸
をしているように見せかける
• 操作するボーンは腰、胸、首、頭、右肩、左肩
汎用的な呼吸アニメーション実装

52. 汎用的な呼吸アニメーション実装
参考にしたサイト
• スクリプトで呼吸させる - 第2回 | Unity3D
• http://mebiustos.hatenablog.com/entry/2015/08/31/201902

53. 汎用的な呼吸アニメーション実装
アニメーションＢＰに変数をセット

54. 汎用的な呼吸アニメーション実装
列挙型(enum)作成

55. 汎用的な呼吸アニメーション実装
アニムグラフ実装
Transform(Modify)Boneノード（日本語だと「ボーンをトランス
フォームで修正する」ノード）を利用して、ボーンを回転させる

56. 汎用的な呼吸アニメーション実装
腰、胸、首、頭のボーンをセット
※↓ユニティちゃんの場合

57. 汎用的な呼吸アニメーション実装
右肩、左肩のボーンをセット
呼吸した際に胸と一緒に腕が不自然に動くのを修正している
※↓ユニティちゃんの場合

58. 汎用的な呼吸アニメーション実装
各ノードの詳細にある全てのRoatationにあるRotationModeを
Add to Existingに。

59. 汎用的な呼吸アニメーション実装
ロジック実装

60. 汎用的な呼吸アニメーション実装
自然な呼吸に見せるため、吸う⇔吐くの切り替えで少し待機させる

61. 汎用的な呼吸アニメーション実装
吸うアニメーション処理

62. 汎用的な呼吸アニメーション実装
吸うアニメーションの時間を判定
時間の計算式：inhale * durationRate + 0.5

63. 汎用的な呼吸アニメーション実装
ボーンの回転値をセット
ボーンは縦に回転させる（ユニティちゃんの場合はRoll）

64. 汎用的な呼吸アニメーション実装
吸うアニメーション、回転値の計算式:
[各ボーンの吸入最大回転値] * EffectRate *
Sin((GetAudioTimeSecounds - StartTime)/(inhale*durationRate))

65. 汎用的な呼吸アニメーション実装
吐くアニメーション処理

66. 汎用的な呼吸アニメーション実装
吐くアニメーションの時間を判定
時間の計算式：exhale * durationRate + 0.5

67. 汎用的な呼吸アニメーション実装
ボーンの回転値をセット
回転させる場所は吸う時と一緒

68. 汎用的な呼吸アニメーション実装
吐くアニメーション、回転値の計算
回転値を求めた後、各ボーンのinhaleから引いた値を回転値とし
てセット

69. 汎用的な呼吸アニメーション実装
吐くアニメーション、回転値の計算式:
[各ボーンの吐くアニメーション最大回転値] * EffectRate *
Sin((GetAudioTimeSecounds - StartTime)/(exhale*durationRate))

70. 24日目～25日目
• ボイスを再生している間、リップシンクするように実装
• 19日0時にようやく大まかな実装ができ、本日の午前4時に実装が
完了
• 凹みTipsが無ければ詰んでた
リップシンク
※フォルマント画像はみんな大好き凹みTipsより引用

71. リップシンク
参考にしたサイト（凹みTips Only）
フォルマントから母音推定してリップシンクを目指してみる
Unity でリアルタイムにリップシンクする MMD4Mecanim
LipSync Plugin を作ってみた
ユニティちゃんが声に合わせて口パクしてくれるリップシンクア
セットを作ってみた
MMD4Mecanim-LipSync-Pluginソース

72. リップシンク
まずUE4のみで実装してみようとした
・MMD4Mecanim-LipSync-Pluginソースを参考にBluePrintでフォ
ルマント解析処理を実装
・公式プラグインのSound Visualizations Pluginを使用

73. リップシンク
が、できず……
・公式プラグインのSound Visualizations Pluginを使用するとパ
ッケージングでエラーが出る（エディター専用のプラグイン）
・周波数解析のライブラリを利用してUE4プラグインを作ろう
→自分のC++の実装知識が足りず、ライブラリ組めず時間を無駄
に過ごしたため断念

74. リップシンク
実際にどうしたか
MMD4Mecanim-LipSync-Pluginソースをいじって、Unityから解
析データをCSVで吐き出せばいいじゃん
というわけで、ボイスデータ解析にUnity
使いました

75. リップシンク
Unity側の設定
ユニティちゃんの場合、UnityChanLipSync.csを使用すれば大半
の設定が完了
エディタでいじったのはMorph SpeedとMax Morph Weightだけ

76. リップシンク
Unity側の設定
ソース修正

77. リップシンク
Unity側の設定
ソース修正

78. リップシンク
AudioClipにボイス設定し、Playのボタンを押せばCSV生成

79. リップシンク
CSVをFloatCurveでUE4にインポート

80. リップシンク
全FloatCurveにコンスタント補間をかける
これでリップシンク時に変な口になる割合が減少する

81. リップシンク
タイムラインを実装し、FloatCurveから適切なモーフターゲット
の値を取得する

82. リップシンク
タイムラインを20秒で20を返すFloatを作成
※なぜ20秒なのかというと、再生するボイスデータが20秒を超え
るものがないため

83. リップシンク
SetNewTimeでボイスデータのDurationをセット
Reverseで再生
Update経由で渡されるFloat値からボイスデータのDurationを引く
ことによって、現在の再生時間がわかる

84. リップシンク
アニメーションBPに、リップシンク設定用の関数を作成

85. リップシンク
ボイス再生を行っている処理から、リップシンク再生イベントを
呼び出すように修正

86. リップシンク
ボイス再生を行っている処理から、リップシンク再生イベントを
呼び出すように修正

87. UE4でカノジョを錬金するアドカレ
終了！！

88. UE4でカノジョを錬金するアドカレ
まとめ
当然ですが、ストアにリリースするには課題がまだある
•FPSを90維持できていないのでCPU処理を見直す（重要）
•チュートリアルが用意されてない（重要）
•モデルに近づくと中身が見えてしまう
•表情が付いていない
•手振りの実装できてない

89. UE4でカノジョを錬金するアドカレ
まとめ
当然ですが、ストアにリリースするには課題がまだある
•グレイちゃんがただのマスコットに
•ニコニ立体ちゃんがただのマスコットに
•キャラから視線をはずした時にボイスを言わせてみたい
などなど……
ここで一旦、色々と処理を見直してストアにリリースさせたい！

90. UE4でカノジョを錬金するアドカレ
まとめ
・あとはもう完全な自己満足
昨年、同じようなことをして25日までにアドカレが書ききれなか
ったため、今年は書ききれてよかった
色々やりすぎて地獄しか見えなかったし、今回でかなり満足した
ので、もう来年はやりませんｗ

91. UE4でカノジョを錬金するアドカレ
まとめ
・ソースとスライド
25日、有料のアセットを抜いてGithubに公開します。
このスライドも25日以降に公開します。
ユニティちゃんライセンスとグレイちゃんの利用規約を継承して
いますので、利用する際は必ず守ってください！

92. まとめ （ＶＲ元年前）

93. まとめ ＶＲ元年後

94. これでクリスマスも例の6時間も
安心して過ごせるね！！
UE4でVR空間にカノジョを錬金するLT編 終わり！

95. The Phantom Knowledge Project for
UE4 進捗報告

96. 25日に投稿予定のアドカレ記事です

97. 今日から睡眠時間削って検証します
進捗ダメです！！

98. The Phantom Knowledge Project
• ユニティ・テクノロジーズ・ジャパン合同会社がUnity2017.1を用
いて制作したオリジナルアニメーション

99. The Phantom Knowledge Project
• 2017年12月8日（金） プロジェクトデータ公開

100. ヤバイ！！
ＵＥ4に移植するしかねぇ！！
今思えばなぜこんな頭のおかしいことをしようとしたのか、自分でもわからない
そもそもシーケンサー3回ぐらいしか触ってない

101. おまけ
個人的ユニティちゃんUE4移植難易度
• 通常モデル＆ハロウィン 易
シェーダー除く。初心者はまずここから

102. おまけ
個人的ユニティちゃんUE4移植難易度
• SDユニティちゃんズ 普通
シェーダー除く。アニメーションに自分でモーフターゲットを設定
する必要あり

103. おまけ
個人的ユニティちゃんUE4移植難易度
• ローポリユニティちゃん 易
アニメーションはリターゲットする必要あり

104. おまけ
個人的ユニティちゃんUE4移植難易度
• ユニティちゃんライブステージ！ -Candy Rock Star- 凶悪
• アニメーション関連が凶悪
• ステージも色々と手間がかかる
• 素直にUnityでいじくったほうが楽
• 美少女の面を被ったバケモノ

105. おまけ
個人的ユニティちゃんUE4移植難易度
どうしても見たい方は、てんちょーさんのGithubからソースを落と
しましょう
https://github.com/shop-0761/UnitychanLIVE-UE4Ver-
てんちょーさんの
「CRSをUE4に移植してみた本」
という技術同人誌も手に入るのであれば
見るのも手

106. おまけ
個人的ユニティちゃんUE4移植難易度
• The Phantom Knowledge 検証中
• 軽く触ってみた感じ、CRSよりは簡単そう？

107. 現時点での進捗

108. 現時点での進捗
•サーバールームのシーン、モデルは大体移植完了
•マテリアルは自分の知識がないので後回し

109. 現時点での進捗
•家から出るシーン
•背景は板ポリのようなのでシーケンサーのカメラで余計なも
の写さないように気をつける

110. 現時点での進捗
•町のシーン。こちらも背景が板ポリ
•元々のアニメーションの位置がおかしい(0,0,0ではない)
•カメラで余計なもの写さないよう調整するしかない

111. 現時点での進捗
•ハイウェイ。マテリアルが57必要
•現在、元のモデルを見てどのテクスチャーが対応しているか
調査中

112. 現時点での進捗
•ゲート。モデル自体にまだ手をつけられていない

113. 現時点での進捗
•ゲート。モデル自体にまだ手をつけられていない

114. 現時点での進捗
•アカザモデル。アニメーションが好み（ただ位置がおかしい）

115. 現時点での進捗
•アニメーションの位置がほとんどおかしい
•3Dモデルはともかくとして、板ポリのところの調整がホント大変
……

116. 現時点での進捗
•こはく（制服）のFBXが無いため、ベルト付きスカートのメッシ
ュをマテリアルで非表示（透明）にしないといけない

117. 現時点での進捗
•アニメーションに使用しているFBXはScenes/01_Masterに入って
いる。Models/CharacterにあるFBXはテクスチャー以外、基本無
視して問題ない（というか全く使えない）

118. 現時点での進捗
•見た目同じモデルでも、ボーン、メッシュ構造が違うものがある
ので、インポートするときは気をつける(FBXガチャみたい)
これとこれは違うボーン
ボーンを使いまわすとメッシュが崩れる

119. 進捗報告以上！！
25日までに書けるかなぁ……
シーケンサー、一度も手をつけてないし、もうすっかりやり方忘れたし……

120. 自分は例の6時間、
ユニティちゃんと向き合います！！
The Phantom Knowledge Project for UE4進捗報告編 終わり！
ご清聴ありがとうございます！