10月16日（土）、エピック ゲームズ ジャパンが主催するUnreal Engineを使用した映像制作に焦点をあてたオンライン勉強会「UE4 Cinematic Dive Online」が開催された。この勉強会では、映像制作分野でのUE4の応用について実例を基に紹介。エピック ゲームズ ジャパンの向井秀哉氏による「初心者向け UE4 映像制作での シーケンサー と Movie Render Queue の使い方」、グラフィニカとIndie-us Gamesによる「劇場アニメ『HELLO WORLD』”一行瑠璃”のUE4によるセルシェーダー構築フロー」、Black Amber Japan, managed by SAFEHOUSE, Inc.ディレクターのエラスマス・ブロスダウ氏によるシネマティックムービー『Zenobia – The Dreamworld』のメイキングの3つのセクションで構成された。本稿ではこれらセッションを1つずつ紹介する。
TEXT＿大河原浩一 / Hirokazu Okawara（ビットプランクス）
EDIT＿三村ゆにこ / Uniko Mimura（@UNIKO_LITTLE）
＜1＞「初心者向けUE4映像制作での シーケンサーとMovie Render Queueの使い方」 by エピック ゲームズ ジャパン
本セッションでは、エピック ゲームズ ジャパンのソリューション・アーキテクト向井秀哉氏が、2020年に発表されたWeta Digital制作の『Meerkat』デモのアセットを使って、UE4のシーケンサーの概要と使い方、制作した映像を出力するMovie Render Queueの概要および使い方について、シーケンサー使用経験の少ない初心者にもわかりやすく紹介された。
まず、UE4を使ったリアルタイムレンダリングによる映像制作と、プリレンダリングによる映像制作のワークフローのちがいを紹介。モデリングからレンダリングやコンポジットまでをUE4だけで処理できる工程と、Maya等DCCツールとの連携が必要な部分などが解説された。DCCツールとUE4で各工程ごとにデータをやりとりする場合のファイルフォーマットなども細かく説明されているので、UE4を使った映像制作を進めたい人にとって非常に参考になるだろう。
ワークフローが説明されたところで、メインテーマであるシーケンサーの説明に移った。シーケンサーはUE4に搭載された3Dノンリニア編集ツールで、アニメーション制作からカメラワーク作成、カットの作成・編集といった作業を、UE4内でPremiere Proなどのビデオ編集ソフトのような感覚で行うことができる。さらにパラメータ制御やBlueprintのイベント呼び出しまで行うことができるため、パラメータの変化などをリアルタイムで確認しながらの映像制作が可能だ。シーケンサーはシーケンスエディタの操作がメインとなるが、エディタのUIに関しても非常に細かく説明されている。
次に、実際のケースに合わせてシーケンサーを使った映像制作の手順が解説された。解説はシーケンサーを作成するところから始まる。シーケンサーを作成するには、エディタを開いて［Cinematics］のアイコンをクリックし、［Add Level Sequence］を選択することでシーケンサーを作成することができる。シーケンスへのアクターの追加はドラッグ＆ドロップで追加でき、Transformの各パラメータにもシーケンサー上でキーフレームの作成が可能だ。アクターを登録したところで、キャラクターをアニメーションさせる方法が紹介される。
シーケンサーでキャラクターをアニメーションさせるには、「DCCツールで作成したスケルタルメッシュでアニメーションアセットを利用」、「UE4内のControl Rigを使用」、「Alembicを使用」といった方法があるという。本セッションでは「スケルタルメッシュを使った方法」と「Control Rigを使った方法」を解説。
スケルタルメッシュを使用した方法では、モーションが設定されたスケルタルメッシュをFBXで読み込むことで、複数のモーションをシーケンサー上で組み合わせて一連の動きを作成することができる。セッションではMeerkatのアセットを使ってのデモであったが、複数のモーションがシームレスにきれいにブレンドされていた。
Control Rigを使ったアニメーションは、UE4内でBlueprintをベースとしたリグの構築が可能で、シーケンサーでアニメーションの作成や修正が可能だという。Alembic Cashを使ったアニメーションは、実験的な機能とされていたがデモではAlembic Cashを読み込むとスケルタルメッシュと同等にアニメーションが再生されていた。
その他にも、カメラに対してアニメーションを作成する方法や、アニメーションのスピードを自由に調整する方法、ショットトラックを使ったカット編集の方法、Niagaraのパーティクルをシーケンサーでアニメーションさせる方法などが紹介された。被写界深度をリアルタイムで確認しながらアニメーションさせる方法を活用すれば、実写の撮影に近い感覚でカメラワークを行うことができるのではないだろうか。シーケンサーの解説の最後は、シーケンサーでマテリアルにアニメーションを設定する方法や様々なトラックの機能が紹介された。
セッションの後半では、シーケンサーで作成されたアニメーションをレンダリングするMovie Render Queueについて紹介された。Movie Render Queueでは、連番出力、レンダーパス出力、アンチエリアシング設定、OCIO対応、高解像度でのレンダリング、レンダリング時のCVarの適用、UIを別素材で出力する、設定のプリセット化の方法などが解説された。Movie Render Queueを使用すると、「ショットごと」もしくは「マスターショット全体」を設定したファイルフォーマットで出力することができる。レンダリングは複数のレンダリングキューをバッチ処理することができ、レンダーファームなどを利用したレンダリングにも対応している。出力できるファイルフォーマットは、JPEGやPNGといったベーシックなフォーマットからexr（16bit）やApple ProResといったハイエンドな制作現場でも使用されるフォーマットまで対応している。
セッションの最後に、レンダリング中にGPUがクラッシュするなどMovie Render Queueについてよくある質問についての対処方法を紹介。映像制作において必要なシーケンサーの機能がほぼ網羅された解説となっているので、UE4を使った映像制作の第一歩としては、非常に参考になるセッションではないだろうか。また、理解をより深めるための学習リソースの紹介もあり、いたれり尽くせりの講座であった。
●講演スライド
＜2＞「劇場アニメ『HELLO WORLD』”一行瑠璃”のUE4によるセルシェーダ構築フロー」 by グラフィニカ × Indie-us Games
このセミナーでは、オリジナル劇場アニメ『HELLO WORLD』のヒロイン「一行瑠璃」をアニメ調のルックのまま、UE4で再現するための一連のワークフローが解説された。登壇したのは、グラフィニカ京都スタジオ代表／RTR開発室室長で、アニメ『ガールズ＆パンツァー最終章』（2017）第2話ではUE4を使ったショットのパイプラインTDを務めた小宮彬広氏をはじめ、グラフィニカRTR映像制作室 プロデューサーの森口博史氏、グラフィニカ（ヒマワリスタジオ所属） RTR開発室 テクニカルアーティストの福岡北斗氏、グラフィニカ 3DCG部 テクニカルアーティストの酒井邦博氏、Indie-us Games代表取締役社長 中村匡彦氏、グラフィニカ VFX部 演出 堀内 隆氏の6名で、各人がそれぞれテクニカルプレゼンテーションを行なった。
セッションはグラフィニカとIndie-us Gamesの紹介からスタート。グラフィニカは、アニメ『楽園追放 -Expelled from Paradise-』（2014）や『HELLO WORLD』（2019）など劇場オリジナルアニメーションを手がける他、作画やCG、美術、撮影、編集といったアニメーション制作のほぼ全ての工程を社内でカバーできる総合制作スタジオで、近年ではUE4をアニメ制作に利用するといった先進的な制作手法に注目が集まっている。Indie-us Gamesは、UE4を開発プラットフォームとしてゲーム開発からVRや映像制作、学生・プロ向けの講師やセミナーコンサルタントなどを幅広く手がけるプロフェッショナル集団だ。グラフィニカとIndie-us Gamesは5月より業務提携しており、将来的には共同制作による作品のリリースも計画しているという。
本セッションでは、2社の業務提携によるUE4を使ったアニメ制作へのチャレンジ第一歩を事例として解説。ワークフローの紹介から、開発要項、今後の展望、アニメ特有のパラかけツールやポストフィニッシャーについて、Alembicデータを扱う際の基本などセルシェーダをどのように構築していったかについて体系的に解説した。
まず、福岡氏よりプロジェクト全体のワークフローが紹介された。ワークフローを構築する上でゴールとしたのは、「リアルタイムの特性を活かした映像制作をスムーズに行うためのワークフロー構築」。そこで、レンダリングが不要なリアルタイムレンダリングの長所が活きるよう、パラレルに制作が進行できるワークフローを目指したという。この「パラレルワークフロー」を実現するためには、「バージョン管理」、「運用ルールやデータ構成の整備」、「アセットの最適化」の3つの要素が必要不可欠になってくる。これらの3つの要素をどのように運用していったかについて、実際に制作されたUE4のデータを使いながら解説していった。
データ構成の整備では、キャラクター、背景、エフェクト、ポストフィニッシュと作業者ごとに管理しやすいように、作業内容ごとにシーケンサーが分けられている。また、アセットの最適化では、カメラに直接キーフレームをインポートするため、アニメーション更新のたびにショットシーケンサーが変更されてしまうという、パラレルワークフローにとっては問題となる「既存カメラの問題点」に対し、カメラのアニメーションデータをUasset化して運用する「カメラ骨フロー」といったアイデアが紹介された。また、3Dパーティクルの利用や木漏れ日エフェクトなどの作成方法なども紹介された。
Indie-us Gamesの中村氏からは、アニメ調のルックには欠かせない「UE4を使ったライン生成」について解説が行われた。今回のプロジェクトでは、セル塗りのルックはIndie-us Gamesが開発した「PPCelShader」をそのまま使用しているという。ライン生成に関しては同じく自社開発した「PPLineDrawing」を使用。どちらも自由に利用可能とのことなので、興味のある人はこちらからダウンロードして試してみてはどうだろう。現状では陰影やハイライトで難しい処理は行なっていないとのこと。今後はより複雑な制御ができるよう検討中だという。
アニメ調の画づくりをするときにUE4の「トーンマッパ」を使用するが、そのまま使用するとHDRのレンジをもった画になってしまい、非常にハイコントラストなルックになってしまう。利用する場合は、コンソールコマンドもしくは[DefaultEngine.ini → r.TonemapperFilm 0]と打ってレガシートーンマッパに設定し、本来のテクスチャの色に戻して利用しているという。ライン生成は、今回セルシェーダを使ったポストラインの他に、ポリゴンの法線を反転したモデルを利用する「背面法によるポリゴンライン」も利用されている。口などの細いラインはポストラインを利用し、輪郭などの太いラインはポリゴンラインを使って表現している。
ラインの微妙な幅の変化は、メッシュの頂点カラーを使ってポリゴンラインとポストラインで別々のロジックでマスク処理されている。ポストプロセスでは通常頂点カラーの情報を扱うことができないため、頂点カラーのBチャンネルをマテリアルの[Metallic]に入力して、Bチャンネルの情報だけ[Metallic]の「Gバッファ」で取得するという力技も使用しているという。この頂点カラーを利用したライン調整は、頂点カラーを含んだAlembicデータの容量が非常に大きくなるため効率が悪い。今後は、UVを作成してILIADのようなテクスチャペイントツールでのマスクテクスチャを作成する方法も検討していると中村氏は話す。
グラフィニカの堀内氏は、パラかけツールとポストフィニッシャーの仕事について解説。まずは、「アニメ作品のコンポジター」と「UE4のポストフィニッシャー」のちがいが紹介された。この2つの作業は似ているようだが、最終的な目標がまったく異なるという。「コンポジター」は、物理的に正しくなくても面白くリアリティのある表現を目標としておりクオリティが重視される。これに対して「ポストフィニッシャー」はリアルタイムレンダリングで、物理的に正しい空間でリアルな世界を作ることが目標となる。それぞれで必要な知識や作業内容も変わるため、UE4などのゲームエンジンでのアニメ制作には相互理解が重要になってくると堀内氏はいう。
パラかけツールは、アニメ作品の画面処理でよく使用されるエフェクトで、画面を部分的にマスクし影や光の領域をコントロールして視線誘導する手法だが、リアルタイムレンダリングの「物理的に正しいリアルな空間」に演出的なエフェクトをいかに実現していくかがテーマとなる。今回開発された手法は、カメラのポストプロセスマテリアルに独自UIを実装することで実現したという。
セッションの最後は、UE4でAlembicデータを扱うためのノウハウについて酒井氏から詳細なレポートが提示された。AlembicをUE4で使用する際のマテリアルの注意、3ds Maxでの調整の方法など非常に実践的な内容で、UE4でAlembicを使用したい人は目を通して損はない情報が満載となっている。
＜3＞「Creating the Dreamworld」 by Black Amber JAPAN（SAFEHOUSE, Inc.）
本セッションでは、4K60fpsで開発されているゲームプロジェクト『ZENOBIA®』のシネマティックムービー『Zenobia – The Dreamworld』のメイキングが、Black Amber JAPAN（SAFEHOUSE, Inc.）のディレクター、エラスマス・ブロスダウ氏によって解説された。ブロスダウ監督はリアルタイムレンダリングによる映像制作において、そのシネマティック制作技法に注目されており多くの作品でディレクターを務めている。同氏はディレクションの他にも、コンセプトからモデル制作までを手がけるゼネラリストとして世界的に高い評価を得ている。『Zenobia – The Dreamworld』は、ダークで幻想的な世界観やリアルな人物キャラクター、繊細な被写界深度を利用した画づくり、大気感が強調された空間演出など非常に魅力的な世界が表現されている。本映像を制作するきっかけは、以前からアイデアを練っていた独自IPのゲーム『ZENOBIA®』を制作するにあたり、「ちょっとしたティザームービーを作成して興味をもってもらいたい」という思いから始まったという。
コンセプト制作では、「夢の世界」と「現実の世界」のコントラストを表現する点が最大のポイントとなった。制作スタッフ全員と明確にビジョンが共有されていたため、脚本自体は2ページ程度の簡略化されたものだったという。脚本が完成したところで、キャラクターモデルの完成を待たず、ドイツのモーションキャプチャスタジオmetricmindsでモーションキャプチャの撮影に入った。モーションキャプチャの撮影では、ボディのモーションだけではなく、フェイシャルのキャプチャも同時に行われている。また、モデルデータが未だ作成されていなかったため、脚本を基に当日は手探りで撮影を行なったという。「モーションキャプチャの撮影では、まず何を撮りたいのかをきちんと把握していることが大切。またフェイシャルをキャプチャする際には、スタジオの照明状態を把握しておくことも重要で、照明機材の周波数とカメラの撮影fpsがマッチしないと映像が途切れ途切れになってしまい、アニメーターが困ることになります」と、モーションキャプチャ時のポイントをブロスダウ監督は語る。ちなみに撮影は4〜5テイク程度で終了し、とてもスムーズだったそうだ。
次にアセット制作のワークフローについて解説された。2人のキャラクターが寝そべっている基地内のアセットはオリジナルで作成しているが、背景の海中や魚などはマーケットプレイスのアセットを利用。基地の内装を作成するために多くのコンセプトアートが描かれ、基地内のディテールや照明効果などのプランを練った。セッションでは、実際に作成されたアセットをUE4でプレビューしながら、マテリアルの設定やモデルデータの構成などを詳細に解説。アセットの制作ではモデルデータであれテクスチャで、簡単に流用できるよう工夫しながら作成されているという。
中でもキャラクターモデルの制作は非常に時間がかかったらしく、顔のモデルはリアルタイムレンダリングでリアルに見えるように時間をかけて制作したそうだ。顔は購入したアセットを基に細かく修正を施した。DCCはMayaを使用し、フェイシャルアニメーションは50～60のターゲットシェイプを作成、ブレンドシェイプを使ってアニメーションされている。ボディの動きは、モーションキャプチャを使用しているが、フェイシャルアニメーションはブレンドシェイプにキーを手付けして作成されている。
続いて、UE4のシーケンサーを使ったシネマティックムービーを作成するための基本的なプロセスが紹介された。レベルに配置されたアセットをシーケンサーでトランスフォームアニメーションさせる方法から、時間軸に合わせたマテリアルの変更方法、カメラワーク、ライティングまで非常に簡潔にわかりやすく解説され、実際に作成したシーケンサーの構成まで細かく言及された。
ライティングについては、カットごとにレベルに配置したライトの設定を切り替えながらライティングが調整されている。本作の制作では「ショットベースライティング」と呼ばれているそうだ。「全てのカットでライティングを変化させています。できるだけキャラクターに光が当たるようにライティングすることで、ショットをより良く見せることができます。ライティングこそキチンと調整しないと、画面で伝えるべきものが伝わらなくなってしまいますからね。光は常に、画面に映っているキャラクタ－の感情の起伏を伝えています。キャラクターを強調するようなライティングをしても、カットごとに光源の位置が変わっていないように見えたらそれが理想的なライティングです」（ブロスダウ監督）。
次に、Dreamworldシーンのメイキングが紹介された。Dreamworldはオレンジを基調とした不気味なイメージを強調しており、ブルーを基調とした室内の世界観と明らかなコントラストが付けられている。ちなみにDreamworldは、マーケットプレイスのアセットを中心として作成されているそうだ。Megascansで無料の岩のアセットなどを入手し、色やライティングを調整して雰囲気が作られている。岩や骸骨にマッピングされている「汚し」などのテクスチャは「投影デカール」としてマッピングされており、リアルタイムで位置を調整してバリエーションが作成されている。レベル設計の特徴は、カットごとに登場する場所が全て1つのレベル内に配置されてまとめられていることだ。このような構造にすることで、カットごとに新たにライティングする必要がなくなるため、世界観を統一しながら効率良く作業を進めていくことができるのだという。
また、レベル内に配置されたセットをより格好良く見せるために、カットバイでアセットが配置されている場合もある。それにより、異なる角度から見た場合にアセットが不自然に配置されていることがあるが、「全てはカメラから見て格好良い構図のため」だとブロスダウ監督は話している。
最後に映像をグレードアップさせるためのレイトレーシングの手法について紹介された。リアルタイムレンダリングで映像を作成する場合、「レイトレーシングの原理」をしっかりと理解しておくことが必要だと話す。特に影のルックに関してはリアリティに大きな影響を与えるので、光源の大きさなどを調整して可能な限り柔らかくすることが必要だという。その他にも、反射やグローバルイルミネーションといった映像をグレードアップさせる手法が紹介された。ブロスダウ監督の解説は非常に簡潔でわかりやすいため、UE4を使ったリアルタイム映像制作を「自分にもできるかも」と思わせてくれる内容だった。
今回の「UE4 Cinematic Dive Online」の内容をざっと紹介してきたが、3つのセッションともこれからリアルタイムレンダリングを使った映像制作を行いたいという人にとって非常に有益で、モチベーションを上げてくれる内容だったように思う。回を重ねてほしい勉強会として、今後も期待したい。