SIGGRAPH 2021のProduction Sessionsでは今年も様々なセッションが行われたが、その中から筆者がチョイスしたのは「ILM Presents: The Visual Effects & Virtual Production of “The Mandalorian”」である。『マンダロリアン』におけるバーチャル・プロダクションの成功事例は世界的にも注目を浴び、これに追従する形でさまざまなスタジオが追従＆実践しようと試みていることは読者の皆さまもご存じの通り。同セッションは、『マンダロリアン』の制作クルーが語る「現場の声」が聞けるということもあり、大変興味深い内容であった。
TEXT＿鍋 潤太郎
EDIT＿山田桃子 / Momoko Yamada
ILM Presents: The Visual Effects & Virtual Production of ‘The Mandalorian” Production Session. © 2021 ACM SIGGRAPH
このセッションは、事前に収録された各パネラーへのインタビュー映像を編集して構成されているため、たくさんのパネラーが登場する。そのため、発言者が頻繁に入れ代わっており、どのパネラーの発言であるかは文中で明確にしておいた。ただし情報量が膨大であるためカットした箇所もあるため、本稿ではセッションの内容を要約して紹介させていただく。また、同セッションは映像を見ながら解説していくスタイルだったため、理解しやすいよう、必要に応じて補足的な説明も加えている。また今回のセッションでは、各パネラーの発言の中でLED関連の用語が数種類登場する。これらは、
・LEDパネル
・LEDウォール（基本的にパネルと同じだが、円筒形に配置されているためWall・壁と呼ぶ人も）
・LEDボリューム（撮影ステージの空間も含めた名称）
・LEDコンテンツ（映像部分を指す）
・ステージクラフト（LEDボリュームと同じ、もしくは撮影ステージ全体を指す）
などの細かいニュアンスのちがいはあるもの、基本的には同じものを指している。レポートの中では、これらの用語を統一して置き換えるのではなく、それぞれのパネラーが使った言葉をあえてそのまま使用している。ハリウッドの制作現場における映像用語なども同様である。その方が、現場レベルの視点やリアル感が読者の皆さまに伝わると考えたからである。
以上を参考の上、お読みいただければと思う。
▲パネラーの顔ぶれ（一部）
ILM Presents: The Visual Effects & Virtual Production of “The Mandalorian”
The Virtual Production of The Mandalorian, Season One
リチャード・ブルフ／ILM VFXスーパーバイザー：ILMのリチャード・ブルフです。私はジョー・バウアーと共に『マンダロリアン シーズン2』のVFXスーパーバイザーを務めました。今回は、皆さんに直接お会いすることができず大変残念ではありますが、シーズン1およびシーズン2のポストプロダクションのメイキングを、皆さんとシェアできればと思います。
アビゲイル・ケラー／ILM VFXプロデューサー：ILMのVFXプロデューサー、アビゲイル・ケラーです。VFXチームは、膨大な作業量をかなりのハイペースで進めていく必要がありました。そのため、プロダクションの初期にデザインやプリビズを含む、多くの要素を準備しておくことが必要でした。
全編を通して、プリビズをエピソード毎に準備しました。これは、作業の全体像や複雑度などを事前に把握できるという部分でも、大変効果的でした。特に、何か特別な要素……例えば砂の中から現れるドラゴンなど、これを実現するためには予めどのようなプランが必要か、などを効率良く準備することができました。
クレイトン・アルブレヒト／ザ・サードフロア ビジュアライゼーション・プロデューサー：ザ・サードフロアのビジュアライゼーション・プロデューサー、クレイトン・アルブレヒトです。スターウォーズ・シリーズは、必然的にクオリティに対する期待度も高く、これに対してTV予算、TVスケジュールという制約の中で期待に応えていくためには、可能な限り無駄を省いて、効率的に進めていくための念入りな準備が不可欠となります。
脚本・製作総指揮のジョン・ファヴローとデイヴ・フィローニは、この作品に携わる全てのデパートメント（部門）に対し、事前にプリビスを見て全容を理解しておくことを求めました。プリビスは、VFXやアートなどの各デパートメント、スペシャル・エフェクツ（※）やAD、ガファーなどの撮影現場の各クルー達が方向性を共有できるツールとして役立ちました。
※スペシャル・エフェクツ：撮影時に一緒にカメラに収める視覚効果を指す。水しぶきや雨、爆発、メカニカルなエフェクト、パペット操演やアニマトロ二クスなどがある
特に、この作品ではLEDボリュームを活用していますから、一見シンプルと思われるショットを準備する際も、後から様々な要素が入って複雑になっていくことも十分予想できます。その関係で、最終的に完成する映像で必要とされる作業を、事前に把握しておくことは重要なのです。
ILM Presents: The Visual Effects & Virtual Production of ‘The Mandalorian” Production Session. © 2021 ACM SIGGRAPH
スティーブン・トム／ザ・サードフロア テックビズ・スーパーバイザー：ザ・サードフロアのテックビズ・スーパーバイザーのスティーブン・トムです。サードフロアは、ドラゴンのCGアセットを、フィルムメイカー達がセット上でARによって視覚化することが可能なARアプリを開発しました。フィルムメイカーにとって、画面の中のどこに洞窟があり、ドラゴンがカメラからの距離によってどの位の大きさに見えるか、などを把握できることは重要です。
アビゲイル・ケラー／ILM VFXプロデューサー：私たちは全部で5,000ショット強のVFXショットを完成させようと必死でした（笑）。ジョン・ファヴローとデイヴ・フィローニの両名から連日レビューがあり、コメントが来ます。これらの膨大な作業を効率良く進めるために、パイプラインを介しての作業効率化、スーパーバイザーとのやりとりに至るまで、可能な限りオーガナイズしました。
ポスト・スーパーバイザーと連絡を密に取りながら、細分化された各ワークフローをスケジュールと照らし合わせ、クオリティを最大限に高めるための効率化には力を注ぎました。それ以外でも、難易度の高いショットを担当しているアーティストが多忙で、なかなか次のショットの作業に移れないような場合は、他のアーティストが該当ショットを代わりピックアップしたりと、全体のチームワークが功を奏したプロジェクトでした。
▲ILMが入居している、サンフランシスコのプレシディオにあるレターマン・デジタルセンター（筆者撮影）
ステーシー・ビッセル／ILM VFXスーパーバイザー：ILMのVFXスーパーバイザー、ステーシー・ビッセルです。シーズン2では、ILMでは1,000人近いアーティストがこの作品に参加しました。そして複数のプロデューサー・チームが、今回の巨大なチームをマネージメントしました。プロデューサー達はロンドン、シンガポール、LA、シドニー、サンフランシスコ、バンクーバーの各チームを束ね、スケジュールを厳守し、スターウォーズ・シリーズとしての期待に応えうる水準のクオリティを保ち、クルーやショットの配分を考慮しながら作業を進めていきました。
ジョン・ノール／ILM：ILMのジョン・ノールです。言うまでもなく、この作品は巨大プロジェクトでした。しかも、数年間に渡る規模です。プロダクション初期のプリプロから始まり、エンバイロンメント（背景）を構築し、LEDボリュームで使える状態までもっていきます。そして撮影ステージでのメンテナンス、最終的な仕上げ段階となるポストプロダクションというワークフローで、作業を進めていきました。
ハル・ヒッケル／アニメーション・スーパーバイザー：自分にとって、この作品は「エキサイティングの連続」と言ったショウ（作品）でした。まずバラエティに富み、ドロイドやらドラゴンやらダーク・トゥルーパー、しまいにはジェダイも登場します（笑）。宇宙船も飛び周りますしね。
ILM Presents: The Visual Effects & Virtual Production of ‘The Mandalorian” Production Session. © 2021 ACM SIGGRAPH
ステーシー・ビッセル／ILM VFXスーパーバイザー：エピソード201で登場するクレイト・ドラゴンのシークエンスは、チャレンジが要求されたシークエンスの1つでした。ハイ・ディテールで巨大なクリーチャーと、完成度の高いエフェクト・アニメーションが臨場感を盛り上げました。
ジョン・ノール／ILM：クレイト・ドラゴンのシークエンスは、特にドラゴンと砂のインタラクションのエフェクト・シミュレーションは難易度が高く、これをどのように実現していくか、試行錯誤を繰り返しました。
ジェフ・キャパグレコ／ILM VFXスーパーバイザー：我々が説明されたのは、「ドラゴンは自身の周囲に動的フォースを持ち、それが砂を固形から流体状の動きに変えていく」というものでした。さながら「砂の中を泳いでいくような動き」ということでした。
……私の人生で、そんな生物見たことありません。どこから始めれば良いのか、途方に暮れました（笑）。砂でありながら流体っぽく、そして砂状のダストを乗せる事で表現しています。それに、ドラゴンと言えば普通は炎を吐くものでしょう？ このドラゴンは火の代わりに、人を溶かす液体を吐き出します。流体がタスケン・レイダーに”hit”した瞬間に溶けて液化させるという設定ですが、あまりグロテスクにしないためにも、ドラゴンの液体で隠しながら消していくという表現方法にしました。
ポール・カバナー／ILM アニメーション・スーパーバイザー：このドラゴンのクリーチャーで苦労した点といえば、スケール感／巨大感を出すことでした。
ジェフ・キャパグレコ／ILM VFXスーパーバイザー：最初は蛇やカメレオンなどをアニメーションの参考にしていましたが、途中で分かったことは、「動きが速すぎる」のです。これでは、砂の流体シミュレーションがうまくいきません。
ポール・カバナー／ILM アニメーション・スーパーバイザー：こういう大きなサイズのクリーチャーの場合、適格なWeightとMassを選んでアニメーションをつけることは、いつも難しいチャレンジです。
ドラゴンが液体を吐き散らすショットは、野外ロケ撮影でした。カメラは手前のタスケン・レイダー達をロングレンズで捉えています。その背後には伝統的なブルースクリーンがあり、ポスプロでデジタル・ダブルや迫ってくるドラゴンなどで埋めていくのです。
ハル・ヒッケル／アニメーション・スーパーバイザー：エピソード1におけるクレイト・ドラゴンのシークエンスで興味深かった点と言えば、画面のアスペクト比をアニメーションしたショットがあります。これはジョン・ファヴローのアイデアで、おそらく誰も気がついていないと思いますが、逃げるタスケン・レイダーの背後からドラゴンが襲ってくるシーンで、画面のレターボックスがゆっくりと上下に開いているのです。
また、バンサ（タスケン・レイダーが乗る象のようなクリーチャー）はクローズアップ撮影用に実物大のアニマトロニクスを作り、モーション・ベースによってプログラムで顔の向きや目などの動きをコントロールしました。またILMシンガポールがデジタル・ダブル用のバンサを作り、歩くバンサやパニック・バンサ、アイドリング・バンサなどのバリエーションを用意しました。
また、白いアイス・スパイダーが登場するシークエンスは、イメージ・エンジンが担当しました。
ロビン・ヘッケル／イメージ・エンジン VFXスーパーバイザー：
アイス・スパイダーが襲ってくるシークエンスは、特に巨大な母スパイダーのデベロップメントがチャレンジでした。主に映画『ジュラシック・パーク』の映像をリファレンスとして使用しましたが、特に母スパイダーがキャノピー越しに覗き込むショットは、ティラノザウルスのショットを参考にしています。
▲ILMの敷地内からゴールデンゲート・ブリッジを望む。サンフランシスコは霧の町とも称され、このように雲で覆われている日も多い（筆者撮影）
ハル・ヒッケル／アニメーション・スーパーバイザー：エピソード207で、連結トラックでモラックの帝国リドニウム製油所に向かう途中、盗賊に襲われるチェイス・シークエンスがありました。エンバイロンメントも連結トラックのデザインも、これまで登場してきたものとは根本的に異なるもので、チャレンジが要求されました。その1つはステージ撮影でのアクション・シーンの撮影で、クラッシックな”マッドマックス風”のアクションが必要とされましたが、この実写撮影をどうやってVFXと組み合わせるか、が課題でした。
パトリック・ゲーレン／ザ・サードフロア プリビス・リード：このシークエンスのために、4人のアクターを使ってモーションキャプチャを行いました。これにはセリフも含まれ、役者のアクションや立ち位置や距離なども網羅されたプリビスを用意しました。また、セカンドユニットのディレクターとコラボしたお陰で、スタントをテンプレートとしてプリビス映像の中に活かすことができました。
ジョン・ノール／ILM：本来のプランでは、このシークエンスはハワイでロケを行う予定でした。しかし現実問題として、コロナによるロックダウンが起こり、ロケができなくなってしまいました。そこで、別の形で何とか映像化しなければならない必要が出てきました。
ILM Presents: The Visual Effects & Virtual Production of ‘The Mandalorian” Production Session. © 2021 ACM SIGGRAPH
エンリコ・ダン／ILM エンバイロンメント・スーパーバイザー：こうした事情により、ロケで撮影した素材にVFXをマッチさせるのではなく、エンバイロンメントを全てデジタルで構築することになりましたが、フレキシビリティという点では有益でした。そこで、ベトナム、ハワイ、フィリピンなどで撮影された写真を参考にしながら、構築していきました。
アクション・シーンはLAの撮影スタジオで収録されました。この実写プレートを受け取った後、VFXで常に重要だったのは「ライティングを実写プレートと合わせる」ということです。プレートは、朝に撮影されたもの、太陽が真上にある正午頃に撮影された素材が混じっていました。これらを、プレート毎に違和感なくライティングを合わせていきました。
シーズン1で初めてLEDボリュームで撮影を行なったとき、フィルムメイカーや各デパートメントのヘッドから「もっとこういうことができないか」、というフィードバックがたくさん寄せられました。更なるコントロールの必要性と、どのようなツールを開発していくか？ などが大きな課題でした。
それがILMのバーチャル・プロダクション・ツールHeliosの開発を始めた大きな理由です。これにはシーズン1での経験をベースに、シーズン2で使用することに特化して開発されました。
レイチェル・ローズ／ILM R&Dスーパーバイザー：ジョン・ファヴローは、このテクノロジーを引き続き進化させていくことを強く要望してきました。私達もその必要性を感じました。そこで、シーズン2ではHeliosを開発しました。これは自社開発のシネマティック・レンダリングエンジンで、クリエイティブ面での様々な要求に応えることが可能になりました。例えば、より高い解像度、色彩の忠実度、より深い黒味、そしてワークフローの改善などが挙げられます。iPadを利用してのカラーコレクションなど操作性も工夫されています。
ILM Presents: The Visual Effects & Virtual Production of ‘The Mandalorian” Production Session. © 2021 ACM SIGGRAPH
アビゲイル・ケラー／ILM VFXプロデューサー：シーズン1におけるLEDコンテンツによるエンバイロンメントは、私達自身も驚く程、期待に応え、成功しました。この成功と経験により、シーズン2における制作予算やスケジュールのプランニングが、より容易になりました。
ソーニャ・コントレラス／ILM バーチャル・プロダクション・テクニカル・ディレクター：コンテンツ・チームは、ステージクラフト・チームの要望に応えながら、デザイン全般を担当しました。例えば、あるセットが必要なとき、LEDウォールと撮影セットを比較して、LEDウォールでカラーグレーディングやカラーコレクションを行うことにより、カメラを覗いたときには、両者の色がより馴染んだ状態になるよう、調整することができます。
エンリコ・ダン／ILM エンバイロンメント・スーパーバイザー：実在するセットと、LEDウォールのデジタルのセットの見た目をシームレスに馴染ませることができます。ライトのヒューやインテンシティーなどを、DP（撮影監督）の要求に合わせて調整することができるのです。
レイチェル・ローズ／ILM R&Dスーパーバイザー：ステージクラフトでの撮影では、様々な要素を調整する必要があります。例えば、撮影カメラは記録可能なカラーレンジが限られています。またLEDスクリーンも、表示可能な独自のカラーレンジが決まっていますし、これは自然界がもつカラーとは異なるものです。カラー・サイエンスの観点から、LEDボリュームを使用しての我々の”ゴール”は、「元の映像と、LEDウォールに表示されている映像、カメラで撮影された映像、これらの色が、まったく同じように見える」ということでした。
ソーニャ・コントレラス／ILM バーチャル・プロダクション・テクニカル・ディレクター：リアルタイム・ライティングだけでなく、まるでリアルタイム合成のような感覚で、LEDウォールを調整しながら、セットを同時に撮影できるというのが利点でした。
アビゲイル・ケラー／ILM VFXプロデューサー：VFXチームの大きな役割の1つに、LEDウォールと、セット上のプラクティカル・ライティングを可能な限りマッチさせるというのがありました。プロダクション・デザインのチームと共同で、デジタル・ライティングとプラクティカル・ライティングの両方からのフィードバックを反映しつ、両者の見た目をブレンドしていきました。
レイチェル・ローズ／ILM R&Dスーパーバイザー：シーズン1のときは、シーンを切り替える毎にLEDスクリーンをオフにしなければなりませんでした。シーズン2では、LEDスクリーンはオンにしたまま、そこにある映像に合わせてセットを交換するということが可能になりました。
▲ILMが入居するレターマン・デジタルセンターのカフェテリアで時折出される名物メニュー。その名も「スカイウォーカー和牛バーガー」。これを食べながら、VFXクルーは日々の作業にいそしむわけである（筆者撮影）
ランディス・フィールズ／ILM バーチャル・プロダクション・ビジュアライゼーション・スーパーバイザー：シーズン2の撮影で、シーズン1のときよりも便利だった点は、ARでバーチャルセットを体感できることでした。3D空間の中でデジタルセットを移動しながら、最適なアングルを決めることができました。
エンリコ・ダン／ILM エンバイロンメント・スーパーバイザー：シーズン1および2では様々なエンバイロンメントを構築しましたが、重要だったのは、「フォトリアリスティックなエンバイロンメントを、リアルタイムエンジンで表示させる」ということでした。しかも、撮影現場にある実在セットとカラーをマッチさせる必要がありました。
レイチェル・ローズ／ILM R&Dスーパーバイザー：シーズン2撮影時の、もう1つキーになる機能に、各シーン毎に必要とされる霧やフォグと言ったアトモスフィアの表現向上が挙げられます。シーズン2では、アトモスフィアをよりコントロール可能にするため、新しいツールが開発されました。これにより、光を通して見たアトモスフィアなど、表現の幅が向上しました。
▲ILMのスタジオ正面玄関には、おなじみヨーダ像が鎮座している。ちょっと後ろ側から撮影してみた。なんだか哀愁が漂う、不思議な写真が撮れた（筆者撮影）
リチャード・ブルフ／ILM VFXスーパーバイザー：さて、チャプター13の「The Jedi」についてお話しましょう。
すべてのエピソードは、脚本からスタートします。それが、エンバイロンメントがどのように見えるべきかを説明してくれます。今お見せしているスライドは、ダグ・チャング率いるアート・デパートメントが用意した、外壁が建物で囲われたコートヤードのコンセプト・アートの数々です。デザイン・ワークの段階で、あらゆる角度から見たデザインが起こされます。我々は、空間を理解するためにテーブルサイズのミニチュアをつくり、これを見ながらセットをどのようにドレスアップするか、カメラアングルはどうするか、などを検討することができます。
また、膨大なプリビズも用意されました。今お見せしている画像は、バーチャル・アート・デパートメントがつくったVRセットで、主要な建物モデルなどにテクスチャを施したものをリアルタイム・エンジンの3D空間で60コマ／秒で見ることができます。ジョン・ファヴローとデイヴ・フィローニの2人は、ヘッドセットを被って事前に確認することができるのです。
また、このVRにより、撮影時にどこにLEDボリュームがあり、どこに実在するセットがあるのか、なども確認できます。このエンバイロンメントの3Dデータは、ザ・サードフロアに送られ、プリビズに活用されます。これらの作業が固まると、完成したプリビズはILMへと送られ、最終的にLEDウォールに投影するための最終映像がつくられます。
これらは既存のゲームエンジンで60コマ／秒で確認できますし、LEDウォールに投影される映像は端から端までが50Kの解像度で準備されます。もちろん、撮影でカメラを配置した際に十分な解像度が得られるか、なども考慮されます。撮影で使用されるドアや入口などのセットのデザインも、膨大な数のリファレンス画像が撮影され、DPがどのような見た目を要求しているか、などが共有できるようになっています。このように大変複雑で、しかも時間が限られているプロセスを、効率良くデジタルで再構築していけるよう、最大限の工夫が成されているのです。
今お見せしているのは水の上にかかる通路の撮影セットです。この映像では、背景のLEDウォールがオフになった状態なので、背景は白一色です。さてLEDウォールがオンになると、背景には建物が登場します。水面には映り込みが入り、木々もLEDからの光を受けてディテールがつきます。セットにも、LEDウォールの明かりが反射してセカンダリー・ライティングが実現します。その際、LEDウォールのデジタル・アセットを個別にカラーコレクションすることで、セットに反射している明度を部分的に調整することも可能なのです。
こちらはViewing Angle（=カメラから見た状態）の映像ですが、試しにカメラとは別のアングルから見てみましょう。天井部分のLED映像はストレッチしてしまっているし、LEDウォールの円筒形の形状などもわかってしまいます。このように、各ショットは「Viewing Angleから見た時に正しく見えるよう」セットアップされているのです。
よく、「どの程度の表現がLEDウォールで実現可能で、どの程度を後からポスプロで追加しているのか？」と聞かれることがあります。これはその好例です。先程と同じ、水の上の通路のショットですが、LEDウォールが水面に映り込んでいます。
こちらがデイリー（※）のバージョンで、こちらがファイナルのバージョンです。御覧のように、デイリーでの映像は、空がLEDの上端で、若干ですが見切れています。ファイナルでは、空を描き足し、木の葉には太陽からの木漏れ日とフレアが追加され、水面には飛んでいるハエを追加しています。こういう効果をポストで足す事で、より臨場感が感じられるのです。
※デイリー：途中経過をチェックするための試写。毎日行うのでデイリーと呼ばれる
我々がシーズン1で身をもって学んだことは「LEDボリュームは、撮影できる物理的なスペースが限られている」ということでした。もちろん、より大きなサイズのLEDボリュームを構築することも可能なのですが、それ以外の方法として我々が編み出したのは、撮影セットをLEDウォールの外側に組んでおいて、カメラが撮影セットをつき進んでいくとLEDウォールの空間に入るというもので、この2つを組み合わせて表現することを学びました。
撮影セットのエクステンション（延長）を、LEDウォールで表現するようなイメージです。この方法であれば、前半の撮影セットは実際のライティング、後半はLEDウォールのライティングとい行った両方を効果的に組み合わせることができるので、より表現の幅が広がります。
続いて、チャプター15に登場したジャンクヤードのシークエンスでの、ミニチュアの活用例のお話をしましょう。このジャンクヤードには、”廃車”になったタイファイターなどのガラクタが積んでありますが、タイファイターは3Dプリンターで出力し、手でペイントして汚れやディテールを足し、テーブルの上に2～3メートル程のミニチュアセットをつくりました。これをフォトグラメトリーの手法で3Dデータ化し、ILMが制作したジャンクヤードの背景としてLEDスクリーンに投影しました。また、画面の中には、フィル・ティペット自身の手によるストップ・モーション・アニメーションで撮影した歩行ロボットなどが合成され、完成となります。
ILM Presents: The Visual Effects & Virtual Production of ‘The Mandalorian” Production Session. © 2021 ACM SIGGRAPH
アビゲイル・ケラー／ILM VFXプロデューサー：ILMと、ジョン・ファヴローとデイヴ・フィローニの両名、そして各エピソードを監督したディレクター達とはクリエイティブな信頼関係を築き、アイデアを交換し合いながら、1年以上に渡りプロダクションを進めてきました。このパートナーシップの恩恵により、非常に高いクオリティのVFXを、短期間で効率良く仕上げていくことができました。
リチャード・ブルフ／ILM VFXスーパーバイザー：膨大な作業が必要とされたシーズン2では、シーズン1を遥かに凌ぐ映像が実現できました。これには、脚本家、アーティスト、セットの建築家、各デパートメントのヘッド、そしてDPなど、すべてのクルーのコラボレーションの賜物なのです。そして、テクノロジーが我々を未知の世界にいざなってくれるのは大変エキサイティングだと思います。そんな私の立場から、一言、申し上げたいことがあります。制作に参加したすべてのクルーのみなさん、お疲れ様でした。