もっと詳しく

[PR]

著名人の「分身」を3DCGによってつくり出し、本人に成り代わって広告領域やメタバース空間でのキャスティングを可能にする「デジタルツインレーベル」が注目を集めている。デジタルツインモデルの第一弾となる冨永愛氏の高品質なルックが大きな反響を呼んだことも記憶に新しい。CyberHuman Productions（以下、CHP）の高度なスキャン技術と、サイバーエージェント社内の研究機関であるAI Labの協業が可能にした、高品質かつ高速な制作ワークフローについて紹介する。

TEXT＿神山大輝（NINE GATES STUDIO）
PHOTO＿竹下朋宏

デジタルツインレーベル

物理的な時間拘束を伴わず、著名人のデジタルツインによるキャスティングを可能にする「デジタルツインレーベル」。これまではスケジュールの都合から起用が難しかった運用広告などにタレント自身の「分身」を活用する同サービスは、デジタルツインモデルの1人目となる世界的トップモデルの冨永愛氏を皮切りに、2023年までに500名の高精細モデルの制作を目指している。事業責任者の安黒篤史氏によれば、こうした事業の構想は3年以上前からあったという。

「2018年以前より、フォトリアルなスキャン技術を用いて、普段なかなか時間を確保することが難しいタレントやアーティストを運用型のWeb広告に起用するしくみを考えていました。当時は著名人や所属事務所にイメージを共有するのが難しかったものの、このコロナ禍において様々なインフルエンサーがYouTubeチャンネルをつくったり、Webを中心に情報発信を行なったりする状況となり、デジタル領域で活用可能なデジタルツインモデルの有用性が徐々に理解され始めました」（安黒氏）。

  • 安黒篤史氏
    株式会社サイバーエージェント　デジタルツインレーベル 兼 株式会社CyberHuman Productions（旧AVATTA）／事業責任者

「デジタルツインレーベルとしては、例えば今後タレントの年齢を自由に変更してキャスティングできたり、多言語で話せるようにすることでグローバルなコンテンツ活用のニーズが高まることが予想されます。高度なニーズに応えるため、サイバーエージェントのAI Labで、デジタルヒューマン研究センターという専門の研究組織も立ち上げ、現 在 のCG制作から一歩先んじた開発フローを目指しています。様々な技術を駆使しながらスピード感をもって社会実装をしていきたいと考えています」（安黒氏）。

冨永愛デジタルツイン化ワークフロー

デジタルツインモデルの1人目である冨永愛氏は、世界の第一線で活躍するトップモデルであり、テレビやラジオのパーソナリティや女優など多岐にわたるキャリアをもつ人物。デジタルツインレーベルの目指すビジョンと一致したことから、2021年7月にモデル制作がスタートした。多忙を極める冨永氏をスキャンできる機会は少なく、収録にかけられた時間はわずか20時間。この中で、ボディスキャンをはじめ、フェイシャルパターン、音声合成用の音声収録、特徴的なキャットウォークなど身体的特徴を示すモーションキャプチャ収録が実施された。

キャプチャはいずれもCHPが所有するカムロ坂スタジオとTHE AVATAR TRUCKで行われており、各3時間ほどで撮影が完了したとのこと。表情はFACS（Facial Action Coding System）をベースとしており、自然な表情付けを行うために90種類のパターン撮影を行なっているほか、目の虹彩や口内まで撮影している。また、音声も一般的な単語や台詞ではなく、AI Labが指定した音声合成用の特殊なパターンを収録しており、運用段階においてスチルだけでなく動きや声を用いた演技が可能になるよう工夫が施されている。

■撮影の様子

「デジタルツインを制作する上で、基となるスキャンデータの品質は非常に重要です。撮影スピードだけでなく、スキャンデータを業界トップクオリティで出せることも当社独自の強みです。従来はアーティストの手作業で行なっていた業務も自動化が進んでおり、静止画の書き出しだけなら通常1ヶ月程度で仕上げることが可能です」（安黒氏）。

例えば、従来特に時間のかかっていたテクスチャ抽出作業について、エンジニアのプリャーヒン・ヴァディム氏の開発したツールによって半分以下の工数に削減できているという。「これまではライトパターンの撮影において、最適な処理方法が確立されていませんでした。そこで、テクスチャの事前処理（書き出しの自動化）を行い、続いてスペキュラ、ラフネス、ノーマル、アルベドの4種を最も効率良く自動的に抽出する処理プロセスを決めて、その手法を実装したツールを開発しました」（ヴァディム氏）。手作業を排したことでヒューマンエラーや作業者ごとの品質の差異がなくなり、夜間に大量のバッチ処理をかけて翌朝に確認するなど効率性も向上。また、今後はスキャンした撮影データから自動的に各メッシュとテクスチャがワンクリックで書き出されるシステムを実装し、テスト中という。

■スキャンデータ処理

  • プリャーヒン・ヴァディム氏
    株式会社CyberHuman Productions／エンジニア

各種データを受けて、実際のモデル作業を行うのは、3Dアーティストのキム・ヒョクジン氏。全身スキャンモデルに、より解像度の高いフェイシャルモデルをマージし、事前に収集した本人の写真をリファレンスとしながら忠実にモデリング作業を行なっていく。この段階でスキャンデータにエラーがあれば修正するが、冨永愛氏の場合は特に問題がなかったとのこと。髪の毛以外の全身モデルは15日から20日程度で完成し、髪の毛のみスキャンデータのシルエットをリファレンスとしてキム氏自身が制作したという。完成したデータはいわゆるスッピン状態で、運用段階で案件ごとに適した化粧を施していくが、場合により素のモデル時点で顔や身体の見せ方を変更することも可能だ。

■3Dモデル制作

  • キム・ヒョクジン氏
    株式会社CyberHuman Productions／3Dアーティスト

「冨永愛氏といえば、印象的なキャットウォークが特徴です。カムロ坂スタジオに常設のモーションキャプチャスタジオ（OptiTrack）で、歩行のモーションや振り向く動作などを収録し、専用のライブラリにしています。理想は、デジタルツインを作成したのち、ほしいモーションを選べばすぐに動いてくれる、そういった画がすぐに出てくれる環境です」（安黒氏）。現在は汎用ライブラリとしていくつかのモーションを収録しているほか、スキャンを活用し、小道具として使用できるプロップのライブラリ化も進んでいる。ヴァディム氏が推し進めるスキャン後のデータ抽出の自動化と共に、モデル制作やモーション面の最適化が進めば、さらに高速にフォトリアル3DCGが生成できる見込みとなる。

安黒氏は今後、CHPのもつ「大量のハイクオリティモデルをハイスピードで制作する」高度なスキャン技術を他業界でも応用したい考えを示している。例えば、ハードスペックの進化と共に要求される3DCG技術が高度化するゲーム業界では、すでにリアルな人物が活躍する作品が数多くリリースされているが、全ての会社が専門のチームとキャプチャスタジオを所有するのは難しい。「われわれはスキャンに特化した専門チームです。ここ1、2年の間で、大規模なリアルタイム用のハイクオリティ3DCGモデル制作をはじめ、たくさんの経験を積んできました。ぜひ、フォトリアル表現の現場で活用していただきたいです」（安黒氏）。デジタルツインレーベルと共に、高度なスキャン技術を活用した作品が数多く生み出されることにおおいに期待したい。


デジタルツイン・冨永愛

＜＜＜関連記事＞＞＞
CyberHuman Productionsの移動型スキャンサービスで膨大なサッカー選手を3Dアバター化したFC町田ゼルビア公式スタジアムアプリ『ZEL-STA』

問い合わせ


株式会社CyberHuman Productions （CyberHuman Productions,inc）
〒150-6122
東京都渋谷区渋谷2-24-12　渋谷スクランブルスクエア22F
TEL 03-6758-3562
MAIL info@cyberhuman-productions.co.jp