本連載では、アカデミックの世界に属してCG・映像関連の研究に携わる人々の姿をインダストリーの世界に属する人々に紹介していく。第19回では、高速化や逆問題といったCG全般の応用研究を推進し、映像制作の支援ツール開発を目指す北海道大学 大学院 情報科学研究院 情報メディア環境学研究室の土橋宜典教授に自身の研究室について語っていただいた。
※本記事は月刊『CGWORLD + digital video』vol. 259（2020年3月号）掲載の「ACADEMIC meets INDUSTRY 北海道大学 大学院 情報科学研究院 情報メディア環境学研究室」を再編集したものです。
TEXT＿土橋宜典 / Yoshinori Dobashi
EDIT＿尾形美幸 / Miyuki Ogata（CGWORLD）
取材協力＿芸術科学会
中前栄八郎先生・西田友是先生の研究室でCGを基礎から勉強
北海道大学の土橋宜典と申します。この度は、縁あって本記事を執筆させていただくこととなりました。よろしくお願いします。
-
-
土橋宜典
北海道大学 大学院 情報科学研究院 教授
工学博士
専門分野：フォトリアリスティックレンダリング、リアルタイムレンダリング、流体シミュレーションとその応用、サウンドシミュレーション、デジタルファブリケーション
ime.ist.hokudai.ac.jp
▲研究紹介映像／2018年制作（再生時にBGMがながれます）
私が初めて本格的な3次元CGに出会ったのは卒業研究を控えた学生のための研究室紹介のときでした。とある研究室の先生が1枚のCG画像をスクリーンに投影なされました。実写にしか見えないその画像が実写ではなく、計算機でつくられた現実には存在しない風景の画像であると知ったときの衝撃は大変なもので、即座にその研究室への配属を希望したのです。その研究室が、世界的に有名な中前栄八郎先生・西田友是先生の研究室とはまったく知りませんでした。
配属された研究室では、CGについて基礎から勉強することができました。中前先生・西田先生は、ラジオシティ法を世界に先駆けて開発するなど、当時すでに顕著な業績を上げていました［1］。偶然とはいえ、そのような研究室に所属できたのは幸運だったと思います。研究室では、卒業研究として水面のレンダリングに関する研究を行いました。その研究を進めるにあたり、西田先生が開発され、SIGGRAPHなどで発表された論文の計算例の作成に使われたプログラムを利用させていただき、CGを教科書からだけではなく、プログラムからも学んでいくことができました。当時のプログラムはFortran言語で記述されていましたが、その後、私はそれをC++に書き換えてライブラリ化し、今現在も私の研究室で活用しています。
［1］T. Nishita, E. Nakamae, “Continuous Tone Representation of Three-Dimensional Objects Taking Account of Shadows and Interreflection,” Computer Graphics, Vol. 19, No. 3, 1985-7, pp. 23-30
さて、その後、私は大学院へ進学して博士号を取得し、広島市立大学に助手として就職しました。配属されたのは制御工学の研究室でしたが、上司の先生のご厚意で、CG研究を継続することができました。ただし、学生実験では、制御に関する実験を担当しなければなりませんでした。しかし、このときに勉強したPID制御という手法が後述する雲のシミュレーションの研究に活用できたのですから面白いものです。その後、2000年に北海道へと場所を変え、現在にいたっています。
研究分野はCG全般で、特に、フォトリアリスティックレンダリング、リアルタイムレンダリング、流体シミュレーションとその応用、サウンドシミュレーション、デジタルファブリケーションなどの研究を行なってきました。学会活動は画像電子学会や情報処理学会が中心で、現在は情報処理学会CGVI研究会の主査も担当しています。
3次元空間の情報を自由に操作し、簡単にCG映像を作成するしくみを研究
北海道大学のメインキャンパスは札幌駅から徒歩数分の距離にあり非常に便利ですが、冬場は積雪が多いのが難点です。道路の両脇に1mほどの雪が積み上がっているのも珍しいことではありません。私は大学院 情報科学研究院・メディアネットワークコースに所属しています。本コースには、画像や音声、CGなどのいわゆるマルチメディア関連と、光ファイバーや5Gなどの通信関連の研究室が集まっています。各学年30名前後の学生が在籍しており、8つの研究室に分かれて研究を行なっています。
私はその中の情報メディア環境学研究室に所属しています。本研究室は山本 強先生が2000年に起ち上げたもので、私はまさにその年に本学に異動しました。その後、山本先生は退官され、現在は私が切り盛りしています。山本先生はCG業界だけでなく産業界でも有名な方で、まだ誰もCGを知らなかった頃にCGの教科書［2］を執筆されており、その教科書で勉強された方も多いようです。現在は本学内に新たにITプロトタイプラボという別の研究室を起ち上げており、私も兼任しています。
［2］山本 強, “The 3 Dimensional Computer Graphics -パソコンによる3次元CGの実際,” CQ出版, 1983
さて、本研究室には、学生は3年次の後期に配属され、4年次に卒業研究を行なった後、そのほとんどが修士課程へと進学します。博士課程に進学する学生は残念ながら多くはありません。学部から修士までは、各学年4名ほど在籍しています。現在、博士の学生は留学生1名のみです。スタッフは、私のほかに音声処理を専門とする助教の青木直史先生と秘書1名です。本研究室では、CG、画像・動画像、大量データの可視化、音声など幅広い分野の研究を行なっています。本記事ではCGを中心に紹介します。
近年、CGは飛躍的に発展し、エンターテインメント分野の映像制作をはじめ、社会の様々な場面で活用されています。しかし、3DCGのような3次元情報の操作は簡単ではなく、形状・カメラ・照明・材質などに関する膨大なパラメータを人間が用意しなくてはなりません。さらに物理法則に基づいた精密な映像を作成するためには、長い計算時間がかかります。そのため、映像制作のような創作活動を支援する技術として、簡単に使いこなすことはできないのが現状です。
本研究室では、3次元空間の情報を自由に操作し、簡単にCG映像を作成するしくみを研究しています。具体的には、1. 物理ベースビジュアルシミュレーションとそのコントロール、2. 効率的でリアルな輝度計算と編集、3. 物理シミュレーションに基づく効果音の生成、4. デジタルファブリケーションなどの研究に取り組んでおり、物理方程式をベースにした流体シミュレーション技術の研究開発には特に力を入れています。流体シミュレーションはCGに限らず流体力学の分野でも使われており、この分野ではより現実に即した厳密なシミュレーションが求められます。一方、CGの場合はどちらかというと映像表現が主なターゲットになるので、アートやクリエイティブな現場での映像制作を支援するツールの開発を目指しています。
他大学や企業との共同研究も積極的に推進しています。国内では、東京大学、九州大学、和歌山大学、静岡大学、芝浦工業大学、富山大学などの諸先生方やドワンゴ、プロメテック・ソフトウェア、OLMデジタルの企業の研究者の方々と共同研究を行なっています。プロメテック・ソフトウェアにはプロメテックCGリサーチ研究所が設立されており、私は副研究所長を務めています。和歌山大学の岩崎 慶先生と富山大学の佐藤周平先生とは、特に密に共同研究を行なっています。岩崎先生は前述の西田先生が東京大学在籍時の研究室で博士号を取得しており、学生当時から共同研究を行なっています。また、佐藤先生は本研究室にて博士号を取得しており、私が指導教官でした。海外でも、スタンフォード大学やカルフォルニア大学デービス校、ノーザンブリア大学、ピクサー・アニメーション・スタジオの研究者の方々との共同研究を行なってきました。
学生の就職先は、残念ながら、ほとんどが有名メーカーや通信系の企業で、ゲーム会社や映像プロダクションへの就職を目指す学生はほとんどいません。都心部とちがって北海道では、なかなかそういった現場を見る機会がなく、情報不足な面もあるのかもしれません。しかし、せっかくCGを勉強したのですから、その知識と技術を活かせるよう積極的に映像産業とのつながりを強くしていきたいと考えています。
興味の中心は、逆問題などの応用研究
私の興味の中心は、単にリアルなCG画像の生成よりも、高速化や逆問題、音の計算、デジタルファブリケーションなど、応用研究にあります。主な研究成果は、情報処理学会のCGVI研究発表会や、CG関係の国際会議で発表しています。大きな成果が得られた場合には、SIGGRAPHなどのトップカンファレンスへ投稿することもあります。おおむね、1年間に5件～10件程度の研究発表や論文発表を行なっています。
高速化は、学生時代から継続して研究してきたテーマです。いわゆるPRT法と呼ばれる研究で、光源や材質情報など、輝度計算に関連する関数を基底関数展開して事前計算することで超高速に画像を生成するアプローチを研究しています。事前計算を導入することで、照明条件や材質が変化した場合の画像を瞬時に生成できます。また、GPUを利用した並列計算による高速CG画像生成に関する研究も行なっています。セルオートマトンを利用した雲の動きの簡易シミュレーション法と高速表示法は、私がSIGGRAPHで初めて発表した研究です。その後、この手法を発展させ、水面の屈折・反射による光の集光パターンの高速表示やスポットライトによる光跡の高速表示など、各種の高速計算法を開発しています。
CG映像の逆問題に関する研究は2007年頃から着手しています。通常はユーザーが与えたパラメータからCG画像を生成しますが、逆に、目的とする画像に関する情報を与えてパラメータを求める研究です。例えば、数値流体解析に基づく雲のアニメーション生成において、目的の形状となるようパラメータを自動制御する手法や、実写の雲の色合いを再現するレンダリングパラメータを逆算する研究、煙・炎の変形や形状制御を行う手法、1枚の画像から煙・炎などの流体の3次元密度分布を逆算する手法に関する研究を行なっており、いずれもSIGGRAPHまたはSIGGRAPH Asiaで発表しています。
また、これらの研究の一部はJST CRESTプロジェクトの一環として実施したもので、一連の成果に対して平成26年度文部科学大臣表彰 科学技術賞（研究部門）を受賞することができました（OLMデジタル・安生健一氏、九州大学・落合啓之先生と連名）。ごく最近では、流体シミュレーションによって得られた速度場を再利用し、微細な渦を効率的に表現する手法や大規模な煙のアニメーションを効率的に生成する手法を開発しています。
ここ数年は、デジタルファブリケーションに関する研究にも着手しており、目的の投影パターンが表示されるようレンズ形状を逆算する研究や、観察方向によって異なる画像が提示される特殊印刷に関する研究を行なっています。このほか、科研費・新学術研究領域プロジェクト「多元質感知」の総括班メンバーとして、CGの新たな可能性も探っています。
GPUによる高速レンダリングの研究
▲雲や霧などのレンダリングは、視線上に沿った散乱光の積分処理が必要なため、時間がかかります。GPUによる並列計算を活用し、リアルタイムにこの計算を行う手法を開発しています［3］
［3］Y. Dobashi, K. Kaneda, H. Yamashita, T. Okita, T. Nishita, “A Simple, Efficient Method for Realistic Animation of Clouds,” Proc. SIGGRAPH2000, 2000-7, pp. 19-28
インタラクティブな家具配置システム
▲家具同士の位置関係や部屋の機能を考慮して、インタラクティブに配置できるシステムを開発しています［4］
［4］T. Yamakawa, Y. Dobashi, M. Okabe, K. Iwasaki, T. Yamamoto, “Computer Simulation of Furniture Layout When Moving One House to Another,” Proceedings of the 33rd Spring Conference on Computer Graphics, 2017
流れ場の補間に関する研究
▲煙の流れ場の一部分をコピーしたり、カットしたりできる手法を提案しています［5］
［5］S. Sato Y. Dobashi, T. Nishita, “Editing Fluid Animation using Flow Interpolation,” ACM Trans. on Graphic, ACM Transactions on Graphics, Vol. 37（5）, Article No. 173, 2018
乱流合成に関する研究
▲左の低解像度の煙のシミュレーションに対し、中央に示す別途計算した高解像度の煙の乱流成分のみを転写し、右の映像を作成しています。本手法を用いると、煙の全体的な動きと、詳細な乱流成分を別々にデザインできます［6］／画像提供：佐藤周平先生（富山大学）
［6］S. Sato, Y. Dobashi, T. Kim, T. Nishita, “Example-based Turbulence Style Transfer,” ACM Transactions on Graphics, Vol. 37（4）, Article No. 84, 2018
複数枚の画像を提示できる特殊印刷
▲手前にある1枚の印刷物を4枚の鏡に映すと、全ての鏡において異なる画像が提示されます［7］／画像提供：櫻井快勢氏（ドワンゴ）
［7］K. Sakurai, Y. Dobashi, K. Iwasaki, T. Nishita, “Fabricating Reflectors for Displaying Multiple Images,” ACM Trans. on Graphics, Vol. 37, No. 4, Article 158, August 2018
RESEARCH 1：雲および炎のシミュレーションの制御
・研究目的
CG分野において、流体現象のシミュレーションは重要な研究課題のひとつで、様々な手法が提案されています。ナビエ・ストークス方程式と呼ばれる流体の動きを表す方程式を数値的に解析することで、非常にリアルな表現が可能で、映画やゲームなど、エンターテインメントへの応用が進んでいます。映画などの映像制作を行う場合には、演出に応じたビジュアルエフェクトの作成が求められることが多々あり、演出者の意図に沿った形状や動きを表現しなければなりません。
しかし、流体解析は複雑で、目的のビジュアルエフェクトが表現されるようシミュレーションのパラメータを調整することは困難です。計算時間もかかることから、非常に手間のかかる作業となってしまい、大きな問題となっています。本研究はこの問題の解決を目指したもので、雲および炎のシミュレーションの制御法を開発しました［1］［2］。この制御法を用いることで、物理法則に則った自然な動きを保ちながらもユーザーの意図した形状や動きを表現することができます。
・先行研究とのちがい
流体シミュレーションを制御する研究はこれまでにも行われていますが、その多くは煙や水を対象としており、雲や炎は対象としていません。これまでの研究では、人工的な外力を加えることによって煙や水の動きを制御し、文字や動物などのユーザーが指定した形状を作成します。実際にはありえない形状や動きの煙や水を表現できる、CGならではの研究です。しかし、人工的な外力によって無理やりに目的の形状や動きへと変化させるため、自然さが損なわれてしまうという問題があります。そこで、私たちは雲や炎のシミュレーションに使われるパラメータを調整することで、自然な動きを保ちながらも目的の映像を表現する手法を開発しています。
・研究方法
雲のシミュレーションを制御する手法について、少し詳しく説明します。雲は太陽熱によって地面が温められ、地上付近の空気塊が熱浮力によって上昇することで発生します。空気塊が上昇すると、その温度が低下し、ある高度になると空気塊に含まれる水蒸気が水滴へと相転移を起こします。この水滴が雲の正体です。私たちはこれらの物理過程を数値的にシミュレーションするプログラムを開発しました。そして、このシミュレーションを制御して目的の形状の雲を生成するしくみを開発しました。本システムでは、まず、ユーザーが雲の目的形状をスクリーン上に直接描きます。その後、目的形状の雲が自動生成されるよう、フィードバック制御を用いて雲のシミュレーションを制御します。
様々な実験を通して、潜熱量というものを調整することで雲の形状を制御できることがわかりました。潜熱というのは、水蒸気から水滴（雲）への相転移の際に放出される熱のことで、雲の鉛直方向への発達を促す浮力を生み出します。そのため、潜熱量を制御することで、雲の高さを調整することができます。この制御には、PID制御と呼ばれる自動制御の分野で用いられている手法を利用しています。
私たちの手法の特長は、人工的な外力を用いていない点にあります。人工的な外力ではなく、潜熱量という物理パラメータのひとつを制御することによって、雲が発生する力学的なメカニズムを破壊することなく、雲の自然な成長を促しながら、目的の形状へと収束させることができます。
▲雲のシミュレーションの制御。潜熱量と水蒸気をコントロールすることで、鉛直方向の雲の成長を促し、指定された形状の雲を生成しています
▲目標形状に2つの穴を設け、ドクロ形状の雲の生成を促した例
この物理パラメータを制御するという考え方を炎のシミュレーションにも応用しています。炎のシミュレーションの場合は外力を用いていますが、それだけでは非常に不自然な流れが発生することがわかりました。そこで、炎の発生源の温度を制御し、足りない部分を外力で補うようにしています。
▲炎のシミュレーションの制御。熱源の温度と外力を組み合わせ、ユーザーの指定した動きや形状の炎を生成することができます。左下の画像のように、ユーザーは炎のインタラクティブなデザインが可能です
・実用の可能性と今後の課題
流体に限らず、物理シミュレーションを制御して目的のビジュアルエフェクトを表現する研究は、映像制作現場で実用できる可能性がおおいにあると考えています。本研究を論文としてまとめる際には、映像制作現場の方々にも意見を伺っており、本研究に対して、一様に興味をもっていただけました。
現場への応用を考えたとき、今後の課題として最も重要なのは、インタラクティブ性ではないかと考えています。流体現象は、動きの計算だけでなく、その画像化にも非常に時間がかかります。私たちの研究によって、目的の形状や動きを生成するための制御はできますが、最終的なレンダリング結果を確認するまでには長い時間がかかります。そして、必ずしもユーザーが満足する結果が得られるとは限りませんし、良い作品をつくる上では様々な表現を試行錯誤することが重要です。そのためには、ユーザーの指示が即座に結果に反映される手法を構築する必要があります。
・参考文献
［1］Y. Dobashi, K. Kusumoto, T. Nishita, T. Yamamoto, “Feedback Control of Cumuliform Cloud Formation based on Computational Fluid Dynamics,” ACM Trans. on Graphics, Vol. 27, No. 3（Proc. SIGGRAPH2008）, 2008-8, Article 94
［2］S. Sato, K. Mizutani, Y. Dobashi, T. Nishita, T. Yamamoto, “Feedback Control of Fire Simulation based on Computational Fluid Dynamics,” Computer Animation and Virtual Worlds（Proceedings of CASA 2017）, Vol. 28（3-4）, e1766, 2017-5
RESEARCH 2：レンダリングの逆問題
・研究目的
前述の流体シミュレーションの制御と同じく、本研究も演出者の意図に沿った表現の支援を目的としており、レンダリングの逆問題に着目しています。リアルなCG画像を生成する際には、レンダリング方程式と呼ばれる複雑な積分方程式を解かなくてはなりません。この方程式は、物体の形状や材質、照明環境に依存していますが、それぞれのパラメータをどのように設定すれば目的の映像効果が表現できるかを事前に予想することは困難です。また、物理的に正しいパラメータを設定すればリアルな画像を生成できますが、それによって必ずしも目的の映像効果を表現できるとは限りません。本研究はこの問題の解決を目指したもので、CG画像のリアリズムを保ちながら、目的の映像を表現できるレンダリングパラメータを決定する手法の開発を目指しています。
・先行研究とのちがい
目的の映像を表現するため、影の位置や形状、反射の具合などをユーザーが思い通りに編集する手法は様々なものが提案されています。本研究もそれらの研究に分類されます。本研究と先行研究とのちがいは2つあります。ひとつは、これまで対象にされていなかった雲や布を扱っている点です。これらの物体は、輝度計算が複雑で、パラメータ調整によって目的の映像を表現することが困難です。もうひとつは、物理的に正しいパラメータや計算モデルに固執しない点です。物理的な正しさに固執すると、どうしても表現できる映像が限定されてしまい、目的とする効果の表現が難しくなります。そこで、物理方程式に則りながらも、物理的に正しいとは限らないパラメータの選択まで許すことによって、リアリズムと表現したい映像効果のバランスをとっています。
・研究方法
私たちは、これまでに雲のレンダリング［1］、シェーディングモデル［2］、布のレンダリング［3］に関する3つの手法を開発しています。各手法について、簡単に説明します。
雲のレンダリングの研究では、実写の雲の色合いを再現するよう、CGで作成した雲の輝度計算パラメータを自動調整する手法を開発しています。雲の輝度計算は散乱型のレンダリング方程式を解かなくてはならず、高度な問題のひとつです。計算時間もかかるため、パラメータの調整も簡単ではありません。本研究では、自分で撮影した写真やインターネット上にある雲の写真を入力すると、その色味が再現されるよう雲のレンダリングパラメータが調整される手法を提案しており、太陽の色、雲の背後の空の色、微粒子の光学パラメータなど、約20個のパラメータを自動的に決定します。本手法で決定されたパラメータは必ずしも物理的に意味のあるものとは限りませんが、輝度計算は物理方程式に則っているため、リアルな映像をつくり出すことができます。
▲雲のレンダリングの研究。左上に示す実写の雲の色合いを再現するよう、レンダリングパラメータを自動調整し、ヒストグラムの差を最小化しています
次に、シェーディングモデルの研究について説明します。シェーディングモデルは、物体の見え方を決定する基礎的かつ重要な要素です。しかし、物理法則に従ったシェーディングモデルから、必ずしも目的のシェーディング結果が得られるとは限りません。そこで、輝度計算に使われる物理量を特徴量と捉え、ユーザーが指定した輝度と特徴量の関係を表すシェーディング関数を陰的に構築するしくみを開発しました。特徴量としては、法線ベクトル、光源方向、視点方向、アンビエントオクルージョンなどを用います。ユーザーが物体上で任意に指定した輝度と、特徴量の関係をRadial Basis Functionと呼ばれる関数を使って滑らかに補間します。本手法によって、物理的には正しくはなくとも、ユーザーの目的に沿ったそれらしいレンダリング結果を得ることができます。
▲シェーディングモデルの研究。左側の事例では、左下に示すユーザーの指定した制御点位置の色を再現するよう、シェーディングモデルが陰的に構築されています。左側の事例は、先の手法を用いて実写とCGモデルを合成した例。右上の画像は、陰影の編集前を示しています
布のレンダリングの研究では、ユーザーによって与えられた画像が提示される布の織パターンを逆算する手法を開発しました。ユーザーによって指定された目標画像が反射光として表示されるよう、織パターンを算出します。この問題は、与えられた目標画像の輝度と織パターンを対応させるマッピング関数を求める問題となります。これをグラフの最短経路問題として表現し、ダイナミックプログラミングを用いて解く手法を開発しました。ただし、本手法で求められる織パターンは物理的な制約を満たしておらず、実物を生成することはできません。あくまで、CG画像として、布らしい表現をしつつ、目的の表現も実現できる織パターンを求めています。
▲布のレンダリングの研究。左下に示す与えられた模様を表現するよう、織パターンを逆算し、織パターンのちがいによる反射関数の変化を最適化しています
・実用の可能性と今後の課題
前述の流体シミュレーションの制御と同様、本研究も映像制作現場での利用価値は高いと考えています。リアルなCG画像の表現技術は、最近の映像作品では欠かすことのできない重要な要素技術です。しかし、物理的な制約を満たしたまま、目的の映像を表現することは困難です。本研究では、物理法則を意識しながら、ユーザーが満足できる、それらしい映像を表現する手法を提案しています。しかし、どのくらい物理法則から逸脱すると画像のリアリズム、あるいは自然さが失われるのかは明らかではありません。これは視覚心理や脳科学にもつながる難しい課題ですが、それらの分野と連携して解決していきたいと思っています。
・参考文献
［1］Y. Dobashi, W. Iwasaki, A. Ono, T. Yamamoto, Y. Yue, T. Nishita, “An Inverse Problem Approach for Automatically Adjusting the Parameters for Rendering Clouds Using Photographs,” ACM Trans. on Graphics, Vol. 31, No. 6（Proc. SIGGRAPH Asia 2012）, Article 145, 2012-12
［2］岩崎 航, 土橋宜典, 山本 強, “Radial Basis Functionを用いた雲のボリュームレンダリングの編集システム,” 電子情報通信学会 論文誌D Vol. J95-D No. 2 pp. 297-304, 2012
［3］Y. Dobashi, K. Iwasaki, M. Okabe, et al, “Inverse appearance modeling of interwoven cloth,” Vis Comput 35, 175-190, 2019
info.
-
-
月刊CGWORLD + digital video vol.259（2020年3月号）
第1特集：漫画制作に活かす3DCG
第2特集：エンバイロンメント・ハック定価：1,540円（税込）
判型：A4ワイド
総ページ数：128
発売日：2020年2月10日
cgworld.jp/magazine/cgw259.html