おそらくオンラインショッピングで、商品を回転させて、全方向から見ることができる写真を見たことがあると思う。こうしたものは、製品をあらゆる角度から撮影した写真を何枚も用意して、それらをアニメーションのように再生するのが一般的だ。Apple（アップル）のAR（拡張現実）およびコンピュータビジョングループを離れたエンジニアたちによって創業されたLuma（ルマ）は、これらの課題を解決しようとしている。
同社が開発した新しいニューラルレンダリング技術は、少ない枚数の写真を撮影するだけで、製品のフォトリアリスティックな3Dモデルを生成し、陰影をつけてレンダリングすることを可能にした。その目標は、ハイエンドなeコマースアプリケーション向けの商品写真撮影を大幅にスピードアップするだけでなく、あらゆる角度から商品を見せることでユーザー体験を向上させることだ。そしてすばらしいことに、撮影された画像は実際に3Dとして解釈されたものであるため、どの角度からでもレンダリングできるだけでなく、わずかに異なる角度からの2つのビューポートを使って3Dで見ることも可能だ。言い換えれば、検討中の製品の3D画像をVRヘッドセットで見ることができるということなのだ。
この分野をずっと追い続けてきた人なら、民生用のカメラと初歩的な写真測量技術を使って3D表現を行おうとするスタートアップは繰り返し見てきたことだろう。はっきりいってしまえば、これまでのそうした技術は決してすばらしいものとは言えなかった。だが新しい技術には新しいチャンスがあり、それがLumaの狙う場所なのだ。
Lumaの技術が実際に適用されたデモ（画像クレジット：Luma）
Luma AIの創始者であるAmit Jain（アミット・ジェイン）氏は「何が今までと違うのか、そしてなぜ今このようなことをしているのかを説明するなら、ニューラルレンダリングの考え方が台頭してきたということです。従来、写真測量で行われてきたのは、何枚かの画像を撮影し、それを長時間の処理を経ることで点群を得て、そこから3D構造を再構築するというものでした。最終的にはメッシュを作成することになりますが、高品質な3D画像を得るためには、ノイズの多い実在のデータから高品質なメッシュを作成できる必要があります。この問題は今でも根本的に解決されていないのです」と説明し、この課題がが業界では「インバースレンダリング」と呼ばれていると指摘した。同社は、この課題に別の角度からアプローチすることにした。
ジェイン氏は「点群から正確なメッシュを得ることはできないという前提の下に、別のアプローチをとることにしたのです。オブジェクトの形状に関する完璧なデータ、つまりレンダリング方程式があれば、PBR（Physics Based Rendering、フィジカルベースドレンダリング）を行うことができます。しかし問題は、スタートが写真であるため、そのようなレンダリングを行うには十分なデータがないということです。そこで、新しい方法を考えたのです。クルマの写真を30枚撮って、そのうちの20枚をニューラルネットワークに見せるのです」と説明する。残りの10枚の写真は「チェックサム」、つまり方程式の答として使われる。ニューラルネットワークが、20枚のオリジナル画像を使って、最後の10枚の画像がどのように見えるかを予測できれば、アルゴリズムは、撮影しようとしているアイテムに対するかなり優れた3D表現を作成できたことになる。
非常にマニアックな写真の話だが、かなり大規模な実用的なアプリケーションが作られている。同社の思う通りにもし進んだならば、eコマースストアで物理的な商品を閲覧する方法は、これまでとは違ったものになるだろう。商品写真を、軸の周りに回転させるだけでなく、撮影されていない角度も含めて、あらゆる角度からズームやバーチャルな動きを取り込むことができる。
上の2枚が写真。下の画像はこれらを元にして作られたLumaレンダリングによる3Dモデル（画像クレジット：Luma）
ジェイン氏は「誰もが製品を3Dで見せたいと思っていますが、問題は3Dアーティストに参加してもらって、スキャンしたものに調整を加えてもらう必要があるということです。その分、コストが大幅にアップします」という。そして、これでは3Dレンダリングができるのは、ハイエンドのプレミアム製品に限られてしまうとジェイン氏は主張する。Lumaの技術は、この状況を変えることを約束している。なにしろ3Dモデルのキャプチャーと表示にかかるコストを、1つのモデルごとに数百ドル〜数千ドル（数万〜数十万円）ではなく、数十ドル（数千円）程度に抑えることができるようになるからだ。
Lumaの共同設立者であるAmit Jain（アミット・ジェイン）CEOとAlberto Taiuti（アルベルト・タユティ）CTO（画像クレジット：Luma）
同社はYouTubeのような埋め込み型のプレイヤーを開発し、小売店が商品ページに立体映像を簡単に埋め込めるようにする予定だ。
Matrix Partners、South Park Commons、Amplify Partners、RFCのAndreas Klinger（アンドレアス・クリンガー）氏、Context Ventures、そして多くのエンジェル投資家たちが、このビジョンを受け入れ、430万ドル（約4億9000万円）の資金を提供した。ラウンドを主導したのはMatrix Partnersだ。
MatrixのゼネラルパートナーであるAntonio Rodriguez（アントニオ・ロドリゲス）氏は「次の偉大なコンピューティングパラダイムが3Dに支えられていくことは、よほど事情に通じていない人以外なら誰でも知っていることです。しかし、来るべき3D環境に人を増やしていくためには、手間のかかるオーダーメイドの方法ではスケールアップできないことをきちんと理解しているひとは、Lumaの外にはほとんどいません。写真を撮って送信するのと同じように、私の作品を3Dにする手段も簡単でなければならないのです！」。
その技術がどのようなものかが、以下のビデオで紹介されている。
画像クレジット：Luma
［原文へ］
（文：Haje Jan Kamps、翻訳：sako）