今回新たに開発した高速RGB＋IRプロジェクター。46×28cmとコンパクト
科学技術振興機構は12月2日、マーカーがいらず、動くものにも投影可能なプロジェクションマッピング用高速プロジェクターを開発したと発表した。これは、24bitカラー（RGB）と、目に見えない8bitの赤外線（IR）をそれぞれ同時に投影し、空間センシングと映像の投影を同時に行うというもの。これにより、マーカーを必要としないダイナミックプロジェクションマッピング（DPM）が可能になった。
これは、東京工業大学の渡辺義浩准教授、東京エレクトロンデバイスの湯浅剛氏、フラウンホーファー応用光学精密機械工学研究所のUwe Lippmann（ウーヴェ・リップマン）氏、ViALUXのPetra Aswendt（ペトロ・アシュエンド）氏からなる日本とドイツの国際産学連携チームによる共同研究。およそ1000fpsという非常に高いフレームレートでRGB方式の24bitカラー画像と、IRによる8bitの不可視画像をそれぞれ同時に制御し、さらに独自開発の光学系システムにより、両画像の同軸位置合わせを行うことで、IR画像を投影し空間センシングしながら、リアルタイムでそれに合わせた画像の投影が行える。
建物などの立体構造物に映像を投影するプロジェクションマッピングでは、対象物の形状を捉え、自然に見えるように映像をその形状に合わせて加工し、投影する必要がある。特に対象物が動いている場合、カメラで対象物の位置や形状を認識し、それに合う形と陰影を持たせた映像をリアルタイムで生成し、相手の位置に合わせて投影することになる。そのため、動く対象物と映像のズレが人の目では感知できないほどの高速で同期させなければならない。これまで、それを実現させるためには、対象物を平面にしたり、対象物にマーカーを取り付ける必要があった。
同研究チームは、3Dセンシングの基本的な手法である、プロジェクターとカメラを組み合わせたシステムを構築し、プロジェクターで空間に投影された既知パターンの反射像をカメラで捉えることにより、マーカーを使わずに空間情報を取得できるようにした。これまで、この手法を用いたダイナミックプロジェクションマッピングでは、センシング用投影とディスプレイ用投影を同時に高速処理しようとすると干渉し合ってしまうという問題があったのだが、同チームはセンシングを目に見えないIRで行うことで、これを克服した。
今回のプロジェクターによる画像投影を行ったトルソー（上）。トルソーにRGB画像とIR画像を同時に投影し、RGB画像のみを撮影したもの（中）。IR画像のみを感知するカメラで撮影したもの（下）
これを実現したのは、縦横に並べた1024×768個の微小な鏡の角度を個別に制御して投影画像を変化させるテキサス・インスツルメンツの「DLP」という技術を用いた投影装置「デジタルマイクロミラーデバイス」だ。RGBとIRの照明光学系を分離して、デジタルマイクロミラーデバイスの反射後に像を統合することで、コンパクトで高輝度の投影が可能になった。
RGB＋IR画像を高速で同時に投影するプロジェクターの光学系システム
また、ダイナミックプロジェクションマッピングで重要な処理の高速化においては、デジタルマイクロミラーデバイスの制御と光源の変調を高精度に連携させることで、最大925fpsという高いフレームレートを実現させ、さらに映像データの転送を高速化して、コンピューターからプロジェクターへの映像転送から投影までを、わずか数ミリ秒で行えるようにした。
RGB画像とIR画像を、同プロジェクターを用いてスクリーン上に925fpsで投影している様子。右側のモニター上には、RGB画像のみを捉えるカメラで撮影した投影像（モニター内右）と、IR画像のみを捉えるカメラで撮影した投影像（モニター内左）が表示されている。スクリーンには2種類の画像を投影しているが、IR画像は人間には見えないことから、この不可視の投影像を空間センシングに利用できる
研究チームは、この技術の応用分野として、エンターテインメント、アート、広告といったビジネス分野、拡張現実分野の他、作業支援や医療支援などの幅広い社会実装に着手してゆくとのことだ。