東京大学大学院情報理工学系研究科創造情報学専攻五十嵐健夫研究室は10月8日、多様な体形や姿勢にリアルタイムで対応する高品質な仮想試着システムの開発を発表した。オンラインショップなどでも仮想試着や、体を動かしても違和感のない映像が作られるため、ビデオ会議に仮想衣服を着用して参加するといったことが可能になるという。
既存の仮想試着システムの研究には、3D CGを用いたものや、画像ベースのものがある。しかし、CGでは写実的な画像の生成が難しく、画像ベースのものは、1つの深層学習モデルで異なる衣服の試着画像を生成するため、リアルタイムで高品質な画像を生成するのが難しい。それに対して、五十嵐健夫研究室が提案するシステムは、「特定の衣服の画像の生成に対象を絞って深層学習モデルを構築」するという手法でこれらの問題を克服した。
大まかな処理の流れはこうだ。試着者は、特別な柄の服（計測服）を着てカメラの前に立つと、深度センサー付きカメラで撮影される。その色と深度情報から、試着する服の画像が、服の部分と体の部分に分けられる。次に試着服の部分の領域分割を行い、画素の値に対応するラベル付き画像に変換される。そこから、深層学習モデルの一種である画像変換ネットワーク（画像を入力すると色づけなどの変換を施した画像が出力される）を使って試着する服の画像が生成される。それを試着者の体の画像と合成する。
ここで使われる画像変換ネットワークは、膨大な量の入力画像で訓練する必要があるが、入力画像と出力画像は、体形と姿勢が同一でなければならないため、人を使って行うのが極めて難しい。そこで同研究室では、この目的のために、人の体形（胴体の厚さと横幅）や姿勢を数値的に制御できるロボットマネキンも開発した。
写真左3枚が体形の変化。右4枚が姿勢の変化
これにより、計測服を着た試着者の画像から、衣服のサイズやポーズに応じた衣服の詳細な変形の様子をリアルタイムで画像に生成できるため、オンライショップでの試着や、テレビ会議で仮想的な衣服を着るといった応用が可能になる。今後は、長袖と半袖など構造的に大きく異なる衣服への対応、光源などが異なる撮影条件での制御、より自由度の高いマネキンの開発、生成画像向上のための計測服の最適化などに取り組んでゆくとしている。
この研究結果は、10月10日にバーチャル開催されるるユーザーインターフェース分野の国際会議「ACM UIST 2021」にて発表される予定。