2021年11月16日，NVIDIAは，同日に公開予定の新しいGeForce Driverで対応する超解像＆アンチエイリアシング技術「DLSS」（Deep Learning Super Sampling）の最新版「DLSS 2.3」や，DLSSとは異なりNVIDIA製GPU以外でも利用できる超解像技術とソフトウェア開発キットを発表した。
 |
競合であるAMDが，2021年6月に独自の超解像技術「FidelityFX Super Resolution」（以下，FSR）を発表したのに続いて，Intelも，同年9月にIntel製のゲーマー向けGPU「Intel Arc」で導入予定の超解像技術「Xe Super Sampling」（以下，Xe SS）を発表するなど，GPUメーカーによる超解像技術競争が始まっている。
2019年にGeForce RTX 20シリーズに合わせてDLSSをスタートさせて（関連記事），他社に一歩も二歩も先んじているNVIDIAとしては，こうした動きが無視できなくなってきたのだろう。
本稿では，NVIDIAの新技術とそのポイントを，簡単にまとめてみたい。
動きのある映像におけるゴーストを低減した「DLSS 2.3」
まず簡単に，ゲーム向け超解像技術についての背景を振り返っておこう。
低い解像度の映像から，高解像度の映像を得る超解像技術は，静止画や動画の処理でかなり前から利用されてきた。不足するピクセル情報を周辺のピクセルを用いたリサンプリングで補間するという古典的な方法だと，ボケた映像しか得られない。そこで，可能な限り解像感の高い映像を得ようと，技術開発が続けられている。
NVIDIAが開発して，ゲームデベロッパ向けに提供しているDLSSは，最もモダンな超解像技術といえるものだ。低い解像度の映像から，畳み込みニューラルネットワークを援用して高解像度の映像を生成するという方法を使っている。要は，解像度を引き上げるためにAI技術を利用するのがDLSSというわけである。
GPUメーカーが独自の超解像技術を提供し始めた背景にあるのが，ゲームグラフィックスの高度化とディスプレイの高解像度化だ。レイトレーシングのように，高画質だが描画のための処理負荷が非常に大きいために，高いフレームレートを得るのが難しいゲームグラフィックスが利用されつつある。その一方で，4K解像度のディスプレイやテレビも広がりを見せている。
つまり，ディスプレイの最大解像度で高度なゲームグラフィックスをレンダリングすると，ゲームにおいて実用的なフレームレートが得られにくくなっているわけだ。そこで，低い解像度でレンダリングを行ってから，超解像技術でディスプレイ解像度を得ることで，フレームレートを上げようという手法が使われるようになった。
冒頭で述べたとおり，NVIDIAのDLSSは，2019年にゲームデベロッパへの提供がスタートしたゲーム専用の超解像技術で，対応ゲームタイトルがすでに230タイトルを超えている。後発のFSRや，リリース前のXe SSに比べれば圧倒的な対応タイトル数を誇っているわけで，本稿執筆時点におけるゲーム向け超解像技術の主流といっていい。
ただ，対応ゲームをプレイしたことがあるゲーマーなら，DLSSにも弱点があることを把握しているだろう。たとえば，動きがある映像だとゴーストやノイズが現れることがある。こうしたゴーストが，11月16日リリース予定のGeForce Driverで利用できるようになるDLSS 2.3により，軽減できるようになったそうだ。
以下に示すスライドは，DLSS 2.3にいち早く対応する「Cyberpunk 2077」から，車が走行するシーンの映像を従来のDLSS 2.1とDLSS 2.3で比較したものだ。DLSS 2.1では，サイドミラーの端にゴーストが生じて尾を引いているが，DLSS 2.3では，それが消えている。
 |
NVIDIAによると，DLSS 2.3ではモーションベクトルをより高度に利用するよう改善したことで，ゴーストの軽減に成功したという。それがよく分かる例が，次に示す「DOOM Eternal」のシーンだ。DLSS 2.1だと周囲を飛び回る火の粉がほとんど光る線のようになってしまっている。一方で，DLSS 2.3だと火の粉が若干の尾を引く程度となり，火の粉らしい表現になっているのが見てとれよう。
 |
DLSS 2.0を使うには，これまでどおりゲーム側の対応が必要になる。既存のDLSS対応ゲームでも，DLSS 2.3を利用するためにはゲーム側の対応が必要だそうだ。ただ，モーションベクトル自体はこれまでのDLSSでも利用してきた情報なので，DLSS対応ゲームが，DLSS 2.3を取り入れるのは，比較的容易と思われる。所有しているゲームタイトルがDLSS 2.3に対応したら試してみるといいだろう。
DLSSとは別に，オープンライセンスな超解像技術を提供開始
 |
DLSSとは別に，2年前からNVIDIAは，GeForce DriverとGeForce Experienceで利用できる超解像技術「NVIDIA Image Sharpening」（日本語では「画像のシャープ化」，以下 Image Sharpening）を提供している。11月16日にリリースされるGeForce Driverでは，このImage Sharpeningに大きな改訂が加えられるという。
まず，ゲームのレンダリング解像度を下げたうえで，Image Sharpeningで解像度を高める「NVIDIA Image Scaling」（以下，Image Scaling）が提供されるそうだ（※既存の「GPUスケーリング」設定とは異なる）。DLSSとは異なるのは，ゲームが対応していなくても利用できる点で，GeForce Experienceのオーバーレイを使って，ゲームをプレイ中でもスライダーで解像感を調節できるという。
NVIDIAによると，Image Scalingには「業界最高レベルの空間アップスケーリング技術」（Spatial scaler）が使われているそうだ。
 |
同時にNVIDIAは，このImage ScalingとImage Sharpeningに利用されている超解像技術を，ゲームに組み込むことができるソフトウェア開発キット「NVIDIA Scaling SDK」を11月16日に公開するという。NVIDIAとしては珍しく（？），MITライセンス※でGitHubに公開するそうだ。
※ソースコードの提供元を示す文書を添付するだけで，自由に改変や流用，利用が可能なオープンソースライセンスのこと
 |
「DLSSがあるのに，なぜImage ScalingやImage Sharpeningが必要なのか？」と思うかもしれないが，NVIDIA Scaling SDKは，NVIDIA製以外のGPUでも利用でき，PCだけでなくゲーム機向けゲームにも組み込めるプラットフォーム非依存という特徴がある。DLSSは，Tensor Coreを内蔵するNVIDIA製以外のGPUでは利用できないので，ゲーム開発者から「ぜひNVIDIA Scaling SDKを公開してほしい」という要望があり，リリースに踏み切ったとNVIDIA側は説明していた。
ちなみに，空間アップスケーリングというのは，何らかのローパスフィルタを経て元画像から低解像度の映像が作られたという仮定のもとに，低解像度の映像を作り出したローパスフィルタの特性を推定して，もとの映像に近い映像を作り出すタイプの超解像技術を指す用語である。とはいえ，実際にやっていることはそれほど複雑なことではない。詳しく知りたい人は，西川善司氏によるFSRの解説記事を参照してほしい。
AMDのFSRも，空間アップスケーリング技術の一種を利用しているので，つまりFSRに近い，というか似たような技術を，NVIDIAがMITライセンスのもとに公開するという点も興味深い。
NVIDIAは，あくまでもゲーム開発者の要望に答えたものと説明していたが，邪推するとFSR潰しという面もあるのだろうか。FSRは，AMDの開発者向けサイト「GPUOpen」で，オープンライセンスのもとに公開されていることが特徴のひとつだ。NVIDIA Scaling SDKの公開によって，FSRの強みがひとつ失われるのは確かだろう。
超解像技術を横並びで比較するICATを開発
NVIDIA Scaling SDKを公開するとはいえ，NVIDIAとしては，「DLSSが最高の超解像技術である」というスタンスは変わらない。次のスライドは「Necromunda: Hired Gun」において，同一のシーンでネイティブ（無加工），FSR，Image Scaling，DLSSの4方式を用いて，4K解像度の映像品質とフレームレートを比較したものだ。DLSSは他の方法に比べて圧倒的に高いフレームレートを実現すると同時に，高い画質が得られているとNVIDIAはアピールしている。
 |
FSRやImage Scalingに使われている空間アップスケーリングでは，現在のフレーム1枚だけで高解像度映像を得ているのに対して，DLSSは，現在と過去2フレームの合計3フレームからニューラルネットワークを用いた処理で高解像度映像を得ているから高品質なのだ，とNVIDIAは主張している。
 |
 |
空間アップスケーリングを使うImage Scalingを，いきなり自己否定してしまうあたりが分かりにくい点だが，NVIDIAとしては，あくまでもDLSSが最高の超解像技術だと言いたいわけだ。
それを証明するためにNVIDIAは，「ICAT」（Image Comparison ＆ Analysis Tool）と称する画質比較ツールを作成した。
 |
NVIDIAはこれまでも，フレームレート解析ツールの「FCAT」（Frame Capture Analysis Tool）や，遅延測定ツール「LDAT」（Latency Display Analysis Tool），消費電力計測ツール「PCAT」（Power Capture Analysis Tool）を開発してきているが，その画質版がICATと理解していいだろう。
NVIDIAがこのタイミングでICATをアナウンスするのは，取りも直さずAMDのFSRやIntelのXe SSというライバルが登場してきたためだろう。NVIDIAの担当者は，「長年に渡ってゲームの高画質化や超解像技術に取り組んできた実績が（同社には）あり，DLSSがもっとも高画質であることはICATを使えば分かる」と力説していた。
ICATに関しては，別途レポートしたいと思うが，NVIDIAが超解像技術の品質でもライバルとの差をアピールし始めた点は注目できる。とくに，IntelのXe SSは，DLSSと同様にAI処理向けの演算ユニットを超解像技術に使っているため，DLSSに迫る画質が得られる可能性もあるだろう。Intel製の単体GPUが登場する2022年には，超解像技術の優劣も話題になりそうだ。