ゲームにおけるアップスケーリング技術と、主要なものについてざっくり解説です。
本記事の内容は記事執筆時点(2024年2月5日)のものであり、ご覧になっている際には異なる可能性があるため注意してください。
目次 非表示
アップスケーリング技術(超解像技術)とは?
アップスケーリング(超解像)技術とは、映像を元の解像度(画素数)より高い解像度へと変換することを指します。ゲームでいうと、低解像度でまずレンダリングし、それを元に高い解像度の映像にして出力する技術のことです。これにより、ネイティブ解像度で処理するよりも圧倒的に処理量を減らすことができるため、フレームレートの向上をはじめ、単純なGPU負荷の軽減や発熱・消費電力の削減に繋がります。
例を挙げると、アップスケーリングで4K(3840×2160)を出力するとして、元の用いるのがFHD(1920×1080)なら、実際の描写量はネイティブ4Kのわずか25%(4分の1)で済みます。実際にはアップスケーリング処理やアップスケーリングしない部分などが出てくる場合もあるので多少処理は増加しますが、ネイティブ解像度のままよりは圧倒的に処理を減らすことが可能になります。
また余談ですが、アップスケーリングは、日本だと漢字で超解像技術や高解像技術などとも呼ばれる他、アップコンバートなどとも呼ばれることがあります。基本的にはどれも指していることは同じです。元々はアップスケーリングは単純に引き伸ばして拡大するものを指し、自然にするための補正処理などを行う場合にはアップコンバートと呼んでいたようですが、今では総じてアップスケーリングや超解像技術と呼ばれることが多いです。
主要技術まとめ
アップスケーリングは明確な定義がある訳でなく、「低い解像度の画像を高い解像度のものへと変換する」技術を指します。過程や方法などは特に決められていないので、さまざまな種類の技術が次々へと登場しており、正直わかりにくいです。本記事は、その乱立するアップスケーリング技術の備忘録ということも兼ねて作成しています。
下記から、2024年2月時点で主要なアップスケーリング技術として有名なものをざっくりまとめています。
簡易比較表
まずは各技術の簡易比較表を載せた後、各技術についてざっくりと触れていきます。
名前 | 提供 | ゲーム側の対応 | 専用コア等 | 対応GPU |
---|---|---|---|---|
Auto SR | MicroSoft | 不要? | 必要 ※NPU | ※GPUではなくNPUで対応 Copilot+ PC |
DLSS | NVIDIA | 必要 | 必要 | GeForce RTX シリーズ |
FSR | AMD | 必要 | 不要 | Radeon 400 以降 GeForce 10 以降 |
AFMF | AMD | 不要 | 不要 | Radeon RX 6000 以降 |
NIS | NVIDIA | 不要 ※他社製GPUの場合必要 | 不要 | GeForce 900 以降(GTX 750 / GTX 750 Ti 含む) Radeon ※ゲーム側の対応が必要 |
RSR | AMD | 不要 | 不要 | Radeon 5000 以降 |
XeSS (XMX) | Intel | 不要? | 必要 | XMX搭載 Xe GPU |
XeSS (DP4a) | Intel | 必要? | 不要 | Intel Xe 以降 GeForce 10シリーズ以降 Radeon 6000 以降 |
Auto SR(Automatic Super Resolution)
- Windowsに統合されているため、手軽に使える
- ゲーム側の対応が必要ない(多分)
- NPUによる対応
- NPUが必要(40TOPS以上?)
- HDRと併用できない
Auto SR(Automatic Super Resolution)は、MicroSoftが2024年6月に発表したアップスケーリング技術です。GPUではなくNPUで対応する機能となっており、AIを活用してパフォーマンスを向上させます。
Windowsに統合されている機能となっており、GPUメーカーにも囚われない上、ゲーム側の対応が必要ない(API要件はあるけど)ため、非常に手軽に使えるのがメリットです。GPU負荷が掛からないのも従来技術と比べるとメリットになります。
質やfps向上率についてはこれからの調べていく必要がありますが、汎用性はものすごく高くて便利に見えるため、NPU搭載PCが主流となり次第、Auto SRがアップスケーリングのスタンダードになっていきそうな予感がします。
DLSS(Deep Learning Super Sampling)
- AIを利用した過去フレームも参照する質の高いアップスケーリング
- フレーム生成機能(DLSS 3.0 / RTX 40 以降)
- GeForce RTX シリーズでしか使えない(Tensorコアが必要)
- ゲーム側の対応が必要
DLSS(Deep Learning Super Sampling)は、NVIDIAが提供しているアップスケーリング技術です。利用には専用のコアのTensorコアが必要となるため、同社のGeForce RTX シリーズ限定の機能となります。
名前にも含まれている通り、深層学習(ディープラーニング)を利用した技術となっており、AIを用いて膨大な量のゲーム画面のサンプルを学習して集めた学習データを使ってアップスケーリングを行う技術になります。また、使用フレームは現在のものだけでなく過去のフレームも含んでいることも特徴です。
シンプルなアップスケーリングではなくAIや過去のフレームなども利用した高度なアップスケーリングであるため、画質の評価は高いです。
また、DLSS 3.0では解像処理だけでなく全く新しいフレームを生成する機能が追加され、負荷(消費電力)が大幅に軽減されるようになりました。利用は、2023年6月時点ではRTX 40シリーズのみ(第4世代Tensorコアが必要なため)となっているため、限定的ではありますが、非常に魅力的です。
質の面では非常に優秀なDLSSですが、弱点は汎用性です。GeForce RTXシリーズに搭載される「Tensorコア」が必要なので、他社製のGPUでは利用出来ない上、専用コアを搭載するとGPU側も多少のコスト増加が予想されます。
また、ゲーム側の対応も必要となります。後述のFSRなら他GPUでも利用できますし、最新のPlay StationとXboxのGPUがAMD(2023年6月時点)なので、そちらへの対応が優先されやすい可能性があります。
現状はNVIDIA製のGPUにシェアが圧倒的に高いためにDLSSを導入しているゲームも多いですが、その使用率の高さが前提の技術になっているかなと思います。
とはいえ、アップスケーリングの性能という点に関しては現状(2023年6月時点)では1番と言えると思いますし、負荷に関しても同様なので、利用できるなら是非利用したい優秀なアップスケーリングがDLSSです。
FSR(FidelityFX Super Resolution)
- 専用コア等が必要ない
- 他社製GPUでも利用できる
- FSR 3.0からフレーム生成機能追加(予定)
- ゲーム側の対応が必要
- シンプルなアップスケーリングなので画質の評価は低い
FSR(FidelityFX Super Resolution)は、AMDの提供するアップスケーリング技術です。AMDがオープンソースで提供しているツール「AMD Fidelity FX」の一つの機能となっています。NVIDIAのDLSSとよく比較されます。
DLSSと違い専用コアなどが必要ないため、AMD製以外のGPUでも利用することができます。また、対応GPUはやや古めのものまで含まれており、対応範囲が広い点も嬉しいです。ゲーム側の対応は必要なものの、汎用性には優れていると思います。
ただし、DLSSよりはシンプルなアップスケーリングとなるため画質では劣っています。ですが、導入の要件が厳しくない上にオープンソースということも大きいのか、DLSSのより後に登場したにも関わらず、FSRのみサポートしているゲームも多い印象です。
また、最新のPlay StationとXboxのGPUがAMD(2024年2月時点)で対応しているのも大きいかもしれません。他社製GPUでも使えるので他プラットフォームへの対応も楽だと思われる点が開発者にとっても良さそうです。
また、2024年1月時点ではまだ適用されていませんが、FSR 3.0からは新たなフレーム生成機能が追加される予定です。DLSS 3に対しての明確な弱点が減る形になります。
アップスケーリングの基礎構造的に、質ではDLSSでは劣る状況は変わらない気がしますが、フレームレート向上だけに限るなら汎用性が高くて使い勝手の良い技術です。
AFMF(AMD Fluid Motion Frames)
- ドライバ動作のため手軽で簡単に使える
- 専用コア等が必要ない
- ゲーム側の対応が必要ない
- AMD製GPU限定(RX 6000シリーズ以降)
- 実用時間が短いため評判が良く分からない(2024年2月時点)
AFMF(AMD Fluid Motion Frames)は、AMD製GPUで利用できるドライバレベルで動作するフレーム生成技術です。正確にはアップスケーリングではありませんが、fpsを上げる目的は同じということで掲載。
AFMFの強みは、ドライバ動作なので、専用コアやゲーム側の対応が必要ない点です。いくつかの簡単な注意点や必要な設定はあるものの、ドライバソフトから有効にするだけですぐに基本どのゲームでも使えるので、非常に使い勝手が良いです。
仕組みとしては、ゲーム外からフレームを生成・挿入してフレームレートを向上させるというものです。DLSS・FSRよりはシンプルなアップスケーリングとなるため画質では劣ることになると思いますが、使う元画像が低解像度なものではないので、大幅な画質劣化は発生しにくいと思われるのは魅力です。NISやRSR等の従来のドライバレベル動作のアップスケーリングでは画質劣化だけでなく、UIや文字がぼやけるという課題がありましたが、その心配もありません。元々のfpsがそれなりに出ていないと効果が薄いという弱点はありますが、手軽さを意識したfps向上技術としては、2024年時点ではかなり良いと思います。
利用できるGPUは2024年1月時点で「Radeon RX 6000シリーズ(RDNA 2)」以降です。記事更新時点ではまだ登場したばかりの機能なので、その他の評判についてはよくわかっていません。ただし、少し試した感じでは非常に簡単に利用できる上に効果も大きく、やはり若干のノイズ感や遅延を感じることはあるものの、普通に使えるレベルだなと思いました。
NIS(NVIDIA Image Scaling)
- ドライバ動作のため手軽で簡単に使える
- 専用コア等が必要ない
- GeForceならゲーム側の対応も必要ない
- GeForce以外はゲーム側の対応が必要
- シンプルなアップスケーリングなので画質の評価は低い
- ゲーム側が対応していない場合、HUD(UI等)がぼやける可能性がある
- キャプチャするとスケーリング前の映像を取得してしまう可能性がある
NIS(NVIDIA Image Scaling and Sharpning)は、NVIDIAが提供する超解像フィルター(アップスケーラー)です。RSRやAFMFと同様の単純なアップスケーリングとなるため、画質はDLSSより劣る点に注意。
ドライバでサポートする機能のため、DLSSと違い専用のコアは必要なく、RTX以外でもGeForce 900番台以降(GTX 750 / 750 Ti を含む)なら、利用することができます。また、対応のGeForceならゲーム側の対応も必要ないので使い勝手が良いのが特徴です。ただし、NVIDIAのドライバに付属する機能のため、基本GeForce専用の機能という点には注意です。とはいえ、ゲーミングPCではGeForceのシェアが圧倒的に多いので、ほとんどのゲーミングPCユーザーにとっては最も手軽に利用できるアップスケーリングと言えると思います。
一応、「NVIDIA Image Scaling SDK」と呼ばれるNISの超解像フィルターをオープンソース化したものをゲームに組み込むことで他社製GPUでも使えるらしいですが、対抗のAMD製GPU側でもドライバ動作のアップスケーリング機能がありますし、PS5等のCS機ではAMD製GPUの採用が多いので、ゲームで対応するならAMDのFSRで良いじゃんという話になるので、わざわざNISを優先して対応させるメリットは正直感じられません。なので、個別のゲーム対応はあまりなさそうな気がします。
また、機能面での弱点として、1つ目にNISの仕様上、映像のキャプチャーをした際にスケーリング後の映像が得られない場合があります。(カーネルレベルで動作するかららしい)。たとえば、4KディスプレイでFHDを4Kにアップスケーリングして表示している場合、システム的に利用しているのはFHD映像なので、表示されている4K映像では無く元のFHD映像を参照してしまうという感じだと思われます。
2つ目は、NISに非対応のゲームではHUD(HPバーやアイテム欄などのUI部分)に対してもフィルターが掛かってしまうため、文字や輪郭がぼやけたりする可能性がある点です。これはNISに限らず、ドライバレベルで動作するアップスケーリングの課題です。ゲーム側が対応していれば良い話ですが、前述の通りNISのゲーム側の対応率はあまり高くならないと思うので、HUDにも影響が出てしまうゲームが多いのかなと思います。
RSR(Radeon Super Resolution)
- ドライバ動作のため手軽で簡単に使える
- ゲーム側の対応が必要ない
- 専用コア等が必要ない
- Radeon 5000番台以降でしか使えない
- シンプルなアップスケーリングなので画質の評価は低い
- HUD(UI等)がぼやける可能性がある
RSR(Radeon Super Resolution)は、AMDが提供するアップスケーリング機能です。
ドライバーレベルで機能するため専用コア等の必要はなく、ゲーム側の対応も必要ありません。汎用性を意識した仕様になっています。ただし、ドライバーで対応するためAMD製のRadeon専用の機能となります。
また、HUD(HPバーやアイテム欄などのUI部分)に対してもフィルターが掛かってしまうため、文字や輪郭がぼやけたりする可能性がある点も弱点です。
XeSS(Xe Super Sampling)
- AIを利用した過去フレームも参照する質の高いアップスケーリング
- 他社製GPUでも利用可能(DP4aをサポートしているGPU)
- ゲーム側の対応が必要
- 他社製GPUの場合はパフォーマンスが異なる?(要確認)
XeSS(Xe Super Sampling)はIntelが発表し、提供を予定しているアップスケーリング技術です。記事執筆時点ではまだ未発売の「Intel Arc Alchemist」GPUと一緒に提供される予定となっています。
XeSSは、DLSSのような高い質のアップスケーリングに加えてFSRのような高い汎用性も両立することを目指している印象のアップスケーリングです。
アップスケーリングのしくみは、DLSSと同様にAIによる機械学習による学習データを利用し、過去のフレームも使用します。この処理をXMXアクセラレータで高速化します。DLSSに似たアップスケーリングと言えると思います。登場はまだですが、画質は優れていると予想されます。
ただし、汎用性ではXeSSでは専用のハードウェア(XMXアクセラレータ)が無くても機能させることが出来るのがDLSSと異なる点です。AI計算に役立つとされるDP4a命令をサポートするGPUなら利用が可能となっています。
対応GPUはIntel製GPUはXe以降、GeForceは10シリーズ以降、RadeonはRX 6000番台となっています。記事執筆時点では、AMD製GPUは最新世代のもののみの対応となっているためFSRより対応範囲は狭いですが、RTXシリーズしか対応しないDLSSよりは大幅に広いです。
ただし恐らく、XMXアクセラレータ搭載GPUによるアップスケーリングと、DP4aで対応する場合では画質や処理の負荷などが多少異なってくるとは思われる点は注意が必要かもしれません。記事執筆時点ではまだ利用できない機能なので、両者でパフォーマンスにどれくらいの違いが出るのかは不明です。
上述のように、XeSSはIntel Arc AlchemistのXMXアクセレレータによるものと、DP4aによるものの2種類が存在しているという感じになると思われます。また、どちらにせよゲーム側の対応が必要な点も注意です。