ニュース
Intel、「GTA5」の景観をフォトリアルに変換する機械学習プロジェクト
2021年5月17日 11:33
Intel Labsの研究チームは11日(現地時間)、合成画像のリアリズムを高める機械学習プロジェクト「Enhancing Photorealism Enhancement」を発表した。
現実世界を撮影した都市景観データセットに含まれる特徴を学習させ、既存のレンダリング画像に適用することで、現実感の高い写実的なイメージを得るアプローチ。論文では学習対象とした都市景観データセットとして、建造物や車両、路面、人物、標識などのラベル付け、いわゆるセマンティックセグメンテーションが施された「Cityscapes Dataset」と「Mapillary Vistas Dataset」を用いた例が紹介されている。
既存のレンダリング画像としては、オープンワールドアクションゲーム「Grand Theft Auto V」(GTA5)の映像が採用されており、データセットの特徴を適用した映像では、3Dモデルやテクスチャの質感、解像感、色合いや場の空気感などが現実に近い雰囲気に変化している。
例えばCityscapes Datasetの特徴を適用した場合は、モデルの輪郭をぼやけさせ、路面のテクスチャ解像度をやや落として、3Dモデル特有のエッジを取り除いた一方で、窓や車体への反射が追加され、画面の色味も全体的にグレーがかった色合いになり、さながらフィルムで撮影した映画のような雰囲気を帯びている。
こうした映像の変換には、学習結果だけでなく、GTA5側で得られるカメラ位置やオブジェクト間距離などの情報も加味されており、現実感が高く自然な描写に役立てられているという。
PCゲームタイトルでは、しばしばユーザーによってビジュアル強化MODが提供されることがあり、GTA5においても「NaturalVision」や「PRSA」などリアル寄りの方向性を採ったMODが提供されているが、今回Intel Labsが発表した研究は、ゲームにもともと含まれている要素を置き換えるMODではなく、機械学習によって映像のリアリズムを高める技術となっている。映像を変換するこの技術は、処理を行なうハードウェアの負荷をさておけば、古いゲームタイトルにも適用できる可能性がある。
