やじうまPC Watch
あの「waifu2x」を超えた!?アニメに特化したAI超解像技術
2022年5月31日 11:42
中国Tencent Applied Research Centerに属しているXintao氏は、GitHub上おいて、アニメの超解像に特化したAI「Real-ESRGAN AnimeVideo-v3」を公開している。
これは古い顔写真をキレイに復元するためのAI技術「ESRGAN」のいわばサブセット的な位置づけとなっており、アニメやビデオのような小さいモデルに適した処理を行なう。
アニメに適した超解像技術としては「waifu2x」や「Real-CUGAN」があるが、本技術はwaifu2xよりもノイズが少なくシャープな画像を実現する一方で、Real-CUGANより約3倍高速だとしている。GitHubではいくつかサンプルが上がっているが、waifu2xとの違いは一目瞭然だ。
なお、利用は少し面倒で、まずはffmpegでフレームを画像に分解した上で、Real-ESRGANで処理をかけ、その後ffmpegで再度レンダリング後のフレームをアニメとして統合する必要がある。