やじうまPC Watch
夜の写真を参照するだけで、昼間の写真が夜景に一変。Adobeがニューラルネットワークを応用して開発
2017年3月31日 16:08
Adobeと米コーネル大学が協力し、ディープラーニングを利用した画像スタイルの変更アルゴリズムの開発した。
これは入力された画像に対し、参照用の画像から抽出した色合いを適用するアルゴリズムで、ニューラルネットワークを利用したアルゴリズムを用いることで建物や、地面、空などのオブジェクトの形態や意味内容を維持したまま色合いの変更を可能とすることを目的として開発された。
画像の意味内容を維持したまま色合いを変更する手法は、原始的なものではトーンカーブの調整から、最近では機械学習を利用したNeural StyleやCNNMRFという手法が開発されている。
Adobeの開発したアルゴリズムは、これらの機械学習を用いた先行研究と同様、CNN(Convolutional Neural Network)を応用したもの。これは画像に対し特定サイズのサンプリングを、対象領域をずらしながら繰り返し、得たサンプリング領域を圧縮(convolution:畳み込み)して作った多数のレイヤーを処理に用いるのが特徴。
研究チームは、先行する研究では写実的な画像と装飾的な画像を区別しなかったが、取り扱う画像を写実的なものに絞り込むことでよりよいアルゴリズムが得られる可能性があることを発想した。
そこで、CNNで用いられる目的関数にベクター化した入力画像に基づく成分を新たに制約条件として加えた。それにより、意味内容を保持したまま強い色変更効果を得られることが判明し、効果の強度と画像の意味内容の保持についてのトレードオフ関係を改善できたという。
