クラウド利用でスマホの画像加工処理を劇的に軽くする技術。MITやAdobeらが開発

　米マサチューセッツ工科大学(MIT)、スタンフォード大学、Adobe Systemsの研究者で構成されるグループは13日(米国時間)、クラウドを活用することでスマートフォンでの画像加工処理を劇的に軽くする技術をSIGGRAPH ASIAにて発表した。

　Instagramに代表されるスマートフォンでの画像加工処理は、昨今のカメラの高画質化も相まって、かなりのCPU処理能力を必要とする。それによってバッテリの駆動時間も短くなってしまう。一方、画像をクラウドサーバーにアップロードして、クラウドで処理すれば、スマートフォンでの処理はなくなるが、転送に時間がかかり、スムーズな操作ができない。

　そこでMITらの研究グループは、極度に圧縮した画像をクラウドに送信し、クラウドで計算を行ない、最終処理をスマートフォンで行なう手法を編み出した。手順は次のようになる。

　まず、スマートフォンで元の画像サイズの1.5%ほどにまでJPEG圧縮をかけ、サーバーに送信する。画像を受け取ると、サーバーではそれに高解像度のノイズを適用する。このノイズはただのランダムな点に過ぎないが、元々は1画素だったものが、圧縮されたことで複数画素にまたがる単色のエリアとなっていた部分が、それ以下の大きさに細分化されることになる。つまり、ノイズによって、圧縮画像をいったん仮想的に高精細化する。

　続いてサーバーは、この画像に対して、コントラストやカラースペクトラムの調整、エッジのシャープ化など、ユーザーが適用したい処理を実施する。その上で、その画像を例えば64×64ピクセルのかたまりに分割する。それぞれのかたまりに対しては、機械学習で得られたアルゴリズムを使い、いくつかの基本的なパラメータに基づいて微調整の効果に特性を得る。ここで使うパラメータは、そのかたまりにおける明るさの度合いを示すものだが、25のパラメータを使う場合がもっとも効果的だという。

　これによって、縦横64ピクセルのかたまりにおける、それぞれの画素は3つのうち1つの値を取得し、サーバーは25のパラメータの値をスマートフォンに返信する。

　最終的にスマートフォンでは、この25個の値によって示される修正を元の画像に適用する。こうして修正された画像は、肉眼レベルでは、元の画像に直接加工を行なった場合と遜色ない修正が実現されるという。また、前述の通り、サーバー-スマートフォン間のデータ転送量は1.5%に抑えられているほか、サーバーのエネルギー消費量は50～85%、処理にかかる時間は50～75%も低減できるという。

　同研究グループは、この技術は、写真から余計なものを取り除いて、そこを背景で埋めるといったような処理では効果が薄いものの、今後画像処理のアルゴリズムがより洗練化されるに従い、重要なものになっていくとしている。