産総研、ディープラーニングで赤外線画像の色を復元する技術

図1 一般的な赤外線カメラで撮影した画像を用いた場合

　国立研究開発法人 産業技術総合研究所(産総研)は、ディープラーニングを利用して赤外線カメラの画像から可視光下での色を再現する技術を開発した。

　各所に防犯/監視カメラの設置が進むなかで、とくに夜間は赤外線を用いた撮影が行なわれるが、画像や映像がモノクロや近似的な色で記録されるため視認性が低く、これを改善する技術が求められてきた。

　色は、物質に光が当たったさいの反射特性によって変化するもので、可視光線領域と赤外線領域それぞれの反射特性の間には相関関係があることが以前の研究ですでにわかっていたものの、相関関係が弱いため、完全な色の再現は難しかった。

　そこで研究グループでは、画像の特徴量を抽出するCNN(Convolutional Neural Network、畳み込みニューラルネットワーク)と、時系列の情報を関連づけて学習するRNN(Recurrent Neural Network、再帰型ニューラルネットワーク)をベースに、輝度情報と色情報を同時に学習するモデルの構築を試みた。

　その結果、図1(b)を入力、(a)を教師画像としたCNNベースの学習モデルでは、(b)の入力から(d)の出力を約30msの変換時間で得られ、ほぼリアルタイムの変換が行なえることがわかった。(c)は従来の手法で色再現を行なった画像となる。

　なお、一般的なシリコンイメージセンサー搭載カメラでは赤外線領域の850nm程度まで分光されるため、(b)では色がついているように見えるが、この分光情報も学習に利用している。赤外線領域に分光特性を持つ産総研開発の赤外線カラー暗視カメラを使えば、学習効率をより向上させられるとしている。

図2 赤外線モノクロ画像を用いた場合

　図2はカラーチャートを撮影したもので、赤外線モノクロ画像についても色の再現が可能。従来は、赤外線が透過しやすい紙や布などの素材では、(c)のようにカラー化が難しかったが、ディープラーニングによって、赤外線領域に分光情報がない場合でも色再現が可能となっている。

図3 約38秒の動画を用いた場合。そのなかから特徴的な2コマを取り上げている

　図3は、ターンテーブル上に赤/緑/青のEthernetコネクタキャップを乗せ、回転させながら録画した動画を撮影し、CNNとRNNを利用して学習を行なったもの。この場合、CNNではキャップの形状が似ているためうまく色が再現できない場合があるが、RNNでは時系列が考慮されるため、学習に時間がかかるものの、より高精度に色の再現が行なえた。

　同グループでは、ビッグデータの利用や学習モデルの高度化を進め、汎化性や画質の向上に加え、より完全な色再現の実現に向けて研究を続けるとしている。