雑な似顔絵からリアルな人間を描き出す「DeepFaceDrawing」

DeepFaceDrawingがスケッチから描き出した人物

　中国科学院と香港城市大学による、簡単な似顔絵のスケッチからあたかも実在の人間を描き出すプログラム「DeepFaceDrawing」の実演がYouTubeで公開されている。

　最近の画像から画像への変換技術は、スケッチからすばやく顔画像を生成できるものの、スケッチに合わせすぎるきらいがあり、プロのスケッチまたはエッジマップの入力が必要とされるという。

　そこで、DeepFaceDrawingの開発者らは、もっともらしい顔画像の形状空間を暗黙的にモデル化し、この空間内で顔画像を合成して、スケッチに近似させるアイデアを思いついた。

　まず、キーとなる顔の構成要素の容貌埋め込みを学習し、顔コンポーネントサンプルのベクトル特性によって定義された多種多様の下層コンポーネントに、スケッチに類似する部分を押し込む。

　また、情報フローを改善するための中間結果として、マルチチャネル機能マップと、リアルな画像を作る組み込みコンポーネント機能からマッピングを学習するほかのディープニューラルネットワークを提案。

　この方法は基本的に入力スケッチを軽度な制約として使用し、これによって雑なスケッチや不完全なスケッチから高品質な顔画像を生成可能とし、形状を詳細に制御することもできる。