森山和道の「ヒトと機械の境界面」
破壊的な深層学習強化を進めるPreferred Networks
～変革の波をまとめてさらに大きな波を作り出す
2017年7月27日 06:00
ディープラーニング(深層学習)を中心としたAI技術のビジネス活用を進めている株式会社Preferred Networks(プリファード・ネットワークス、PFN)によるメディア向け説明会が、2017年7月24日、東京・大手町にある同社オフィスにて開催された。
PFNは2014年3月に創業された企業で、トヨタ自動車株式会社、ファナック株式会社、国立がん研究センターなどと協業し、交通システム、製造業、バイオ・ヘルスケアの3つを重点事業領域としている。説明会では同社のビジネスだけでなく、深層学習研究の現状についても一部解説された。
Preferred Networksのこれまでとこれから
まずはじめに、Preferred Networks 代表取締役社長の西川徹氏が「PFNのこれまでとこれから」と題して同社の概要を紹介した。
同社はもともと2006年に西川氏が、共同創業者で取締役副社長の岡野原大輔氏が開発していた検索エンジンをエンタープライズ向けにビジネス化しようと株式会社Preferred Infrastructure(PFI)という会社を創業したことに端を発する。PFIでは「常に新しい技術を取り込んでいくこと」と「多様性」を重要視しており、今でも重要な価値観としているという。
検索エンジンのためには自然言語処理が重要になる。とくに機械学習を用いた自然言語処理を重視していたPFIでは事業を進めるなかで徐々に機械学習に重きが置かれるようになる。そして2010年ごろからIoT(Internet of Things)とディープラーニングのブームが起こる。ディープラーニングの一般物体認識技術が向上したことも大きかった。
そこで「IoTとディープラーニングにフォーカスすることで世界での勝負に勝てるのではないか」と判断して、株式会社 Preferred
Infrastructureからスピンオフして2014年3月に創業した。同社は、デバイスが生み出すデータをネットワークのエッジ側で分散協調的に処理する「エッジ・ヘビー・コンピューティング」を提唱しており、NTT、ファナック、トヨタから出資を受けている。
ミッションはIoT時代に向けた新しいコンピュータを創造すること。とくに、自動運転をはじめとした交通システム、先進的な製造業、がん検診などのバイオ・ヘルスケアの3分野に注力している。
ディープラーニングはどう役に立つのか。同社は昨年(2016年)からがん研究センターと協業している。まずはじめに、乳がん診断の精度をディープラーニングを使って上げることに取り組んだ。
従来のマンモグラフィーは80％くらいの精度だった。リキッドバイオプシーと呼ばれる血液検査技術を使うと9割にまで上げられる。この同じデータに対して同社のディープラーニングを活用すると、99％まで正確性を上げることができるという。
ほかにも同社は、アニメーション分野にもディープラーニングを活用しようとしている。その1つが線画に着色する「PaintsChainer」だ。この技術をきっかけとして、アニメーションの作成にディープラーニングを使えるという可能性や新しい表現手法を探索している。
とくにIoTと製造業については2015年のファナックとの出会いがきっかけ。それまで監視カメラを使った事業を行なおうとしていたが、同社との出会い、ロボットがロボットを作っている工場見学を経て、大きな衝撃を受けたという。
一般消費者データをこれから参入する企業が取ることは難しいが、製造用ロボットのデータは延々ととることができるし、まだ活用されていない。そこには大きなチャンスがあると考えて、製造業へのフォーカスを決断したと振り返った。
製造業へのディープラーニング適用の応用事例は増えつつある。ばら積み取り出し、故障予知、熱変位補正による加工精度の向上や稼働率向上、キズ検査、人に匹敵する精度の消耗品の寿命予測などだ。とくに熱変位補正は地味だが大きな注目を浴びているという。
同社はディープラーニングをデータ分析に用いるだけではなく、その解析結果を制御にも結びつけようとしている。そのためにはデバイス特性を知り、アルゴリズムチューニングも必要となる。そこにディープラーニングを使うことで大きな価値を生み出せるという。
2016年のCESで同社がトヨタ自動車と共同出展した深層強化学習を使った自動運転デモはよく知られている。
動画の赤い車は人が操縦しており、ほかの車を邪魔するように動いている。この赤い車は学習のときには使われてない。知らない状況にも対応できる、汎化性能が高いことは、実世界のデバイスを動かすときに重要な点だ。「さまざまな状況に対してロバストに対応するにはディープラーニングの技術が非常に有用だ」と語った。
続けて西川氏が紹介したのはAmazon Picking Challengeの動画。人が物流倉庫で行なっているピッキング作業をロボットで行なわせるためのロボコンだ。
一般物体の認識とピッキングは現状のロボットにとっては非常に難しい技術だ。認識も難しいし、掴み方や引っ張り方も難しい。それらをすべてルール化するのは困難だ。
しかしながらPFNではディープラーニングを物体認識精度の向上と、ものの掴み方の両方に適用。それによって、人がルールを書かなくてもロボットが物体を扱えるようになり、同社のチームはAmazon Picking Challengeで2位の成績をおさめることができた。1位になったデルフト大学のチームからも、現在2人のメンバーがPFNに参加しているという。
同社は試行錯誤が容易で研究開発に使いやすい「Chainer(チェイナー)」という深層学習フレームワークを提供している。データが爆発的に増加しているIoT世界では大量のデータを学習させることが必須となる。そのためには並列コンピューティングを活用して計算速度をスケールさせることが必要だ。同社のChainerMNはこの点でほかのフレームワークよりも高い性能がある。
もう1つ同社が注目しているのが、エッジだ。今はディープラーニングを活用しようと思うとクラウドを使おうとすることが多い。だが、IoTではデータセンターと外の世界の間のネットワークがボトルネックになると考えており、すでにそのような問題は起きているという。
同社はクラウドではなくデバイス側で処理を行なう「エッジヘビー・コンピューティング」を提唱し、製品開発を進めている。「Deep Intelligence in-Motion(DIMo、ダイモ)」プラットフォームもエッジヘビーを楽にすることを主眼としている。
PFN自体はディープラーニング、機械学習の会社だと言われることが多い。だが、同社自身は、それだけではないと考えているという。ディープラーニングが実際に使われる応用ドメイン自体を深く理解し、たとえばロボットにも実際にふれながら、どうやったらディープラーニングをうまく活用できるかを検討している。機械学習以外の専門家も同社では集結させているという。
西川氏は「大きな波がいくつも動きはじめている。大きな変化を集約することで、より大きな波を起こしたい。多様性と成長をもっとも重要視している」と語った。ソフトウェアとハードウェアの境界も、これからはどんどん曖昧になっていくと述べた。NEDOのプロジェクトでは同社は理研とASICの開発を進めている。
深層学習の技術動向とPFN社
PFN共同創業者で取締役副社長の岡野原大輔氏は「最新の技術動向、PFNの技術開発」として昨今の技術変化について語った。
AI、機械学習は製造業と似ている部分があるという。学習させるためには「原材料」として学習データが必要になり、それを計算リソースと学習アルゴリズムを使って加工を行なう。そして学習済みモデルを作って出荷して、いろいろなデバイスで利用する。製造業との違いは、出荷後に取れたデータが再び学習データとしてフィードバックされるという点だ。このループがうまく回るとどんどん良いものができる。
機械学習にはいくつかの学習手法がある。入出力の正解ペアを必要とする「教師あり学習」、正解がついていないデータ集合からかくれた構造を獲得する「教師なし学習」、自分がとった状態から将来の期待値を最大化するような行動を獲得していく「強化学習」だ。
ディープラーニングが大きく成功しているのは「教師あり学習」である。基本的に良いか悪いかだけで具体的な行動を教える必要がない「強化学習」は、今さまざまな用途で注目されている。現場では、これらの手法を適宜組み合わせて複雑な問題を解いていくことが必要になる。また、人間の脳もそのようになっているのではないかという仮説もある。
ディープラーニング(深層学習)はニューラルネットワークを活用した機械学習手法だ。2012年にトロント大学のヒントン教授らが画像認識で大きな成功をおさめたあと、おおいに注目されている。
ディープラーニングの基本計算自体は単純で、それぞれ重み付けされた入力を全部足し合わせたあとに何かしらの関数をかけて出力して、それを次の入力にする。これを繰り返す。「学習」と呼ばれているのは重み付けのパラメータの調節である。
1つ1つの計算は単純だが、それを何度も繰り返すことで、たとえば人の顔を認識させると、それぞれの部分的な構造からだんだん高次の構造を認識できるようになるなど複雑な問題が解けるようになる。
深層学習は何をしてくれるところが優れているのか。岡野原氏はいくつかの特徴を挙げた。
1つ目は表現学習、一貫学習(end-to-end)を実現していること。人がルールやプログラムなど各手順を書くことなく、タスクの学習、学習するべき特徴設計までを自動で行なってくれる。人が介在することなく必要な特徴をデータから学習して、タスクも学習する。これによって人間が最適な特徴を明示的に知らなくても、自動化が可能になる。また、特徴を設計したあとにタスクを学習する上で、それぞれの特徴のどれが必要/不必要かを選択することもできる。
エンジニアリング的に重要なのは、マルチモーダル、マルチタスク学習が自然にできる点だ。マルチモーダル、すなわち異なる種類の入力を1つのデータとして統合して分析することができる。
また、従来はタスクを1つずつべつべつに学習させる必要があったが、ディープラーニングを利用することで異なるタスクを一緒に扱ってまとめて学習することができる。タスクAとタスクBをそれぞれべつべつに学習するのではなく、共通するタスクがあれば、その部分の学習をまとめてしまうことができるのだ。
今後の研究トレンドはどうなるのか。研究の主軸は、これまでの教師あり学習から半教師なし学習、教師なし学習、強化学習へと進んでいるという。
また学習の仕方自体を学習する「メタ学習」がトレンドとなっている。さらに、ワンステップでは実現できない複雑なタスクを実現するために、記憶や注意の機構が重要になっている。あとは説明可能性や信頼保証だ。要するにより困難で現実世界の問題設定に徐々に近づいているという。岡野原氏は1つ1つについて解説を続けた。
現実世界においては、教師あり学習に必要な「入力と出力の正解ペアがあるデータ」というのはまれだ。しかし、少量の教師ありデータを使って大量の教師なしデータを扱う「半教師あり学習」は、人間や動物は普通に実現している。データだけを与えて、そのデータと同じようなデータのサンプリング方法を獲得するといったことができる「教師なし学習」についてはまだよくわかってないことが多いという。PFN社でとくに注目しているのは「強化学習」だという。
より少ないサンプル数で学習するためには、過去の学習結果を利用することも必要になる。それがメタ学習(Learning to learn)だ。ここ1年ほどで多くの研究が出始めているという。
consolidation学習(通常のニューラルネットワークによる学習では過去の記憶が壊されてしまうが、それを避けるために追加修正学習する手法の1つ)のような過程を実現するために、いくつかの手法が出てきている。また注意機構を使ってニューラルネットワークのなかの情報の流れを動的に制御するという手法も出てきているとのことだ。
実利用するためには、モデル自身の説明可能性や性能保証も必要となる。汎化性能の解明や、一度間違えたことを次に間違えないようにする必要がある。これらの手法もいくつか提案されている。
PFNでは技術力と実装力をもって、既存の問題ではなく新しい重要な課題に挑戦し、最先端の研究成果をいち早く実用化することを目指している。岡野原氏は「基礎研究として動くだけではなく、理論的にも理解し、世のなかに重要なインパクトを与えていきたい」と語り、PFNで行なわれている研究について続けて紹介した。
今後は計算リソースがさらに必要になる。2019-2020年には1エクサくらいのリソースを確保する計画であり、学習済みモデルにおいてもトレーサビリティを高める研究を進めている。最終的にはさまざまなエッジデバイスに知能が埋め込まれてリアルタイム分散処理を行なう世界を想像している。
また、強化学習を使ってロボットの最適化・自動化研究を行なっているカリフォルニア大学バークレー校のピーター・アビール(Pieter Abbeel)氏が、PFN社のテクニカルアドバイザーとして就任すると発表された。これまでもたがいに注目していたという。
深層学習フレームワーク「Chainer」
このあと、PFNが開発・提供している各技術についてショートプレゼンが行なわれた。まず、リサーチャーの齋藤俊太氏が深層学習フレームワーク「Chainer」について紹介した。
「Chainer」は、PFNが開発・提供しているPythonベースの深層学習フレームワーク。ニューラルネットワークの設計・学習・評価など、深層学習を使った研究開発に必要な一連の機能を提供している。2015年6月にオープンソースとして公開された。
ほかのフレームワークとの違いはどこにあるのか。ニューラルネットワークは計算グラフとして考えることができる。グラフ構造の構築の考え方には、最初にネットッワークを固定してしまい実行する「Define-and-Run」と、データを流し込む計算自体がグラフ構築になる「Define-by-Run」の2種類がある。「Chainer」は後者の考え方をとっている。
「Define-by-Run」の手法をとっているのは、ChainerとFacebookの「Pytorch」くらいだという。「Define-by-Run」を使うと、データを見てからネットワークを構築することが容易になる。データに応じてネットワークを変えることで、事前にあり得る挙動を事前に作り込んだりすることなく、ネットワークの構造を記述自体もシンプルになる。
「Chainer」は、ユーザー数なども順調に伸びており、各応用分野に対応するために追加パッケージも用意されている。齋藤氏はいくつかのパッケージを紹介した。
「ChainerMN」は複数GPUや複数ノードをまたがって学習を行なうためのパッケージだ。多くのGPUを使って分散学習をスケールさせることが容易になる。
「ChainerRL」は強化学習を行なうためのパッケージで、モデルをChainerを使って定義できる。「ChainerCV」は画像認識に特化したパッケージで、容易に自前データを使った画像認識学習が可能になる。とくに論文のデータが再現できるかどうかを重視しているという。
Chainerの開発はIBM、Intel、Microsoft、NVIDIAなどと協力して進めている。IBMとは、IBMの機械学習およびディープ・ラーニングのオープン・ソース・フレームワークであるPowerAIでChainerサポートをしている。またIBMも同社の「Minsky」上で、CPUとGPUの間でメモリポインタを共有する機能「United
Memory」を使ったChainerの最適化を推進しているという。
IntelともIntelのCPUでChainerの最適化を進めており、ディープラーニングのライブラリを高速でCPU上で実行できることを目指している。MicrosoftとはAzure上での利用環境の提供や教育プログラムを提供しており、高いスケールアウト性能を確認している。NVIDAとは同社の並列コンピューティングアーキテクチャCUDAの最新機能を取り入れるための協力を得ているとのことだ。
齋藤氏は「深層学習の研究は信じられない速度で進んでいる。最新成果を取り入れないと生き残れない」と語り、Chainerも3カ月ごとにメジャーバージョンアップをかけることで、破壊的な機能の向上を行なっていくと述べた。同社は6月には「Chainerv2」をリリースした。
v3は9月26日に出る予定で、とくに最近注目されている「GAN(Generative Adversarial Network、敵対的生成ネットワーク)」で使われることの多いN階微分計算に対応し、Windowsを公式サポートするという。
深層学習プラットフォーム「DIMo」
深層学習プラットフォームDeep Intelligence in-Motion(DIMo、ダイモ)については、ビジネス開発担当の渡部創史氏が解説した。
PFNの研究成果をパッケージ化した「DIMo」は、前述の深層学習フレームワーク「Chainer」と、同じくPFN製のIoT向けストリーム処理エンジン「SensorBee」を利用し、ネットワークのエッジで発生するストリームデータに対して、直接、深層学習を適用することができる。エッジやフォグで動作する既存のIoT/M2Mプラットフォームと深層学習を連携させるためのツールとして使える。
Microsoftとの提携では「DIMo on Azure」が提供される予定。プラットフォームとしてのMicrosoft Azureの上にChainerとそのほかが載っている。DIMoのなかにはビジョンや故障検知などのアルゴリズムがあり、カメラを使った検査などの使い方がユースケースとしてパッケージングされているという。
たとえば「映像解析パッケージ」は、人や自分たちが定義したものを見つけたりすることができる。
そのデータを作るためのアノテーションツールなどもパッケージ内に含まれている。再照合という機能を使うと、別のカメラで見つけた同じ人物を発見することが可能だ。正面や暗がりにいても同じ人として発見できるという。これはNTTコミュニケーションから、ALSOKなどとの共同実験としてリリースが出ているという。
「外観検査パッケージ」は、傷のある不良品を検出するツールだ。細かい汚れや傷のチェックは、これまで人間が作業することがほとんどだったという。「ロボットの異常検知」は、ロボットが壊れそうになった状態をスコアリングして、アラートを上げる。「ユーティリティ需要予測」は、ガスや水道のようなインフラに近いものの需要量を予測するパッケージ。明日や3時間後といった近未来の需要をセンサーデータから高精度に予測することができ、従来手法に比べるとエラーレートが半減した例もあるという。
線画を自動着色する「PaintsChainer」
「PaintsChainer」は読み込んだ線画を自動着色できるサービス。こちらについてはエンジニアの米辻泰山氏が解説した。2017年1月にWeb上で公開された。もともとは米辻氏が趣味的に作っていたものだったという。自動着色だけでなく、人手で調整することもできる。
認識だけでなく、画像自体を生成することができるようになっているのもディープラーニングの特徴だ。色ぬりの場合、完全な正解があるわけではない。「良い塗り」を計算可能なかたちでデザインしていかなければならない。米辻氏はそこが重要であり、面白いところだと語った。
面白い点はこれまで機械には難しいと思われていた水彩画のような色ぬりができるところ。ヒントをつけて着色することで、ある程度ユーザーが思ったような色がつけられることと、思いもかけない色ぬりを両立させているところも面白い。サービスとしてもシンプルで面白いが、プログラム自体も非常にシンプルであるという。
最近、着色するモデル自体も選択できるようになり、「たんぽぽ」と「さつき」というモデルを好みで選択できるようになった。「絵を描くのではなく、画家自体をデザインするということも少しずつ可能になりつつあるのではないか」と米辻氏は語った。新たな表現方法としても注目される。
5月にはAPIを「Pixiv」に提供することで、ユーザーが自由にイラストを投稿してコミュニケーションを楽しめる「pixiv Sketch」に自動着色機能を追加。
統計的機械学習の可能性と限界を正しく理解することが重要
最後に、同社の最高戦略責任者を務めている丸山宏氏が「人工知能と機械学習」と題して、メディアに向けて機械学習への正しい理解を求めた。
丸山氏は、PFNでは「人工知能と機械学習という言葉を注意深く使い分けている」と述べて、人間同等の知性を示す機械を目指す汎用人工知能と特化型人工知能の違いについて語った。PFNが進めているのは統計的機械学習を用いた特化型人工知能だ。
SFに出てくるような汎用人工知能は当分できない。「今重要なことは特化型人工知能をどう役立てていくかが重要であり、汎用人工知能を恐れるあまり、特化型人工知能の活用が阻害されるようなことがあってはならない」と丸山氏は強調した。
統計的機械学習を使うやり方は、人が持つ先験的な知識から仕様を書いてモデルを作り、実装するのではなく、経験的知識(データ)に基づいてシステムを作る考え方だ。
機械学習のポイントはいろいろなデータをしめして、少しずつ内部のパラメータを調整していくことにある。いろいろなことができるが同時に本質な限界もある。
統計的機械学習では過去に観測されたデータに基づいて学習を行ない、学習済みモデルを使って新しい値を予測する。そのため、非連続な変化が環境に起きている場合はうまく動かない。つまり、これまでと同じことが起こるのであれば未来は予測できるが、そうではないケースには対応できない。
過去と未来が連続していても、訓練データに現れない領域には無力になる。内挿はできるが外挿はできない。訓練データに含まれないようなまれな現象に対しては弱い。人間のようにひらめたりすることもない。
統計的機械学習は本質的に確率的だ。元分布から訓練データを作って、学習済みモデルを作る。だがサンプリングするときにバイアスが入ることは避けられない。100％精度を保証することは原理的にできない。統計的機械学習とほかの技術を組み合わせることで、そこにチャレンジする研究はあるが、統計的機械学習だけではそれはできない。
最後に丸山氏は集まったメディアに対して「技術の可能性と限界を正しく理解して『等身大』の情報発信をお願いしたい。過大な期待と、その裏返しの脅威論に走らないようにお願いしたい」と強調して説明会を締めくくった。