福田昭のセミコン業界最前線
「機械学習」が最先端半導体回路の研究を熱くする
2019年2月20日 18:31
最先端半導体チップの研究開発成果が披露される国際学会「ISSCC (International Solid-State Circuits Conference)」が、米国カリフォルニア州サンフランシスコで始まった。
技術カンファレンスの初日である2月18日の午前(現地時間)には、恒例の全体講演セッション(プレナリーセッション)が開催された。
プレナリーセッションでは始めに全体議長と技術プログラム議長が、ISSCC 2019の概要を紹介した。参加登録者の数は約3,050名(推定)で、前回(2018年)の3,019名とほぼ同じくらい。過去に遡ると、2011年以降は参加登録者数が3,000名前後で安定に推移してきた。
今年の投稿論文数は609件、採択論文数は197件である。これも2005年以降は、投稿論文数が600件前後、採択論文数は200件前後と、多少の変動はあるものの、ほぼ安定に推移してきた。
機械学習と次世代無線に高い関心が集まる
ISSCCの参加登録者を特徴付ける情報も、プレナリーセッションでは報告された。前回(ISSCC 2018)の参加登録者を分析した結果である。参加登録者の総数は3,019名。その中で学生の参加者が663名と、2割強を占める。
参加登録者が所属する企業の述べ数は358社、大学および研究機関の延べ数は186機関である。地域別の参加登録者数では米州がもっとも多く、65.3%を占める。次いでアジアが23.2%、欧州が11.5%となっている。
多くの出席者を集めた講演セッションのトップスリーも公表された。「機械学習と信号処理(セッション13)」、「無線トランシーバと無線技術(セッション9)」、「5G以降の携帯電話システムに向けたミリ波無線(セッション4)」、である。これらは半導体回路技術者の高い関心を集めている、注目の分野だと言えよう。
機械学習と次世代無線が強い興味を持たれているという最近の状況は、今年のプレナリーセッションにも反映されている。4件の招待講演の中で、最初の2件が機械学習(深層学習、ディープラーニング)、最後の1件が無線技術(5G技術)をテーマとしたのだ。
とくに機械学習(深層学習)に関する2件の招待講演は、始めの1件が深層学習技術全般の動向を過去から将来まで展望することで聴衆に全体像を想起させ、次の1件が深層学習を高速に実行する半導体チップ(アクセラレータ)の姿を示すことで聴衆に身近な半導体回路技術を具体的に示すという、相互に補完関係を成す見事な構成だった。
そこで以下に、深層学習に関する2件の招待講演の概要をご報告したい。
ハードウェアの性能向上が機械学習のブームをもたらした
最初の招待講演は、Facebook AI ResearchのディレクターとNew York Universityの教授を兼務するYann LeCun氏が務めた。講演のタイトルは「Deep Learning Hardware: Past, Present, and Future (深層学習ハードウェアの過去、現在、未来)」である。
LeCun氏は機械学習の歴史を振り返り、過去に何度も「冬の時代(研究開発が低迷した時代)」があったこと、最近に冬から春へと季節が変わった大きな理由に、ハードウェアの性能向上と深層学習(ディープラーニング)技術の登場があったことを述べていた。
言い換えると、深層学習技術を実用的なものにするためには、ハードウェアを支える半導体技術の進化が不可欠だった。
そして現在、深層学習は、さまざまな分野へと応用されつつある。とくに目覚ましいのは画像認識と言語認識の分野で、医療用画像分析や自動運転、顔認識、機械翻訳、ゲーム、警備など、数多くの分野で商用化あるいは商用化されつつある。
とはいうものの、研究開発におけるもっとも高度かつ難解な学習モデルを訓練する(学習によって仕上げる)ためには、今でも2週間～3週間もの期間を必要とする。ハードウェアの性能向上は、現在でも欠かせない。
さらには最先端の深層学習技術を持ってしても、実現できていない重要な事柄があるとする。それは「知性」の獲得である。
例えば、普通の人々が持っている「常識」を備えた機械(コンピュータ、あるいはマシン)は実現できていない。ハウスキーピングをロボットが代行するなど、まだ夢物語に過ぎない。深層学習によって人工知能(AI)が実現可能な範囲は大きく広がったものの、まだまだ発展途上だとも言える。
「知性」が備える代表的な機能の1つに、「予想(Predict)」がある。我々は周囲の世界をさまざまな形のモデルとして学習し、そこから、見えないものを予想できる。
例えば人物の左半分だけの写真があったとしよう。我々はそこから、残りの見えない右半分を容易に想像できる。ところが機械学習では、建物の一部が欠落した画像を補完することすら、ままならないことが多い。
この分野では「自己教師付き学習(Self-Supervised Learning)」と呼ぶ技術に期待がかかる、とする。
ニューラルネットワークを再構成可能なASICへの強い期待
続く講演は、KAIST (Korea Advanced Institute of Science and Technology)のHoi-Jun Yoo教授が務めた。講演のタイトルは「Intelligence on Silicon: From Deep Neural Network Accelerators to Brain-Mimicking AI-SoCs (知性を備えたシリコン: ディープニューラルネットワークアクセラレータから脳型人工知能チップまで)」である。
深層学習の世界では汎用のGPUが大活躍している。しかしながら、モバイル分野への実装を考えたときには、GPUはエネルギー効率がきわめて低く、さらにはコストがあまりにも高い。
望まれるのは、高速かつ低消費電力で、低コストのハードウェアである。具体的には、ディープニューラルネットワーク(DNN)専用のASIC(アクセラレータ)が欲しい。
さらに、DNNにはいくつものバリエーションがある。「畳み込みニューラルネットワーク(CNN)」や「リカレントニューラルネットワーク(RNN)」といった代表的なDNNを1個のチップで実現するとともに、DNNの各層を最適化できる「再構成可能なDNN用ASIC(Reconfigurable DNN ASIC)」が望ましい。
この「再構成可能なDNN用ASIC (Reconfigurable DNN ASIC)」の研究開発で最先端を走っている代表的な機関が、KAISTである。Hoi-Jun Yoo教授はKAISTの研究成果を参照しながら、再構成可能なDNN用ASICの内容を解説してくれた。
再構成可能なDNN用ASICは、行列状に配列した数多くのプロセッサエレメント(PE)と、再構成可能なメモリを載せる。オプションとして選択可能(再構成可能)なのは、プロセッサの構成と、プロセッサが扱うビット数(重み付けのビット数)、外付けメモリとの入出力帯域である。
プロセッサの構成を選べるのは、ディープニューラルネットワークの種類によって2つの条件が大きく違うことに対応するためである。
具体的には積和(MAC)演算の数と重み付けの数(パラメータの数)が異なる。積和演算が多いネットワークでは計算能力を、重み付けの数が多いネットワークではメモリを重視する。
プロセッサが扱うビット数(重み付けのビット数)を選べるのは、ニューラルネットワークの種類によって、必要となるビット数が異なることに対応するためである。良く知られているニューラルネットワークでは、「AlexNet」が重み付けに7ビット以上を必要とするのに対し、「VGG-16」では10ビット以上を必要とする。
また外部メモリとの入出力帯域を選べるのは、ニューラルネットワークの種類と用途によって転送するデータの量が違うことに対応するためである。
これまでに研究されてきたモバイル分野に対応するDNN用ASICは、おもに「推論(inference)」に特化してきた。計算負荷の大きな「学習(learning)」はクラウドあるいはホストが担い、完成したモデルをモバイルあるいはエッジのハードウェアに実装させるという考え方である。
これに対して、モバイルあるいはエッジのニューラルネットワークにも学習機能を持たせることでモデルを現場で調整可能にするという考え方もある。緊急性の高い調整を現場で実行したり、ホストとのデータのやり取りを減らしたり、といった効果が期待できる。
そこでKAISTはモバイル向けに「学習(learning)」機能を備えたDNN用ASICを試作し、今回のISSCCで発表してきた。今後の発展を大いに期待したいチップだ。
