日立、FPGAでデータ分析速度を最大100倍高速化する処理技術

今開発したシステムの構成図(左)と、開発した技術の詳細(右)

　株式会社日立製作所は8月3日、FPGA(Field-Programmable Gate Array)の内部メモリを活用して、データを高速に処理するためのデータベース管理システムと、およびデータを高速に並列処理する技術を開発した。

　近年、データサイエンティストなどの専門家が行なっていた大量データの分析業務を、自分自身で行なうセルフサービス分析が注目されている。このセルフサービス分析を実現するためには、高速処理が必要である。

　これまで記憶媒体をHDDからフラッシュに置き換えることで、データの読み出しを数十倍から数百倍に高速化した。その一方で、データ分析処理がこの読み出し処理の速度に追い付かず、セルフサービス分析のボトルネックとなっていた。日立は今回この課題を解決するために2つの技術を開発した。

　1つ目はデータベース管理システム。FPGAは高速なメモリを数MB内蔵しているが、データ分析処理に適したカラム型データベースで使用される格納形式では、圧縮ルールや格納位置を示すデータ管理情報サイズがFPGAの内部メモリより大きくなるため、低速な外部メモリに格納する必要があり、これが処理速度低下の原因となっていた。そこで、FPGAの内部メモリにデータ管理情報が収まるよう、データベースを細分化してフラッシュストレージ内に保持し、内部メモリで処理するにした。

　もう1つは並列処理技術。高速化はデータ処理の並列化によって実現できるが、カラム型データベースで処理する場合、1つの処理が完了するまでに次の処理に進めず、並列化が困難だった。そこで、一定の個数ずつ順番に処理ができる絡む処理方式を開発し、データフィルタ回路、およびデータをグループ分けして合計値や平均値などを算出するデータ集約演算回路をFPGAに実装することで、並列化処理を実現した。

　日立は、今回開発した2つの技術を分析結果を出力するビジネス分析ソフトウェア「Pentaho Business Analytics」およびデータを格納するフラッシュストレージと組み合わせたリアルタイムデータ分析システムのプロトタイプを構築。今後は同社の高速データアクセス基板「Hitachi Advanced Data Binderプラットフォーム」に導入し、高速化による業務効率向上の実現を目指す。