RealSenseを利用した楽器演奏アプリ「KAGURA」が
14日より無料ダウンロード提供

KAGURAを演奏するしくみデザイン 代表の中村俊介氏

　株式会社しくみデザインは、IntelのRealSenseに対応した楽器演奏アプリ「KAGURA」を14日より無償ダウンロード提供する。

　“体を動かして楽器を鳴らす”というコンセプトから名前にもなったKAGURAは、RealSenseで捉えたユーザーの画像を認識し、画面に配置されたアイコンに体が触れるとことでそのアイコンの音を鳴らす楽曲演奏アプリ。RealSenseの深度センサーの仕組みも使われており、手のひらを画面に近づける(50cm以内)と、楽器として鳴らす音の録音(手のひらを広げたまま)や、テンポの調節(親指を立てて上下に構える)が行なえる。

　楽曲演奏アプリと言うと、ある程度音楽的センスや専門知識が問われるというイメージを持たれる方が多いかもしれないが、KAGURAは指定されたテンポに合わせて音が鳴るようになっているほか、メロディも不自然な和音にならないようにプリセットされているため、適当に体を動かしているだけでも音楽として成り立つようになっている。

　プリセットされている音源は5種類。先述の通りユーザー自ら音を追加することが可能。また将来的には音を作成するツール(有償となる見込み)や、サードパーティが開発した音を取り入れる仕組みも開発する予定。

　ちなみにRealSenseがない場合でも、ノートPCなどに内蔵されている一般的なWebカメラで演奏できる。その場合深度センサーを用いた録音やテンポ調節などのジェスチャは、マウスやタッチ操作によって行なうことになる。

　演奏はMicrosoftのKinectのように、ユーザーの体の骨格を認識して操作を行なうわけではなく、光の変化によって認識させている。このため体のあらゆる部分(頭や肩)での演奏、複数人での演奏が可能となっている。

　なおKAGURAは、Intelが2013年に開催した「Intel Perceptual Computing Challenge 2013」で最優秀賞を受賞したアプリである。最優秀賞を受賞できた理由としては、Intelが提供した全てのAPIをまんべんなく利用されていることが挙げられるが、最大の評価ポイントは、ユーザーがジェスチャを行なう際に、手のひらをカメラから50cm以内に近づかなければならないのだが、これを「もっと手を近づけてください」というテキストではなく、水面の下に手を入れたようなエフェクトを用いることで表現している点であった。「RealSenseのジェスチャ認識は50cm以内の方が精度が高いのだが、これを水の中に手を入れるようなUIで再現し、より自然な表現を目指した」(しくみデザイン 代表 中村俊介氏)という。

　また、2013年に受賞してから約1年を経てようやく一般リリースされた経緯についても、Intelが提供する開発キットやSDKの変更に伴う再開発、および一般ユーザーの使用に耐える完成度に仕上げるのに時間を要したという。

しくみデザインは博多に本拠地を置く会社

発足から10年、カメラから画像入力してリアルタイムで各種加工をすることを専業としてきた。主に組み込みやイベント向けの開発が中心

「paintone」と呼ばれる、写真や絵に対して音を付加する子供向けアプリをiOSで展開している

KAGURAは「Intel Perceptual Computing Challenge 2013」で受賞している

KAGURA一般公開前日となる13日には、都内で「KAGURA」リリース発表会を開催し、中村俊介氏自ら会社紹介と製品デモを行なった

インテル株式会社 戦略事業企画部 ディレクターの亀井慎一朗氏も登壇し、エピソードを語った