トピック

東大生AIハッカソン、Surface搭載のNPU駆使した「RealFace NPU」が優勝

日沼諭史

2026年9月1日 06:30

　AI処理に適したハードウェアとして知られるNPUだが、それを駆使したサードパーティアプリがなかなか増えず、いまだ恩恵を感じにくいのがユーザーとしてはもどかしいところ。しかし、その状況も早急に変わるかもしれない。

　2026年7月から8月にかけて「UTokyo AIプログラミングハッカソン」が開催され、Snapdragon X2シリーズのNPUを最大限に活用した東大生による数々のアイデアが披露された。NPUの可能性と、それを搭載するCopilot+ PCのポテンシャルの大きさ・深さを感じさせるイベントとなった。

リアルタイム顔合成、テキスト編集、ジェスチャー操作など、NPUを使ったアプリが続々

「UTokyo AIプログラミングハッカソン」の最終日のイベントはクアルコムジャパンのオフィスがあるビルで開催

　「UTokyo AIプログラミングハッカソン」は、東京大学工学系研究科の池田誠教授が、授業の一環としてAIおよびNPUにフォーカスする形で開催したイベントだ。2025年10月にクアルコムジャパンと東京大学がQualcomm Academy連携協定を結んだことをきっかけに始まった両者共同の取り組みの1つで、東京大学の学部3年生から大学院生までを対象に参加者を募り、実施したものとなる。

　7月4日のDay 1を皮切りに、演習や途中経過の発表を行なうDay 2、Day 3を経て、8月1日のDay 4で最終の成果発表という駆け足の日程だった。期間中、参加者には日本マイクロソフトから、QualcommのSoCである「Snapdragon」を搭載した2in1デバイスのSurface Pro (第 11 世代) – Snapdragonが貸与された。

参加者に貸与されたMicrosoft Surface Pro

　ハッカソンでは、28名の参加者が8チームに分かれ、Surface Proが持つNPU、CPU、GPUなどハードウェアのパフォーマンスを最大限に引き出し、そのAI性能を生かせるサービスやプログラムを企画、開発した。

　Day 4は成果発表のみのため、作業できるのはそれ以前の限られた日数のみ。企画・開発の進め方や技術面での相談ごとについては、クアルコムジャパンや日本マイクロソフトのメンタリングを受けることもできたが、学生らにとってはちょうどテスト期間に重なったこともあり、ハードスケジュールとなったようだ。

成果発表の会場

東京大学工学系研究科の池田誠教授

　そうして迎えた最終日、池田教授、クアルコム、マイクロソフトの審査員から最も高い評価を受け優勝したのが、動画配信やWeb会議で自分の顔を別の顔写真を元にした映像に差し替える「RealFace NPU」だ。

　生成AIによる架空の人物の映像と声による動画が巷にあふれている昨今。発表者は動画配信のハードルをAIが下げてくれるというメリットは認めつつも、「本物の人間がしゃべっていることからくる安心感は不変ではないか」と考えた。

　そこで、AIを使っても「安心感を与えられるような動画を発信できれば」という思いを起点に企画したという。

「RealFace NPU」の発表の様子

　具体的にはWebカメラで捉えた本人の姿から頭部を検出し、姿勢変化もリアルタイムにキャプチャ。それを事前に用意した別の顔写真にリアルタイムに差し替え、ライブ映像として出力する仕組みだ。

　頭部と姿勢の検出はNPUを、顔生成周りはCPUやGPUを使うことで、クラウドには一切アクセスせずに完全ローカルAI処理を実現した。発表当日はその場でデモンストレーションも行ない、1枚の顔写真から元の表情や顔の向きに合わせて顔生成していたところに審査員の関心が集まった。

正面向きの1枚画像を元に、Webカメラで捉えた顔の向きや表情に追従させる形で合成する

　Webカメラ映像へのリアルタイム追従性については課題が残っていたものの、むしろその不完全さがライブ感を生み出す格好になった。現状のNPU性能の限界を示す一方で、将来への期待感をつのらせるものにもなっていた。

　メンバーの2人は、「ここまで高く評価されるとは思っていなかった。技術的にはほかのチームに負けていたところもあると思う」と謙遜しつつ、企画時は「使ってみたい、おもしろいとみんなに感じてもらえるものを作ろうと思った」と、見た目のインパクトも重視したとのこと。

優勝チームの2人

　コーディングにはCopilot、Gemini、Codex、Claude Codeなどを用途に合わせて使い分け、企画から実装までトータル5日間ほどの実作業で仕上げた。「ローカルLLMが流行っているので自分でも何かやってみたいと思っていた。今回、ハイスペックなSurface Proをお借りでき、実機で動く成果物まで作れたのは大きい。今後も時間の許す限り進化させていきたいと思った」とコメント。

　また、「我々理系の学生はノートPCのほかに、メモを手書きしやすいタブレットも持ち歩くことが多い。画面タッチができるSurface Proならそれが1台で済む、ということに気付けたのも収穫」とも語った。

受賞チームには記念品がプレゼントされた

　優勝チーム以外の発表内容も、社会人向けのハッカソンとは毛色の異なるユニークなものが多くあった。

　たとえば2位は、Windows上のアプリで汎用的に使える文章アシスタント「LITA」を開発したチーム。文章作成アシスタントを完全にローカルAIで実現することで、機密情報を含む文書の編集を省力化できるだけでなく、オフラインでも使えることをアピールした。

どのアプリでも汎用的に使える文章アシスタント「LITA」の発表

　入力箇所の近くにポップアップウィンドウを表示するなどして校正や翻訳をすばやく実行したり、入力内容から先を予測して文章提案したりといった機能を備え、それらを実用できる段階まで実装していた。

Webブラウザ上のメールの下書きを推敲しているところ

　3位は「AI時代のInterface」をテーマにしたチーム。マウスやキーボードからの脱却を目指し、Webカメラの前で手を動かすジェスチャーによって、あらかじめ定義した操作を行なえるようにする機能を提案した。

ジェスチャーの映像認識で操作する「AI時代のInterface」の発表

　マウスやキーボードに代わる入力デバイスの発明は、PCの歴史の中で何度も試みられてきた。手を使ったジェスチャー操作もその1つだ。

　ただ、今回発表した内容は事前のジェスチャー定義から、手の骨格および姿勢変化を認識してアクションを実行するところまで、合理的なアルゴリズムで組み立てられ、かつローカル処理ならではのレスポンスの良いスムーズなUXにまとめられていた。

手の骨格や姿勢変化をリアルタイムで捉え、定義済みの操作を実行する

　NPU、CPU、GPUそれぞれが得意とする処理分野を生かした形で実装していたのも特徴的だ。手が使えない状況にある人、料理中や手が汚れやすい作業現場、医療施設、あるいは直感的な操作性を求めるCADなど、チームが意図していた特定分野の用途では、まさにマウスやキーボードの代替になりうると思えるクオリティになっていた。

文字の書き順が分からなくなってしまう困難を抱えた人をサポートする「WriteMirror」は「着想賞」を受賞。書いている途中の状況を記録し、NPUで筆跡を分析してアドバイスにつなげる

衣料品店の試着室の混雑解消を目指した「ZeroFit」は「デモ賞」。端末カメラで自分の姿と試着したい服を撮影することで、NPUやクラウドAIで自然な試着結果の映像を合成表示。顔部分はモザイク処理してプライバシーを保護する

カメラ映像だけで心拍数、呼吸数、心拍変動をリアルタイムに推測し、日々の健康管理をユーザー負担なく実現する「PulseMirror」が「Qualcomm賞」を受賞。NPUなどを用いたローカルAIで簡易的なヘルスレポートを生成し、センシティブデータをフィルタすることでクラウドAIを用いた詳細なヘルスレポートを受け取ることもできる

武道の一体系である躰道(たいどう)の正しい技の出し方をローカルAIによって指導する「Taido」は「Microsoft賞」。Webカメラの前で試技を行なうと、人の骨格や動き方を分析して、あらかじめ学習しておいた動作との違いなどから改善すべき箇所をアドバイスする

「技術賞」を獲得した、熊被害を減らすことを目的とする「BearVoiceAlert」。人間の耳では聞き取るのが難しい熊の声を早期に検知し、ユーザーのスマホに通知して警告する。低消費電力で通信も不要なNPUによるローカルAI処理が肝

Snapdragon搭載PCを使えば、高性能NPUを活用したローカルAIアプリが簡単にできる

　イベントの終わりに、東京大学の池田教授と、審査員を務めたクアルコムジャパンおよび日本マイクロソフトの担当者に話をうかがうことができた。

東京大学池田誠教授のコメント

ローカルAIを加速するNPUは、一般にはまだあまり注目度は高くないかもしれませんが、それでできることは大きいと思っています。Snapdragonを搭載したSurface ProのようなPCを通じて、自分でも簡単にNPUでローカルAIを実現できるんだ、と思ってもらえたら授業としては大成功かなと。ハッカソンの期間は1カ月でしたが、授業としては実質3日間しかありませんでした。ちょうど期末試験と被ったり、大学院生だと期末のレポート時期と重なったりして、いいタイミング実施できなかったのは反省点です。それでも、学生の方でうまく調整してよくやってくれたと思います。来年もぜひ継続したいですが、AI分野は明日には何かが変わっているくらい変化が激しいので、その時点の状況に応じたテーマで実施できればと思っています。試験などを避けるためにも、少し早めた方がいいのかもしれません。

クアルコムシーディーエムエーテクノロジーズ営業統括本部　統括本部長井田晶也氏

クアルコムのSnapdragonを中心としたテクノロジーをハッカソンを通じて学生さんたちに活用していただいたときに、どんなものが出来上がるんだろう、という期待がありました。また、SnapdragonはまだPCの世界では知名度が高くないので、広く知ってもらうきっかけになれば、という思いもありました。実際、ハッカソンでは学生の皆さん一人一人が一生懸命取り組まれて、すばらしいアイデアがどんどん生まれました。NPUやローカルAIでこういうこともできるんだなと、我々としてもいろいろな気付きがあり、手応えを感じています。発表内容がチームによって千差万別で、本当に甲乙つけがたかったのですが、優勝した「RealFace NPU」の発表内容は、チューニングは必要だとしても、商用サービスとして通用するようなアイデアだったと思います。マイクロソフトさんが提唱しているCopilot+ PCは、PCにおけるAI利活用を推進する規格として、非常に優れているものです。SnapdragonのPC向けプラットフォームは100%準拠しているわけですが、今後のAI PCを考えたとき、PCには最低限こういうレギュレーションが必要だ、というのは明確にしておく必要があるでしょう。その1要素が、省電力性能とパフォーマンスの高さを両立するNPUだと思います。学習はクラウドで、推論はローカルでという住み分けは、今後さらに進んでいきそうです。その推論の部分がPCでどこまで可能なのか突き詰めていくのは、クアルコムとして引き続きチャレンジしていくべき部分だと思っています。今回の東京大学さんとの関わり合いをきっかけに、これからもさまざまな形でSnapdragonを通じた産学協同のコラボレーションを実現していきたいですね。

日本マイクロソフト株式会社パートナー事業本部新郷史和氏

クラウドAIのコストが増している中、可能ならローカルで処理したいと考える人は多いと思います。ただ、どこからどこまでがクラウドで、ローカルなのか、というのは区別がついていない方もまだ少なからずいらっしゃいます。ユーザーが意識せずに自然とローカルAIを使える世界が望ましいので、そこで学生さんのアイデアが欲しいなと考えていました。その意味では、社会人とは異なる発想、着眼点だなと感じる発表ばかりで驚きましたね。社会人が対象だと働き方改革みたいな話に寄りがちですが、学生さんだと今回のように障害者におけるアクセシビリティや熊避けなど「社会課題に対してAIがどう貢献できるか」という視点に立った提案もあって、大変勉強になりました。社会人になってもぜひそういう発想を持ち続けてほしいです。クアルコムさんのSnapdragonの強みは、ずっとモバイルの世界で開発されてきたこともあり、低消費電力で長時間動作するところだと思います。発熱が少なくモバイル環境に適した、AI処理も高速なデバイスは、間違いなくPCの進化の方向性の1つでしょう。ローカルAIを扱うアプリはこれからたくさん登場してくるはずです。もちろんチップの性能も進化していきますから、ビジネスシーンでのローカルAI活用も飛躍的に広がっていきます。マイクロソフトとしてもそこに貢献していければと思いますし、今回に限らずハッカソンやコンテストなどを開催して盛り上げていければ。