配信修行僧
RTX SparkでローカルAIが切り抜き動画を自動作成、たった3日で作ったシステムの中身
2026年10月23日 06:18
「これからはエージェントAIの時代！AIにいろいろ任せよう！」といったことをよく耳にするようになった。でも、何を任せればいいのか？AIができることがなまじ多いだけに逆に悩んでしまう。
筆者もそんな1人ではある。日常的に生成AIを使ってデータを集計/分析したり、バイブコーディングでツールを作成したりもしている。だが、今AIを使ってやっている作業の多くは、頻繁な指示や確認が必要となるため、AIに長時間自律的に判断させつつ、作業させるといったことはほとんどやっていなかった。
今回、NVIDIAからRTX Spark搭載ノートASUS「ProArt P16 (H7607)」を借りた。これを使って配信修行僧として何かできないかと考えた結果、生配信後に自動的にYouTubeショート向けの縦型動画を作ってくれるシステムを自作することにした。
RTX Sparkって何？
この記事ではNVIDIA RTX Sparkについてなじみのない人もいると思うので、その紹介から始めよう。
RTX SparkはNVIDIAが開発したSoC(System on Chip)で、1つのチップにCPUとGPUの機能が搭載されている。既存のIntelやAMDのCPUも、多くがCPUとGPUコアの両方を搭載している。その点ではRTX Sparkに目新しさはないが、NVIDIAのCPUコアがWindows向けに提供されるのは実に13年ぶりのことだ。
CPUコアはArmアーキテクチャを採用している。それによって、OSはWindows 11でもArm版となる。基本的なOSの機能はx86(Intel/AMD)版と変わらないが、一部のソフトでは互換性がまだ確保されていない。
具体例として、OBSは動くには動くが、Windows on Armネイティブ対応は検証中扱い。また、スクリプトやハードウェアエンコーダには非対応、プラグインはArm専用が必要といった状態だ。
他方、RTX SparkにはGeForceベースのGPUコアが搭載されており、IntelやAMDの内蔵GPUよりもゲームを快適に動かせる(これにも一部互換性の問題はあるが)。なにより、CUDA向けに開発/最適化された広範なアプリを利用できるのが強みだ。
ただし、メモリ128GB搭載モデルは100万円を超えるので、単なるゲーミングPCとして使うのには向いていない。大容量のメモリを生かして、GeForce RTX 5090ですら載せられないようなサイズのローカルAIモデルを使えるのがメリットであり、この製品の想定された使い方の1つだ。
また、RTX Spark投入に合わせて、NVIDIAとMicrosoftは共同でエージェントAIをより簡単に、そしてより安全に使うための仕組みをOSレベルで追加実装している(これもまだ実装途中のものもあり)。
つまり、RTX Sparkはゲームも動くが、Hermes AgentなどのエージェントAIを使って、さまざまな作業を自律的に行なわせるという新しい時代のWindowsの使い方をもたらす存在なのだ。
切り抜き動画制作のワークフロー
ということで、RTX Spark 1台で性能的にはゲーム+配信も問題なくできる。だが、筆者のように多数のプラグインを駆使している場合、前述の互換性の問題が立ちはだかる。そのため、このマシンを使って今までよりも凝ったゲーム配信をやるといったことは見送った。
代わりに思いついたのが、切り抜き動画の自動制作だ。ゲーム生配信は人気コンテンツの1つだが、興味はあってもリアルタイムで見られない人や、長時間だと見るのがおっくうになる人もいる。そこで、盛り上がった場面をカット編集する切り抜き動画を後日公開する配信者/番組も多い。
PC Watchでは、ストリートファイターのトッププロであるガチくんやチームメイトのぷげらをレギュラーに起用した定期配信を行なっている。すでに外部に委託して切り抜き制作を行なっているのだが、試しにYouTubeショート向け動画の切り抜きをAIにやらせてみることにした。
切り抜き動画は、本格的な動画制作に比べれば、編集作業はそんなに難しいものではないし、工程も複雑ではない。ざっくりとした仕様として、以下のようなことをAIに伝えた。
- 配信終了後に会社のNASから録画データを取り出す
- その動画から、盛り上がった場面を選び出す
- 必要に応じてカット編集を行なう
- 会話のテロップをつける
この中で一番重いのがテロップをつけるところだ。改行文字数次第だが、1分で数十行程度になるので、10分の動画を作ると、数百行程度になる。ここをAIで自動化するだけでもかなりの制作効率向上につながる。
ただ、英語ならもう少し精度が高いかもしれないが、日本語でしかも扱う素材がゲーム関連なので、ゲームの専門用語や俗語が多数飛び交う配信の文字起こしで高い精度は期待できない。つまり、ある程度手動での修正を覚悟する必要がある。
ショート動画なら1分程度なのでテロップ作業(修正)は大幅に減る。ただ、スマホ用の縦向きレイアウトなので、これはこれでレイアウトを工夫する必要がある。
今回は、そのときしゃべっている人に合わせてトリミングすることで、デジタルズームさせて短い動画でも視覚的な変化を持たせることにした。
そして、前述の通り、AIによる音声認識には限界があるので、修正を指示できる仕組みも必要だ。
3日で切り抜き動画制作機能が完成
RTX SparkはエージェントAI(ハーネス)とローカルLLM(大規模言語モデル)を使って、コーディングなどの作業を自律的かつローカルで実行できる。ただ、事前にいろいろと試した結果、標準的なHermes+Qwen3.8-27Bの組み合わせでは、チャットをしていても遅いと感じる場面が多かった。
より最適化されたモデルを使ったり、運用方法を工夫すれば高速化できるとは思うが、今回はそこは焦点ではない。さくっと開発したかったので、機能の設計にあたっては、別PCでクラウドのClaudeを使うことにした。
Claudeとのやりとりは以下のような感じだ。
開発はメインPC、動画編集の実働はRTX Sparkでやると指示し、ローカルLLMはすでにRTX Sparkに入れていた Qwen3.8-27Bを使うことにした。
最初は実験的にショートではなく長尺の切り抜きを作らせることにした。というのも、すでに人間が作った過去の切り抜きがあり、それを参考にルール作りや、切り抜き箇所判定の手がかりを得られるからだ。
すると、Claudeは、文字起こし→視聴者コメントとの時刻合わせ→話題の分割→見どころ選び→詰めて書き出しまでする仕組みをさくっと作ってくれた。具体的には、ffmpegを使って動画から音声を取り出し、whisper.cppという音声認識推論エンジンで全編の文字起こしをする。
続いてClaudeは、自分が作った切り抜きを人間による切り抜きと文字起こしで照合し、人間がどこを残したかを比べた。それを手がかりに、選び方と詰め方を何度も自動で直した。
ある程度、基本的な流れができたところで、ショート作成に切り替えると指示した。また、笑い声や笑顔を見どころの手がかりとすることを提案したところ、sherpa-onnx(音声)とMediaPipe(映像)を見つけてきてインストールし、その仕組みが実装された。
YouTubeおよびTwitchアーカイブからチャットのリプレイをテキストとして取得している。これについては、演者の発言と、チャットの発言を見比べて、動画とチャットの間に遅延が何秒あるかを計測したうえで、盛り上がりの判定に使っている。
RTX Sparkで動作しているHermes(が使っているローカルLLM)に文字起こしを読ませ、トークの話題ごとに区切る。45～70秒ごとに面白さの点数付けを行ない、重なっていない上位を拾う。点数付けにあたっては、コメントの増え方、笑い声と笑顔を参照している。
その上で、候補の前後の文字起こしをローカルLLMに読ませ、単体で分かるか、オチがあるかで点をつける。始まりと終わりを文の区切りに合わせて直させ、見出しも付けさせる。7点以上を3～5本選び、動画にする。
初日の開発はだいたいこのあたりまで。驚いたのは切り抜き箇所の選定だ。始まりを数秒ずらす必要がある場合もあったが、「盛り上がった場所を抜き出す」という点ではほぼ完璧な判定をしており、人間による修正はほぼいらないと感じた。
2日目に動画の修正機能を実装した。RTX Spark上でショート動画が完成したら、何らかの形でPCとスマホでやりとりしたいとClaudeに伝え、最終的にTelegramというアプリを使うことにした。
DiscordだとPCで起動しているとスマホに通知が来ない、LINEだと開発者登録が必要などの障壁があったからだ。Telegramならボットを作るだけで、RTX SparkからPCとスマホに同時にメッセージを送信できる。
ということで、動画ができると順番に動画とそのテロップのキャプションがテキストで送られてくるようになった。
これを受け取ったら、修正指示をTelegramでそのまま返信する。指示可能な主な内容は、切り抜き範囲の指定、各テロップに対しての話者の指定(話者によって色を分けている)、不要なテロップの削除、任意のテロップの表示時間の調整、足りていないテロップの追加、任意のシーンでのカメラ(ズーム)の指定、辞書への単語の追加など。
ちなみに、どこのテロップや場面を直させるのかを分かりやすくするために、最初は全テロップに連番を振らせた。修正が終わって「アップして」と伝えたら、連番を削除した完成版動画が送られてくる。
2日目は新しい工程は追加せず、カメラの切り替えや、テロップの付け方、Telegramを使った修正の仕組みの調整に時間をかけた。
たとえば、Telegram経由でRTX Spark上のHermesと会話をしているとログが膨らみ、1通で8万トークンを読み直して約3分待ちとなることもあった。そこで、ツールの出力を会話に流さない、そして返信ごとに会話を新しくするプラグインを自作させたりもした。
3日目にもチャットでアルゴリズムを調整し、セキュリティ上の問題がないかなども確認した。
このようにして、3日でショート切り抜き動画の自動生成システムが完成した。もちろん、筆者はコードを1行も書いていない。やったのは、チャットでの指示のみだ。
ちなみに、4本のプレビューができるのにかかった時間は約30分。内訳は、文字起こしと話題の分割が約6分、見どころ選びが約6～7分、プレビュー作りが1本あたり約3分。ここから修正を経て、本番の書き出しに1本あたり約5分かかる。
もちろん、修正作業が発生するが、AIが作った内容のうち、ざっくり7割はそのまま使える感じで、残り3割について修正指示を出す。Telegramはスマホにも入れたので、電波さえ届けば移動中でも動画の編集ができるわけだ。
PCに動画編集をさせるのは初なので比較はできないが、1本あたりだと10分もかからずプレビュー制作が完了するのはかなり速いと感じた。
修正にどれくらい時間がかかるかは、内容次第だが1本あたり10分程度だろうか。ちなみに、テロップ修正版を出させるときは1分もかからずに終わるので、複数回の修正やりとりになってもさほど労力はいらない。
本格的なエージェント運用は今後の課題
筆者はすでに業務用ツールを作るなどClaudeによるバイブコーディングを数カ月くらい行なっている。また、切り抜き動画制作のワークフローもおおよそ把握している。
そういった予備知識があるとはいえ、3日くらいで切り抜き動画自動制作システムが完成したのには驚いた。システムの大枠は初日でできており、残り2日は細かい挙動を詰めていった感じだ。3日といってもかかりっきりではなく、待ち時間もあるので、ほかの作業の合間に進めた形だ。
また、前述の通り、切り抜き箇所の選定や、デジタルズーム(トリミング)、テロップの付け方もほぼ申し分ない品質となっているのにもいたく感心した。
なお、今回のシステムについて、開発はメインPC+Claudeで行ない、RTX SparkではHermesを使って指示を受け取り作業を行なわせていると書いた。
ただ、すべてのローカル作業を毎回Hermes(とLLM)が行なっているわけではない。定型的な作業が多いこともあり、Hermesに判断/実行させるより、Claudeがコーディングした作業ごとに細分化されたPythonコードに実行させた方が効率的だからだ。
つまり、Hermesは必要なときだけ、ユーザー(筆者)と実行者(各Pythonコード)の橋渡し役として立ち回っているだけだ。実はやろうと思えば、今回の機能はHermesを使わずに実現できる。ある意味、無理やりワークフローにHermesを組み込んだ形だ。
というのも、エージェントAIにできることを体験し、知見をためるのも今回の筆者の目的の1つだったからだ。冒頭にも書いた通り、現時点のHermes+Qwen3.8-27Bの組み合わせでは、ClaudeなどのクラウドAIに比べ応答が遅い。これについては、今後別のモデルを試していこうと思っている。
また、Hermesは、セキュリティと利便性を向上するMXC(Microsoft Execution Containers)近日予定。作業の難しさに応じてモデルを切り替えるNVIDIA NeMo Switchyard回りもまだ試せていない。その辺りも踏まえて、エージェントAIでこんなことができるというのをさらに試し、報告していく。