ニュース

AIがPC画面を見ながら作業を手伝ってくれる「Copilot Vision」一般提供開始

Copilot Vision

 Microsoftは、AIが画面を見ながら作業をアシストしてくれる「Copilot Vision」の一般提供を開始した。あわせて、「Hey, Copilot」と呼びかけるだけでCopilot Voiceとの音声会話を始められる機能の提供も開始された。Copilotを利用できるすべてのWindows 11 PCに展開する。同社ではこれにより、すべてのWindows 11 PCをAI PCへと進化させるとしている。

 Copilot Visionは、AIが画面を見ながらユーザーと対話し、作業を手伝ってくれる機能。ユーザーがデスクトップやアプリの画面をCopilotに共有することで利用できる機能で、画面内のコンテンツに応じてユーザーの質問に答えてくれる。たとえば、アプリの使い方や写真編集の方法について、ゲームプレイへのアドバイスなどが可能。現時点では音声のみの利用ができ、今後はテキストでのやり取りにも対応する予定。

PowerPointを共有した例

 Word、Excel、PowerPointファイルを共有した場合には、画面に表示されていない部分も含めて文書全体を認識できる。そのため、スライド枚数の多いプレゼンテーションであっても、1枚ずつ見せることなく全体をCopilotに分析してもらえる。

 音声でCopilotを呼び出せる機能については、Copilotアプリからオプトインの設定が必要となる。会話を始めるとチャイム音が鳴り、マイクのアイコンが表示される。「Goodbye」と呼びかける、[×]ボタンを押す、あるいは数秒間操作がない場合、会話が自動的に終了する。

 そのほか、Copilot LabsやInsider向けの実験的な機能として、タスクバーからワンクリックでCopilot VisionやVoiceにアクセスできる機能、Copilotがユーザーの作業を代行するCopilot Actionsでローカルファイルの処理を実行可能な機能、メールやカレンダー、クラウドストレージなどのサービスとCopilotを直接連携するCopilot connectorsなどもある。

タスクバーから簡単にCopilot VisionとVoiceにアクセス
Copilot Actionsでローカルファイルの処理が可能に
Copilot connectors