本文へスキップ
IFAI

AIツール

Claudeデスクトップアプリに新機能:画面録画と音声解説でAIに作業を学習

公開 拡散指数 42

ClaudeデスクトップアプリのCoworkに新機能「Record a skill」が追加された。ユーザーが画面録画しながら口頭で作業手順を説明すると、Claudeがそれを自律実行可能なスキルに変換する。Pro、Max、Teamプラン向けに提供される。

Claudeデスクトップアプリに新機能:画面録画と音声解説でAIに作業を学習
画像:x.com

AI に PC の作業手順を教えるとき、プロンプトで画面のボタンの位置や細かい手順を文字で説明するのは骨が折れます。

Claude はデスクトップアプリ向けの新機能「Claude Cowork」を公開しました。画面録画と音声解説を使って、AI に直接スキルを教えられる機能です。

操作しながら話すだけでスキル化

使い方はシンプルです。Claude デスクトップアプリの「+」メニュー内にある「Record a skill」を選びます。

あとは普段通りに画面上で作業を進めながら、手順を声に出して説明するだけです。Claude がその録画と音声を解析し、後から自律的に再実行できるカスタムスキルへと変換してくれます。

この機能は、Pro、Max、Team プランの契約者向けに提供されています。

なぜ重要か

日々のルーティン作業を抱えるユーザーにとって、自動化のハードルが一段と下がるアップデートです。複雑な指示文を書く代わりに、新入社員に仕事を教える感覚で実演するだけで済みます。

デスクトップ作業を自動化するアプローチとして、私たちは非常に筋が良いと感じています。言葉で UI を説明させるのではなく、実際の画面操作と声という自然なインプットを活用しているためです。

一方で、実用上の課題は柔軟性でしょう。実演された手順を覚えるだけでなく、Web サイトのデザイン変更や想定外のエラーが出た際にどこまで自律的に対処できるかが、常用できるかどうかの分かれ道になりそうです。

情報源 (1)

  1. [1]
    x.com(新しいタブで開きます)原文x.com

毎日のAIピックアップ