Metaが「SAM Audio」公開:動画上のクリックやテキストで特定音を分離
Metaは音声分離マルチモーダルモデル「SAM Audio」を発表した。画像分割のSAMと同様に、動画内の対象(ギターなど)のクリック、テキスト指示、時間指定など直感的なプロンプトで、複雑な混音から狙った音だけを抽出できる。Segment Anything Playgroundで試用可能。
Metaは音声分離マルチモーダルモデル「SAM Audio」を発表した。画像分割のSAMと同様に、動画内の対象(ギターなど)のクリック、テキスト指示、時間指定など直感的なプロンプトで、複雑な混音から狙った音だけを抽出できる。Segment Anything Playgroundで試用可能。
Meta は画像認識モデルの最新版「SAM 3」と「SAM 3D」を発表しました。SAM 3 は自然言語プロンプトで画像や動画内の対象を高精度に特定・追跡でき、SAM 3D は単一の 2D 画像から人物や物体を 3D 化します。専用の Playground で試すことができ、SAM 3 のコードと重みはオープンソースで公開されました。