Meta、音声生成フレームワーク「AudioCraft」をオープンソース公開
Metaはテキストから高品質な音楽や効果音を生成するフレームワーク「AudioCraft」のコードと重みをオープンソースで公開した。音楽生成のMusicGen、環境音生成のAudioGen、改良版コーデックEnCodecを統合し、研究者が独自データで追加学習できる。
MusicGen
Hugging Faceが「AI WebTV」公開：オープンソースモデルで自動動画配信を実現
Hugging Faceは動画と音楽の自動生成を検証する実験的デモ「AI WebTV」を公開した。ChatGPTでプロンプトを展開し、Zeroscope V2で動画を生成、FILMによるフレーム補間とMusicGenの音楽を組み合わせてFFmpegで常時配信する。生成品質には課題が残るものの、完全自律型のオープンソース動画配信パイプラインを実証した。
Meta、テキストや鼻歌から音楽を作る「MusicGen」を発表
Meta はテキストやメロディのプロンプトから音楽を生成する AI モデル「MusicGen」を発表した。2 万時間の楽曲や楽器サンプルで学習しており、ハミングから楽曲バリエーションを作ることも可能。音楽制作のハードルが大きく下がる一方、業界との著作権問題も予想される。