Wan Streamer 0.3発表:自然言語でアバターの動作をリアルタイム制御
対話型動画モデルWan Streamerのv0.3が発表された。従来の肖像対話から進化し、動画を一貫した「世界」と変化する「イベントストリーム」に分離することで、自然言語の指示に応じたポーズや身振りをリアルタイムに生成できる。現在は論文のみ公開されている。
対話型動画モデルWan Streamerのv0.3が発表された。従来の肖像対話から進化し、動画を一貫した「世界」と変化する「イベントストリーム」に分離することで、自然言語の指示に応じたポーズや身振りをリアルタイムに生成できる。現在は論文のみ公開されている。
アリババはリアルタイムで動画・音声対話ができる基盤モデル「Wan Streamer」を発表した。単一のTransformerでテキスト、音声、映像を同時に処理し、モデル側応答遅延を約200ミリ秒に抑えた全二重通信を実現している。現在は192pのPoC段階で一般体験は未提供。