復旦大とテンセント、音動画同時生成モデル「Prism」をオープンソース化
復旦大学、テンセント混元、浙江大学の研究チームが、ネイティブ2K解像度対応の音動画同時生成フレームワーク「Prism」を公開しました。動的スパースアテンションを用いて発音部位や動きの激しい領域に計算を集中させ、学習速度を2.5倍に引き上げつつ生成品質を向上させています。現在Hugging Faceにてプレビュー版が利用可能です。
复旦大学
復旦大学、テキストからリアルタイムで音声・動画アバターを生成する「Hallo-Live」を発表
復旦大学の研究チームはリアルタイム音声・動画アバター生成フレームワーク「Hallo-Live」を発表した。2 基の NVIDIA H200 で 20.38 FPS、遅延 0.94 秒を達成。テキスト入力から高品質な映像と音声を低遅延で同期生成でき、インタラクティブなデジタルヒューマンの課題を解決する。
画像内の文字崩れを防ぐ「GlyphPrinter」登場 日中韓や記号も正確に描写
画像生成時の文字崩れや誤字を解消するフレームワーク「GlyphPrinter」が公開された。FLUX.1-dev をベースに領域単位の選好最適化を行い、日本語や中国語、タイ語などの複雑な文字や石碑の刻紋を正確に画像内へレンダリングできる。コードと重みは公開済み。