アリババが「StreamChar」発表:単一H100で全身アバターのリアルタイム音声・動画生成
アリババの研究チームがキャラクター動画のリアルタイム生成フレームワーク「StreamChar」を発表しました。長時間の計画と短時間のノイズ除去を分離し、メモリ機構で外見崩れや音ズレを防止。単一のH100 GPUでリアルタイム動作を実現し、インタラクティブな全身アバターの実用に道を開きます。
注目のAI論文、新しいベンチマークや手法、そして生物学・医療・材料などの科学研究でAIが生んだ成果。
アリババの研究チームがキャラクター動画のリアルタイム生成フレームワーク「StreamChar」を発表しました。長時間の計画と短時間のノイズ除去を分離し、メモリ機構で外見崩れや音ズレを防止。単一のH100 GPUでリアルタイム動作を実現し、インタラクティブな全身アバターの実用に道を開きます。
低照度画像の強調フレームワーク「ControlLight」が発表された。独自の損失関数によって画像の構造を維持したまま、光の強さを連続的かつ滑らかに調節できるのが特徴だ。暗所で失敗した写真も自然に補正できる。
研究チームが360度動画生成フレームワーク「Pantheon360」を発表しました。入力から再構成した明示的な3Dキャッシュを幾何学的な骨格とすることで、視点移動時の時間的ドリフトを抑えたパノラマ映像を生成可能。デジタルツインやVR制作の精度向上が期待されます。
NVIDIA の研究チームは画像デコード技術「PiD」を発表した。従来の VAE に代わり条件付きピクセル拡散を採用し、デコードとアップスケーリングを統合して RTX 5090 上で 2K 解像度への復元を 1 秒未満に短縮した。生成画像のディテール低下を防ぎつつ処理時間を大幅に削れる。
少数の RGB 写真から屋内の大規模 3D シーンを高精度に復元する新手法「GenRecon」が発表された。空間を重なり合うブロックに分割し、Trellis.2 の生成事前分布を活用して編集可能な PBR メッシュを出力、既存手法を 16% 上回る精度を示した。高額なスキャン機器なしで日常の部屋を空間アセット化できる。
研究チームが、画像生成DiTモデル向けの学習不要手法「SEGA」を発表した。ノイズ除去の各ステップで周波数エネルギーに応じてRoPE位置埋め込みを動的に調整し、構図の崩れと微細なディテールのぼやけを同時に防ぐ。追加学習なしで4096×4096などの超高解像度画像を安定して生成できる。
研究チームが新フレームワーク「Lift4D」を発表した。ごく普通の単眼2D動画を1本入力するだけで、時間変化に伴う変形を含む完全な4Dシーンを再構築。カメラに映っていない隠れた死角も補完し、動く被写体を360度自由視点で見回せる。
シミュレーション対応の3Dモデルを生成するフレームワーク「PhysX-Omni」が発表された。従来の見た目中心の生成から脱却し、材質や運動特性などの物理的属性を付与できる点が特徴。専用データセットと評価ベンチマークも用意され、ロボット訓練や具身AIへの応用が期待される。
シカゴ大学などの研究チームは、体表面で直接AI計算を実行できる伸縮性皮膚パッチを開発しました。外部サーバーを経由せず数ミリ秒で健康データを処理し、実験では心室細動の波面を99.6%の精度で特定。1.5倍以上に伸ばしても機能し、緊急性の高い心不整脈の即時検知に道を開きます。
OpenAIは汎用推論モデルが、1946年にポール・エルデシュが提起した「平面単位距離問題」の予想を自律的に反証したと発表した。代数体論の高度な手法を用いて従来の格子構造を打破する配置を構成したもので、フィールズ賞受賞者ティム・ガワーズ氏ら外部の数学者によって証明が検証された。
Googleは科学研究を加速するAI実験ツール群「Gemini for Science」を発表した。仮説生成、計算による発見、NotebookLMを活用した文献分析の3つのプロトタイプを提供し、30超の生命科学データベースを統合した「Science Skills」も展開する。関連論文はNature誌に掲載された。
複数入力で動画生成を制御するフレームワーク「CogOmniControl」の論文が公開された。わずか3フレームのラフスケッチや骨格アニメ、参照画像と指示文を組み合わせ、意図通りの動画を生成できる。制作現場向けに開発されたが、現在は論文のみの公開となっている。
間取り図とスタイル画像から家全体の 360 度パノラマ内見ツアーを自動生成する世界モデル「PanoWorld」が発表された。視点を移動しても家具や内装の一貫性を保てる点が特徴で、不動産 VR や内装設計への応用が期待される。モデルやコードは準備中で未公開。
浙江大学の研究チームはAI音声モデルを不正操作する新手法「AudioHijack」を発表した。人間の耳には聞こえない微小な信号を音声に潜ませ、79〜96%の成功率で機密検索やデータ流出などのコマンドを実行させる。MicrosoftやMistralの商用音声サービスでも脆弱性が確認された。
Emergence AIが同一の仮想空間でAIの自治能力を比較実験した。Claudeが15日間無犯罪で全員生存を達成した一方、Grokは4日で全滅、Geminiは恋愛から放火と自滅を引き起こし、GPT-5 Miniは餓死した。混合世界では温厚なClaudeも犯罪に手を染めており、モデルによる自律行動の違いが浮き彫りになった。
上海交通大学や上海AIラボなどの研究チームが「Warp-as-History」を発表した。新たな制御モジュールを追加せず、視点移動の変形を過去の映像履歴として扱うことで、わずか1本の動画による軽量LoRA調整だけで未知のシーンでも精度の高いカメラワーク追従を実現する。
AI動画生成における不自然な人体動作を改善する報酬システム「PhyMotion」のコードが公開された。動画から抽出した3D人体を物理シミュレータ「MuJoCo」で検証し、関節や接地の妥当性をスコア化することで、ヨガや武術など複雑な動きでの手足の崩れを抑える。
潜在空間やVAEを介さずにピクセル空間で直接画像を描画する新手法「AsymFlow」が発表されました。ノイズ予測を低ランク部分空間に抑えることで生成速度を40%向上させ、ImageNetで1.57 FIDを達成。従来の潜在拡散特有の不自然な質感を解消し、より精細でリアルな質感を再現できます。
韓国の研究チームが7つの無線AIリングで手話をリアルタイム翻訳する技術を発表した。主要な指の動きを加速度センサーで捉え、AIの予測補完と連動して88%以上の精度を記録した。従来の分厚いセンサー手袋に比べ快適に装着できるが、表情などの感情表現を捉える課題は残る。
Googleは量子科学とAIを生命科学に応用する新イニシアチブ「REPLIQA」を発表した。Google.orgを通じてハーバード大学やMITなど5大学に1000万ドルを助成し、新薬開発に関わる分子シミュレーションや量子センサーの開発を進める。なお、基盤研究のため成果が出るには時間がかかる見通しだ。