清華大とバークレーが uni-robot-agent を公開:オープンモデルでロボット制御、Astra 超え
清華大学とUCバークレーの研究チームが、オープンモデル向けロボット制御ハーネス「uni-robot-agent」をオープンソース公開しました。シミュレータの特権情報に頼らず、Qwen3.8-Flash-Next で RoboDojo スコア 31.39 を記録し、GPT-6 Astra のベースラインを 20 分の 1 のコストで上回りました。
清華大学とUCバークレーの研究チームが、オープンモデル向けロボット制御ハーネス「uni-robot-agent」をオープンソース公開しました。シミュレータの特権情報に頼らず、Qwen3.8-Flash-Next で RoboDojo スコア 31.39 を記録し、GPT-6 Astra のベースラインを 20 分の 1 のコストで上回りました。
清華大学の研究チームが話者抽出モデル「Falcon」をオープンソース公開した。カメラの口元映像と音声を連動させ、騒音下でも狙った人物の声だけをリアルタイム抽出する。付属の Falcon Studio をノート PC で動かせば、Zoom や Tencent Meeting に直接クリアな音声を流せる。
アント・グループと清華大学が、リアルタイムマルチモーダルAgentシステム「Realtime-Venus」を開発した。2つの9Bモデルで全二重音声と映像認識を維持しつつ、複雑な処理はバックグラウンドで非同期実行する。タスク待ちで会話を中断せずに済み、スマートグラスや車載用途に適している。
ModelBestらはエッジ向けマルチモーダル大モデル「MiniCPM-V 4.6」をオープンソース公開した。パラメータ数は 1.3B で、約 6GB のメモリがあればスマートフォンなどの端末上で快適に動作する。Qwen3.5-0.8B を上回る性能を示しつつトークン消費量を大幅に削減し、オンデバイス展開のハードルを引き下げた。
清華大学の研究チームが、テーマや文書から対話型の仮想授業を自動生成する「OpenMAIC」をオープンソース公開した。AIの教師と生徒がリアルタイムで音声解説やホワイトボード描画、ディスカッションを行い、小テストや演習も自動で組み立てる。動画を眺めるだけの学習からAIと対話する環境へと引き上げる試みだ。
ByteDanceと清華大学の研究チームがDreamID-Omniを発表した。画像、プロンプト、参照音声を組み合わせることで、本人の声で話す動画を生成可能。複数人の同画面会話や動画の顔・音声差し替えに対応し、3月にオープンソース公開が予定されている。
清華大学のXmax AIチームが、リアルタイム対話型動画モデル「X1」を発表しました。スマホのカメラ越しに手の動きを認識し、ミリ秒級の低遅延と無制限の生成時間で仮想キャラクターと触れ合えるのが特徴です。現在プライベートベータの参加者を募集しています。
上海交通大学と清華大学の研究チームが全光生成AIチップ「LightGen」を発表した。画像生成などの処理において、NvidiaのA100 GPUと比べて100倍以上の速度とエネルギー効率を達成したという。メタサーフェス技術で光学潜在空間を実現したが、現在は外部レーザーなどを要し研究室段階にとどまる。
中国の生数科技と清華大学は動画生成AI「Vidu」を発表した。独自開発のU-ViT構造を採用し、ワンクリックで1080p・16秒の動画を生成可能。カメラワークの切り替えや物理法則の再現に対応する。OpenAIのSoraには質感で及ばないものの、時間的一貫性の高さが評価されている。