UCバークレーやスタンフォードがGEPA発表：高コストな強化学習なしでLLMを最適化
UCバークレー、スタンフォード大学、Databricksの研究チームが新たな最適化手法「GEPA」を発表した。従来の強化学習のような数値スコアによる大量の試行錯誤を排し、自然言語のエラートレースをモデル自身が分析してプロンプトを進化させ、試行回数を最大35分の1に削減する。
Databricks
動画検索AIのTwelveLabsが3000万ドル調達、元Siri開発者を社長に起用
動画理解AIを手がけるTwelveLabsが3000万ドルの新資金を調達し、累計調達額は1億710万ドルに達した。あわせて、元SK Telecom CTOでSiriの初期設計を担ったYoon Kim氏が社長兼CSOに就任。テキストで動画内の特定シーンを検索できる独自モデルを武器に、企業や防犯分野での採用拡大を進める。
Snowflake、企業向けLLM「Arctic」をApache 2.0でオープンソース公開
Snowflakeは企業向けの大規模言語モデル「Arctic LLM」を発表し、Apache 2.0ライセンスで商用利用も含めオープンソース化しました。総パラメータ480Bながら17BのみをアクティブにするMoE構成を採用し、約200万ドルで学習。DatabricksのDBRXを上回るSQL生成やコーディング性能を謳います。
Cloudflare、エッジAIツール群を発表：従量課金GPUや低遅延推論を提供
CloudflareはWorkers AI、Vectorize、AI Gatewayを発表した。ユーザー近くのGPUを利用した低遅延な推論実行、ベクトル検索用ストレージ、キャッシュを活用したコスト監視機能を提供する。データはローカルに保持されモデル学習には使われない。
NVIDIAがTensorRT-LLMを公開：H100推論性能が最大8倍に向上
NVIDIAはLLM推論を大幅に高速化するオープンソースライブラリ「TensorRT-LLM」を発表した。In-flight batchingやFP8量子化により、H100上でA100比最大8倍のスループットを達成し、Llama 2も4.6倍高速化する。Python APIを通じて手軽に並列処理を実装でき、データセンターの運用コスト削減に貢献する。
Databricks、生成AIのMosaicMLを13億ドルで買収 独自モデル構築を支援
Databricksは生成AIスタートアップのMosaicMLを13億ドルで買収すると発表した。MosaicMLはオープンソースの「MPT」シリーズなど低コストなLLM学習技術に強みを持つ。買収により、企業は機密データを外部に渡すことなく、DatabricksのLakehouse上で安全に自社専用モデルを開発できるようになる。