Meta、画像・テキスト混在のChameleonや音声電子透かしなど5つの研究モデルを公開
MetaのFAIRチームは新たな5つのAI研究成果を公開した。画像と文章を同時処理できるChameleon、和音やビートで制御可能な音楽生成JASCO、検出速度を最大485倍に高めたAI音声透かしAudioSealなどが含まれる。
オープンソース
Llama、Qwen、DeepSeekなどオープンソース・オープンウェイトのモデルと、注目のデータセット、フレームワーク、開発ツール。
新しいニュースを見る
Apple、Hugging Faceで20のCore MLモデルと4つのデータセットを公開
AppleはHugging Face上で、端末内動作に特化した20種類のCore MLモデルと4つのデータセットを公開した。FastViTやDepthAnythingなどを含み、ネット接続なしで高速処理とユーザーのプライバシー保護を両立できる。
DeepSeekがCoder V2をオープンソース公開、GPT-4 Turbo超えを記録
中国のDeepSeekは、MoE構成のコード特化型モデル「DeepSeek Coder V2」をオープンソースで公開した。338のプログラミング言語と128Kコンテキストに対応し、HumanEvalなどの主要ベンチマークでGPT-4 TurboやClaude 3 Opusを上回るスコアを記録。商用利用可能なMITライセンスで16Bと236B版が提供される。
オープンソースモデル「Qwen2」公開、5サイズ展開で文脈長は最大128K
Qwenチームは新世代オープンソースモデル「Qwen2」を公開した。0.5Bから72Bまで5つのサイズを揃え、27言語の追加データを学習。全サイズでGQAを採用し、7Bと72Bの指示チューニング版は最大128Kトークンの文脈長に対応する。72Bを除く中小モデルにはApache 2.0ライセンスが適用されている。
EPFLとイェール大、MetaのLlama 3ベースの医療特化オープンモデル「Meditron」を公開
EPFLとイェール大学医学部の研究チームは、MetaのLlama 3を微調した医療向けオープンソースモデル「Llama-3[8B]-MeditronV1.0」を発表した。医療資源の乏しい地域や人道支援向けに設計され、MedQAなどのベンチマークで同規模の最高スコアを記録している。
Snowflake、企業向けLLM「Arctic」をApache 2.0でオープンソース公開
Snowflakeは企業向けの大規模言語モデル「Arctic LLM」を発表し、Apache 2.0ライセンスで商用利用も含めオープンソース化しました。総パラメータ480Bながら17BのみをアクティブにするMoE構成を採用し、約200万ドルで学習。DatabricksのDBRXを上回るSQL生成やコーディング性能を謳います。
NVIDIA、MetaのLlama 3を全プラットフォームで高速化
NVIDIAはMetaの最新LLM「Llama 3」に向けた推論最適化を発表した。H200 GPU単体で70Bモデルを実行した場合、毎秒約3000トークンを生成し、約300人の同時利用に対応可能。8BモデルはRTX PCやJetson Orinなどのエッジ端末にも対応する。
Hugging Faceが「Idefics2」公開：8Bの軽量オープン多言語視覚モデル
Hugging Faceは8Bパラメータのオープンマルチモーダルモデル「Idefics2」をApache 2.0ライセンスで公開しました。元解像度での画像処理に対応し、OCRや文書解析性能を大幅に向上させ、30B規模の競合モデルに匹敵する性能を示しています。
仏Mistral AI、最新モデル「Mixtral 8x22B」をX上のTorrentで公開
仏Mistral AIはオープンソースの最新MoEモデル「Mixtral 8x22B」をX上でTorrentリンク形式で公開した。総パラメータ数は1760億で推論時のアクティブは440億、65kコンテキストをサポートする。Apache 2.0ライセンスで商用利用や微調整が可能だ。
Meta、次世代オープンソースLLM「Llama 3」を来月中にリリースと認める
Metaは次世代の大規模言語モデル「Llama 3」を来月中に初期リリースすると明かした。年内に異なる機能を持つ複数バージョンを展開し、自社製品群に順次組み込む方針だ。前世代より回答の幅を広げる見込みで、最大モデルは約1400億パラメータになると予想されている。
Googleがコード特化モデル「CodeGemma」公開、2Bと7Bの3種展開
GoogleはHugging Faceと連携し、オープンアクセスなコード特化モデル「CodeGemma」を公開した。Gemmaをベースに5000億トークンを追加学習し、補完特化の2B、コードと自然言語を扱う7B、対話型の7B Instructを用意。2Bモデルは約6GBのメモリで動作し、端末内での高速補完に向く。
Stability AI、12B言語モデル「Stable LM 2 12B」を公開
Stability AIは7言語に対応した「Stable LM 2 12B」のベース版および指示チューニング版を公開した。2兆トークンで学習され、関数呼び出しやRAGシステムへの組み込みに適している。あわせて1.6B版もアップデートされた。非商用利用は無料で、商用には会員登録が必要となる。
Stability AI、単一画像から3D生成できる「Stable Video 3D」公開
Stability AI は 1 枚の画像から多視点動画や 3D メッシュを生成する「Stable Video 3D」を発表した。動画拡散モデルを基盤に視点の一貫性を大幅に向上させ、カメラ軌道指定の有無で 2 種を用意。非商用向けのモデル重みは Hugging Face でダウンロードできる。
xAI、3140億パラメータの「Grok-1」ベースモデルをオープンソース公開
xAIは大型言語モデル「Grok-1」の基本重みとネットワークアーキテクチャをApache 2.0ライセンスでオープンソース公開した。3140億パラメータの混合エキスパートモデルで、2023年10月に完了した事前学習済みの生チェックポイントとなっており、GitHubから利用できる。
Stability AI、単一画像から0.5秒で3D化する「TripoSR」をオープンソース公開
Stability AIとTripo AIは1枚の画像から0.5秒未満で3Dモデルを生成する「TripoSR」を公開した。GPUがない環境でも軽快に動作し、コードと重みは商用利用可能なMITライセンスでGitHubおよびHugging Faceにて提供されている。
Googleがオープンモデル「Gemma」公開：Gemini技術採用、商用利用も可能
GoogleはGeminiの技術を継承した軽量オープンモデル「Gemma」（2Bおよび7B）を発表した。ノートPC上で直接動作する軽快さを持ちながら同規模で最高水準の性能を誇り、企業規模を問わず商用利用が無償で認められている。
Apple、テキスト指示で画像を編集できるAIモデル「MGIE」をオープンソース公開
Appleはカリフォルニア大学サンタバーバラ校と共同で、自然言語のプロンプトで画像を編集できるオープンソースモデル「MGIE」を公開しました。「もっと健康的に」と入力してピザに野菜を追加するなど、意図を汲み取った編集が可能です。GitHubとHugging Faceで提供されています。
オープンソース首位交代：Abacus AIがGPT-3.5超えの「Smaug-72B」公開
AIスタートアップのAbacus AIが、アリババのQwen-72Bをファインチューニングした大規模言語モデル「Smaug-72B」を公開した。Hugging FaceのOpen LLMリーダーボードで平均スコア80点を超えた初のオープンソースモデルとなり、推論や数学などの複数ベンチマークでGPT-3.5やMistral Mediumを上回っている。
MistralのCEO、GPT-4級モデル「miqu-1-70b」の流出を認める
MistralのCEO Arthur Menschは、コミュニティで話題となっていたGPT-4迫るオープンモデル「miqu-1-70b」が同社開発の旧型モデルの流出だと認めた。MetaのLlama 2をベースに再学習したもので、オープンソース陣営がトップ性能へ急速に追いついていることを示している。
AppleがマルチモーダルAI「Ferret」を静かにオープンソース公開、画像の自由な領域を認識
Appleとコーネル大学の研究者が、画像内の任意形状の領域を指定して質問できるマルチモーダルモデル「Ferret」をオープンソース公開していたことが判明した。小さな対象物も正確に検出して文脈に応じた回答が可能。秘密主義のAppleとしては異例の公開だが、現状は非商用利用に限られる。