TaalasがHC1発表：Llamaをチップに直接焼き込み秒間1.7万トークン達成
Taalas は Llama 3.1 8B をハードウェアに直接焼き込んだ AI チップ「HC1」を発表した。演算とメモリを統合することで NVIDIA B200 の約 40 倍となる毎秒 17,000 トークンを実現した。メモリ帯域のボトルネックを解消した一方、特定モデル専用という制限が残る。
Llama 3.1
OrangeがOpenAI・Metaと提携、アフリカ地域言語対応のAIモデル開発へ
通信大手Orangeは、OpenAIおよびMetaと提携し、アフリカ地域言語に対応した大規模言語モデルをファインチューニングすると発表した。まずは西アフリカのウォロフ語とプラー語を対象にWhisperとLlama 3.1を訓練し、教育や医療などの非商用向けにモデルを無償提供してデジタル包摂を後押しする狙いだ。
Meta、地域課題を解決する第1回Llama革新賞の受賞者を発表
Metaは、アフリカや中東、アジア太平洋などでLlamaを活用し地域課題の解決に取り組む組織を表彰する「Llama Impact Innovation Awards」の受賞者を発表した。選出されたプロジェクトには最大3万5000ドルの資金と広告クレジットが提供され、多言語医療支援や教育ツールなどに役立てられる。
MetaがLlamaの成長実績を公開：DL数は累計3.5億件に迫り、クラウド利用量は倍増
MetaはLlamaシリーズの最新データを公表しました。Hugging Faceでの累計ダウンロード数は前年比10倍超の約3.5億回に到達。クラウド各社でのトークン消費量も2024年5〜7月で倍増し、8月には最大サイズの405B版が最も利用されたといいます。オープンモデルが企業の基盤技術として定着しつつあります。
Cerebrasが超高速AI推論を発表、Llama 3.1で毎秒1800トークンを達成
Cerebras Systemsは超高速AI推論サービス「Cerebras Inference」を発表した。Llama 3.1 8Bで毎秒1800トークンを記録し、クラウドGPU比で20倍高速かつネイティブな16ビット精度を維持する。料金は8Bモデルで100万トークンあたり10セントからで、マルチステップなAIエージェントのリアルタイム処理を加速する。
Metaが「AI Studio」公開、Llama 3.1で独自AIキャラ作成可能に
Metaは米国で「AI Studio」の提供を開始した。Llama 3.1を基盤とし、誰でも独自のAIキャラクターを作成・共有できるほか、クリエイターがファンからの質問に自動返信する分身AIも構築できる。なお、同社はその後Muse Sparkへの移行に伴い新規作成を停止した。
MetaがLlama 3.1を公開：GPT-4o匹敵の405Bモデル、蒸留利用も解禁
Metaはオープンソースモデル「Llama 3.1」を発表した。フラッグシップの405Bモデルは128Kコンテキストに対応しGPT-4oに匹敵する性能を持つ。規約も改定され、モデル出力による小型モデルの蒸留や改善が公式に認められた。