Appleが明かす端末向けLLM最適化:フラッシュメモリ活用でRAMの2倍のモデルを駆動
Appleは論文「LLM in a flash」を発表し、DRAM容量を超える大規模言語モデルを端末上で動かす技術を公開した。パラメータをフラッシュメモリに置きオンデマンドで読み出すことで、メモリの2倍サイズのモデルを扱え、GPU推論速度を最大25倍引き上げた。端側AIの実現に向けた重要な一歩となる。
Appleは論文「LLM in a flash」を発表し、DRAM容量を超える大規模言語モデルを端末上で動かす技術を公開した。パラメータをフラッシュメモリに置きオンデマンドで読み出すことで、メモリの2倍サイズのモデルを扱え、GPU推論速度を最大25倍引き上げた。端側AIの実現に向けた重要な一歩となる。
Samsung は独自開発の生成 AI モデル「Gauss」を発表した。言語処理と要約を担う Language、コーディング支援の Code、画像生成や編集を行う Image で構成される。クラウド依存のサービスと異なり端末上での動作を重視しており、来年発売が見込まれる Galaxy S24 シリーズなどへの搭載が有力視されている。
Samsungは水曜日、AIを活用したフードアプリ「Samsung Food」を104カ国で公開した。16万件のレシピを備え、手持ちの食材に合わせたメニュー提案や、同社製オーブンの予熱・タイマー設定といった家電連携に対応する。食材の購入から調理までをAIで一元化する狙いだ。
米WSJなどの報道によると、Googleは社内プロジェクト「Project Magi」を進め、検索結果にAI対話やソーシャル動画を取り入れる計画だ。ChatGPTやTikTokの台頭に対抗し、明確な正解がない日常の調べ物に焦点を当てる。まず米国で100万人のユーザー向けにテストを開始する予定だ。
SamsungはCES 2023で、庫内カメラを搭載した「Bespoke AI Wall Oven」を発表しました。80種類の料理を認識して焼き加減を最適化し、焦げそうになると警告するほか、調理中の様子をネット配信できるユニークな機能を備えています。北米で2023年後半に発売予定ですが、価格は未定です。