蘋果如何最佳化端側大模型:靠快閃記憶體突破記憶體限制,跑 2 倍大模型
Apple 發表論文《LLM in a flash》,展示如何將模型引數存放在快閃記憶體並按需調入 DRAM。藉助視窗化複用與行列捆綁技術,裝置能執行自身記憶體 2 倍大的模型,GPU 推理提速最高達 25 倍。這為端側生成式 AI 落地鋪平了道路。
Apple 發表論文《LLM in a flash》,展示如何將模型引數存放在快閃記憶體並按需調入 DRAM。藉助視窗化複用與行列捆綁技術,裝置能執行自身記憶體 2 倍大的模型,GPU 推理提速最高達 25 倍。這為端側生成式 AI 落地鋪平了道路。
Samsung 推出自研生成式 AI 模型 Gauss。該模型由 Samsung Research 開發,包含處理翻譯和摘要的 Language、程式設計助手 Code 以及影像生成與編輯的 Image 三部分。相比依賴雲端的方案,它主打端側本地執行,預計將搭載於明年的 Galaxy S24 系列中。
週三,Samsung 正式上線 AI 飲食應用 Samsung Food,支援 8 種語言並登陸 104 個國家。應用內建 16 萬道食譜,不僅能根據手頭食材微調做法,還能直接聯動三星廚電預熱烤箱或設計時器。說白了,三星想用 AI 把做飯這件事從買菜到出鍋全包了。
據華爾街日報報道,Google 正在開發代號為「Project Magi」的新搜尋功能,試圖擺脫傳統的 10 個藍色連結,加入 AI 對話與更多社交短影片內容。面對 ChatGPT 與 TikTok 的夾擊,新版搜尋重點解決那些「沒有標準答案」的生活類查詢,計劃 5 月起率先向 100 萬美國使用者測試。
Samsung 在 CES 2023 上釋出 Bespoke AI 壁掛烤箱,最大亮點是內建攝像頭,不僅能識別 80 種菜品並在快烤焦時報警,還能把烘焙過程線上直播。新機配有 7 英寸彩屏,預計 2023 年晚些時候在北美上市,售價暫未公佈。