程式碼曝光：Grok 1.5 或接入 Midjourney 生成圖片
近日，獨立版 Grok 的程式碼庫中被發現包含 Midjourney 相關引用，印證了此前 xAI 洽談合作的傳聞。這意味著 Grok 1.5 或能通過 API 直接呼叫 Midjourney 的影像生成能力。此外，程式碼顯示其即將支援圖片上傳，補全視覺理解功能。
大模型 · 日報
週五
6月21日 星期五
週四
6月20日 星期四
Anthropic 釋出 Claude 3.5 Sonnet：超越前代旗艦，速度翻倍並推 Artifacts
Anthropic 正式釋出 Claude 3.5 Sonnet。新模型在程式設計和推理能力上超越前代旗艦 Opus，執行速度提升至 2 倍，且維持中端定價；網頁端還同步上線了能即時執行程式碼和預覽介面的 Artifacts 側邊欄。目前該模型已在 Claude.ai 及 API 開放使用。
週四
5月30日 星期四
Anthropic 全面上線工具呼叫：Claude 3 全系能調外部 API 了
Anthropic 宣佈 Claude 3 全系模型正式全面開放工具呼叫功能。開發者只需定義工具集，Claude 就能自動呼叫 API、提取結構化資料或執行多步驟任務，並支援流式輸出與圖片輸入。不過，目前該版本尚不支援並行工具呼叫。
週三
5月29日 星期三
Mistral 推出程式碼模型 Codestral：22B 體積與 32k 上下文
Mistral AI 釋出首個專用程式碼生成模型 Codestral，引數量 22B，支援 32k 上下文與 80 多種程式語言。最值得關注的是其支援中間填空補全，長程式碼測試成績亮眼。該模型開放權重供研究測試，並提供 8 周免費測試 API，商用需另獲授權。
週二
5月21日 星期二
Meta 推出 Chameleon：原生交錯生成圖文的早期融合大模型
Meta 釋出原生多模態模型家族 Chameleon 預覽。與傳統的後融合方案不同，它將影像與文本統一對映到離散 token 空間，實現端到端的圖文交織推理與生成。34B 版本在 VQA 等任務上表現領先，目前該模型尚未正式開源權重。
微軟開放 Phi-3 輕量模型系列：同步預覽 42 億引數視覺版
在首次公佈近一個月後，微軟正式向開發者開放 Phi-3 輕量模型家族，涵蓋 mini、small 和 medium 三種尺寸，其中 mini 已上線 Azure AI。微軟還預覽了 42 億引數的多模態版本 Phi-3-vision，支援圖表與影像推理，主打端側低成本部署。
週二
5月14日 星期二
Google 推出教育模型 LearnLM：不直接給答案，先當「學習教練」
Google 推出基於 Gemini 微調的教育模型家族 LearnLM。它結合教育學原理，核心是不直接丟擲答案，而是引導自主探索。該模型將接入搜尋簡化、YouTube 互動答疑及 Gemini 學習教練。部分功能已在美國測試。
Google 預熱多模態 AI 介面：手機鏡頭即時看懂周圍，對標 GPT-4o
Google 在 I/O 2024 開幕前夕釋出預熱影片，展示了一款執行在 Android 手機上的未釋出多模態 AI 介面。它能直接通過手機攝像頭即時看懂周圍環境，並回答現場佈置和活動細節，正面迎戰剛釋出的 GPT-4o。不過這只是預錄演示，具體能力還要等大會正式揭曉。
週一
5月13日 星期一
OpenAI 釋出 GPT-4o：端到端全模態，語音延遲低至 232 毫秒
OpenAI 釋出新旗艦模型 GPT-4o，能端到端即時處理文本、語音與視覺輸入。其音訊平均響應僅 320 毫秒，API 速度提升一倍且成本減半，ChatGPT 免費使用者也能直接使用。
週一
5月6日 星期一
微軟被曝自研大模型 MAI-1：5000 億引數，對標 GPT-4
據 The Information 報道，微軟正在自研全新大模型 MAI-1，由 3 月加入的前 Inflection 負責人 Mustafa Suleyman 帶隊。該模型規模約 5000 億引數，遠超其 Phi-3 開源小模型。這也是微軟重注 OpenAI 以來首次自研該量級的大模型，意在減少對單一家供應商的依賴。
週三
4月24日 星期三
商湯釋出日日新 5.0：支援 20 萬上下文，主打端雲協同矩陣
SenseTime 在上海技術交流日釋出 SenseNova 5.0 大模型及端側產品矩陣。新模型訓練資料超 10TB token，支援約 20 萬有效上下文，在多模態基準 MMBench 上獲綜合第一。同時推出的端側模型在旗艦平臺每秒可生成 78.3 字。
週二
4月23日 星期二
微軟釋出 Phi-3 Mini：38 億引數，號稱比肩 GPT-3.5
微軟釋出輕量級 AI 模型 Phi-3 Mini，引數量僅 38 億。該模型利用大模型生成的「兒童故事」資料訓練，官方稱其表現接近體量大它十倍的模型。模型現已上線 Azure、Hugging Face 和 Ollama，後續還將推出 7B 和 14B 版本。
週四
4月18日 星期四
Meta 釋出開源模型 Llama 3：推 8B 和 70B 版本，訓練資料達 15T
Meta 正式釋出開源大模型 Llama 3，首發推出 8B 和 70B 兩種尺寸的基礎與指令微調版本。新模型基於超 15 萬億 token 訓練，詞表擴充至 12.8 萬，8B 版本在消費級顯示卡上即可微調與執行。最值得關注的是，開源生態再次迎來標杆級底座；不過當前上下文長度仍為 8k tokens。
週五
4月12日 星期五
Grok-1.5V 開啟預覽：首代多模態模型，主打物理世界空間理解
首代多模態模型 Grok-1.5V 正式公開預覽。它在文本能力之外，新增處理文件、圖表、截圖和現實照片的能力。同時推出的 RealWorldQA 空間理解基準中，Grok-1.5V 拿到 68.7%，表現優於同類模型。新版本即將面向早期測試者和現有使用者開放。
週二
4月9日 星期二
OpenAI 升級 GPT-4 Turbo：視覺請求全面支援 JSON 與函式呼叫
OpenAI 宣佈升級版 GPT-4 Turbo 正式上線 API，並開始向 ChatGPT 陸續推送。帶有視覺能力的 GPT-4 Turbo 結束預覽進入通用可用階段，不僅支援影像理解，視覺請求還能直接搭配 JSON 模式和函式呼叫，方便開發者直接提取結構化資料。
週一
4月1日 星期一
OpenAI 開放 ChatGPT 免註冊使用：開啟網頁直接聊
OpenAI 宣佈使用者無需註冊或登入賬號，即可直接使用 ChatGPT。該體驗正在全球逐步上線，免登入使用者的對話預設用於模型訓練，但可在設定中手動關閉。這一改動徹底去掉了體驗 AI 的註冊門檻，不過高階功能仍需賬號。