代码曝光：Grok 1.5 或接入 Midjourney 生成图片
近日，独立版 Grok 的代码库中被发现包含 Midjourney 相关引用，印证了此前 xAI 洽谈合作的传闻。这意味着 Grok 1.5 或能通过 API 直接调用 Midjourney 的图像生成能力。此外，代码显示其即将支持图片上传，补全视觉理解功能。
大模型 · 日报
周五
6月21日 星期五
周四
6月20日 星期四
Anthropic 发布 Claude 3.5 Sonnet：超越前代旗舰，速度翻倍并推 Artifacts
Anthropic 正式发布 Claude 3.5 Sonnet。新模型在编程和推理能力上超越前代旗舰 Opus，运行速度提升至 2 倍，且维持中端定价；网页端还同步上线了能实时运行代码和预览界面的 Artifacts 侧边栏。目前该模型已在 Claude.ai 及 API 开放使用。
周四
5月30日 星期四
Anthropic 全面上线工具调用：Claude 3 全系能调外部 API 了
Anthropic 宣布 Claude 3 全系模型正式全面开放工具调用功能。开发者只需定义工具集，Claude 就能自动调用 API、提取结构化数据或执行多步骤任务，并支持流式输出与图片输入。不过，目前该版本尚不支持并行工具调用。
周三
5月29日 星期三
Mistral 推出代码模型 Codestral：22B 体积与 32k 上下文
Mistral AI 发布首个专用代码生成模型 Codestral，参数量 22B，支持 32k 上下文与 80 多种编程语言。最值得关注的是其支持中间填空补全，长代码测试成绩亮眼。该模型开放权重供研究测试，并提供 8 周免费测试 API，商用需另获授权。
周二
5月21日 星期二
Meta 推出 Chameleon：原生交错生成图文的早期融合大模型
Meta 发布原生多模态模型家族 Chameleon 预览。与传统的后融合方案不同，它将图像与文本统一映射到离散 token 空间，实现端到端的图文交织推理与生成。34B 版本在 VQA 等任务上表现领先，目前该模型尚未正式开源权重。
微软开放 Phi-3 轻量模型系列：同步预览 42 亿参数视觉版
在首次公布近一个月后，微软正式向开发者开放 Phi-3 轻量模型家族，涵盖 mini、small 和 medium 三种尺寸，其中 mini 已上线 Azure AI。微软还预览了 42 亿参数的多模态版本 Phi-3-vision，支持图表与图像推理，主打端侧低成本部署。
周二
5月14日 星期二
Google 推出教育模型 LearnLM：不直接给答案，先当「学习教练」
Google 推出基于 Gemini 微调的教育模型家族 LearnLM。它结合教育学原理，核心是不直接抛出答案，而是引导自主探索。该模型将接入搜索简化、YouTube 互动答疑及 Gemini 学习教练。部分功能已在美国测试。
Google 预热多模态 AI 界面：手机镜头实时看懂周围，对标 GPT-4o
Google 在 I/O 2024 开幕前夕发布预热视频，展示了一款运行在 Android 手机上的未发布多模态 AI 界面。它能直接通过手机摄像头实时看懂周围环境，并回答现场布置和活动细节，正面迎战刚发布的 GPT-4o。不过这只是预录演示，具体能力还要等大会正式揭晓。
周一
5月13日 星期一
OpenAI 发布 GPT-4o：端到端全模态，语音延迟低至 232 毫秒
OpenAI 发布新旗舰模型 GPT-4o，能端到端实时处理文本、语音与视觉输入。其音频平均响应仅 320 毫秒，API 速度提升一倍且成本减半，ChatGPT 免费用户也能直接使用。
周一
5月6日 星期一
微软被曝自研大模型 MAI-1：5000 亿参数，对标 GPT-4
据 The Information 报道，微软正在自研全新大模型 MAI-1，由 3 月加入的前 Inflection 负责人 Mustafa Suleyman 带队。该模型规模约 5000 亿参数，远超其 Phi-3 开源小模型。这也是微软重注 OpenAI 以来首次自研该量级的大模型，意在减少对单一家供应商的依赖。
周三
4月24日 星期三
商汤发布日日新 5.0：支持 20 万上下文，主打端云协同矩阵
SenseTime 在上海技术交流日发布 SenseNova 5.0 大模型及端侧产品矩阵。新模型训练数据超 10TB token，支持约 20 万有效上下文，在多模态基准 MMBench 上获综合第一。同时推出的端侧模型在旗舰平台每秒可生成 78.3 字。
周二
4月23日 星期二
微软发布 Phi-3 Mini：38 亿参数，号称比肩 GPT-3.5
微软发布轻量级 AI 模型 Phi-3 Mini，参数量仅 38 亿。该模型利用大模型生成的「儿童故事」数据训练，官方称其表现接近体量大它十倍的模型。模型现已上线 Azure、Hugging Face 和 Ollama，后续还将推出 7B 和 14B 版本。
周四
4月18日 星期四
Meta 发布开源模型 Llama 3：推 8B 和 70B 版本，训练数据达 15T
Meta 正式发布开源大模型 Llama 3，首发推出 8B 和 70B 两种尺寸的基础与指令微调版本。新模型基于超 15 万亿 token 训练，词表扩充至 12.8 万，8B 版本在消费级显卡上即可微调与运行。最值得关注的是，开源生态再次迎来标杆级底座；不过当前上下文长度仍为 8k tokens。
周五
4月12日 星期五
Grok-1.5V 开启预览：首代多模态模型，主打物理世界空间理解
首代多模态模型 Grok-1.5V 正式公开预览。它在文本能力之外，新增处理文档、图表、截图和现实照片的能力。同时推出的 RealWorldQA 空间理解基准中，Grok-1.5V 拿到 68.7%，表现优于同类模型。新版本即将面向早期测试者和现有用户开放。
周二
4月9日 星期二
OpenAI 升级 GPT-4 Turbo：视觉请求全面支持 JSON 与函数调用
OpenAI 宣布升级版 GPT-4 Turbo 正式上线 API，并开始向 ChatGPT 陆续推送。带有视觉能力的 GPT-4 Turbo 结束预览进入通用可用阶段，不仅支持图像理解，视觉请求还能直接搭配 JSON 模式和函数调用，方便开发者直接提取结构化数据。
周一
4月1日 星期一
OpenAI 开放 ChatGPT 免注册使用：打开网页直接聊
OpenAI 宣布用户无需注册或登录账号，即可直接使用 ChatGPT。该体验正在全球逐步上线，免登录用户的对话默认用于模型训练，但可在设置中手动关闭。这一改动彻底去掉了体验 AI 的注册门槛，不过高级功能仍需账号。