跳到正文
IFAI

大模型

Inflection 发布 Inflection-1 大模型:对标 GPT-3.5,常识测试亮眼但代码落后

首次发布 传播指数 47

AI 初创公司 Inflection 正式发布自研底层大模型 Inflection-1,主要用于驱动对话助手 Pi。其训练算力与能力对标 GPT-3.5,在常识与中小学测试表现亮眼,但代码能力明显落后。团队表示更强大的模型正在训练中。

Inflection 发布 Inflection-1 大模型:对标 GPT-3.5,常识测试亮眼但代码落后
图:techcrunch.com

做大模型的初创公司很多,但敢直接摆上台面跟 OpenAI 正面掰手腕的,圈子里数得出名字的就那么几家。

主打「人人都有专属个人 AI」的初创公司 Inflection 正式公开了自家的大语言模型 Inflection-1。这个模型其实早就默默干活了,正是它在驱动公司此前推出的对话助手 Pi。

对标 GPT-3.5,常识打平但写代码被虐

如果按照训练消耗的计算资源来算重量级,Inflection-1 大致处于 GPT-3.5 这一档。

Inflection 官方专门发了一份技术备忘录,把自家模型拉去跟 GPT-3.5、Meta 的 LLaMA、DeepMind 的 Chinchilla 以及 Google 的 PaLM-540B 一起跑分。

根据他们公布的成绩单,Inflection-1 在同量级里确实能打。在中学生水平的考试题,比如基础生物学,以及日常生活常识推理上,它的表现都相当不错,官方认为它完全不输甚至优于同级别竞品。

但在编程这项硬指标上,差距就一目了然了。GPT-3.5 轻松赢过 Inflection-1,要是拉出 GPT-4 来看,差距更是大到不在一个量级。

对此 Inflection 也并不避讳。他们透露,内部正在研发规模更大、用来对标 GPT-4 和 Google PaLM-2(L) 的新模型,目前还在烤箱里慢慢烘焙。

说白了,AI 圈现在虽然还没像拳击界那样严格按体重分量级,但逻辑完全相通。你不可能指望轻量级选手去擂台上暴揍重量级拳王,小模型重在轻巧高效,大模型则必须靠算力堆出天花板能力。

为什么重要

我们认为,Inflection-1 最大的意义,在于证明了非科技巨头依然有能力从头训练出可用的基础大模型。

对普通用户来说,如果你日常只是想找个情绪稳定、擅长日常闲聊的虚拟伙伴,Pi 完全值得一试,它支持网页端和多种即时通讯工具。但如果你指望拿它来写代码或搞复杂的逻辑推导,那现在它显然还替不掉 ChatGPT。

Inflection 的策略看起来非常聪明。他们很清楚自己在资源上没办法立刻跟微软和 OpenAI 全面开战,所以把技能点全点在了「常识理解」和「日常陪伴」上,精准避开了代码生成这个极其吃算力的硬骨头。

但这里的隐患也很明显。现在的跑分全部来自官方自测,在没有开放给研究界进行独立客观评测之前,所有光鲜的数据都得先打个问号。只要大家用上了更聪明的 GPT-4,谁还会长期留在一个只能聊家常的 GPT-3.5 级别助手身边,也是 Inflection 接下来必须回答的问题。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选