跳到正文
IFAI

AI科研

IBM 突破共封装光学技术:大模型训练提速 5 倍,能耗降 80%

首次发布 传播指数 31

IBM 公布共封装光学(CPO)突破,推出首个聚合物光波导原型。该方案用光路替代服务器间铜线,能将大模型训练速度提升最多 5 倍、能耗降低 80% 以上。这项技术已通过全部制造应力测试,意在彻底解决 GPU 等待数据传输的空闲痛点。

IBM 突破共封装光学技术:大模型训练提速 5 倍,能耗降 80%
图:thefastmode.com

现在训练大模型最憋屈的事情,不是买不起卡,而是买了卡却发现它有一半时间都在「摸鱼」。在成千上万张 GPU 组成的计算集群里,芯片大部分时间并不是在算矩阵,而是在干等铜线把上一轮的数据慢吞吞送过来。

IBM 刚刚拿出了一个试图打破这个瓶颈的方案。他们在纽约奥尔巴尼和加拿大布罗蒙的实验室里,做出了一套全新的共封装光学(CPO)原型模块。说白了,他们想用聚合物光波导把光纤直接接到芯片旁边,彻底把机架内部那些又粗又慢的铜线换成光路。

让芯片之间用光速对话

如今的数据中心跨城传输早就普及了光纤,但一进机房机架,芯片和电路板之间还是几乎全靠铜线在跑电信号。铜线的问题很明显:距离一旦超过一米,信号衰减和发热就会急剧上升,带宽也死死卡在物理极限上。

IBM 这次做出的关键突破,是业界首个公开展示并通过严苛制造测试的聚合物光波导(PWG)。他们把这种光波导做到 50 微米的间距,直接跟硅光芯片无缝耦合,而且完全兼容现有的标准芯片封装产线。

更夸张的是,他们已经在实验室里把这个间距进一步压缩到了 18 微米。如果把四层聚合物波导叠在一起,就能在极小的空间内塞进多达 128 个传输通道。IBM 表示,在芯片边缘的「岸线密度」上,这项技术能容纳的光纤数量是目前最先进 CPO 技术的整整 6 倍。

换算成实际性能,这种光学结构配合多波长传输,能把芯片之间的传输带宽拉高整整 80 倍。原本只能拉一米的服务器互连线,换成光之后可以轻松拉到几百米远,而且每根只有头发三倍粗的纤维就能跑每秒数 Tb 的数据。

三个月的训练,压缩到三周

带宽上去了,电费和时间却下来了。按照 IBM 论文里给出的测算数据,相比传统的中距离电互连,这套光学方案能把能耗砍掉 5 倍以上。

在模型训练上,原本需要跑 3 个月的大语言模型,换上 CPO 互连后可能 3 周就能跑完,整体训练速度最高能提速 5 倍。而且集群规模越大、GPU 越多,这种提升就越明显。

省下来的电量同样惊人。IBM 测算,光是训练一个标准大模型省下的电力,就相当于 5000 户美国家庭一整年的用电总和。

为了证明这套东西不是实验室里的易碎品,IBM 已经拉着它做完了全套工程应力测试。从零下 40 度一直烤到 125 度,再加上高湿度和反复的机械弯折,光路都没有断裂或丢包。

为什么重要

我们认为,IBM 这次展示的技术,切中的正是当前大模型军备竞赛最要命的两个死穴:算力集群的互连墙与电网承载力。

对于做大模型训练的基础设施团队来说,卡买得再多,通讯一旦卡死就是纯粹的浪费。如果这项技术能落地,意味着同样规模的算力集群能吐出成倍的吞吐量,原本几个月的研发周期能缩短到几周,中小团队租用集群的试错成本也会明显降低。

在行业层面,这看起来会直接加速光进铜退的节点到来。过去英伟达等巨头靠着 NVLink 和铜缆互连在机架内构筑了坚固的生态壁垒,但随着芯片功耗突破千瓦、机柜密度逼近极限,铜线的物理窗口期已经非常窄了。IBM 这套方案最大的聪明之处在于采用了聚合物波导和标准封装流程,如果能顺利向代工厂和芯片设计商授权,很可能会倒逼整个硬件供应链提前向 CPO 架构迁移。

不过,我们也要看到隐患。从实验室模块通过测试,到大规模量产并融入商业服务器,中间还有良品率、光器件长期衰减和整个散热体系重构的深坑要填。短期内普通开发者还摸不到这项红利,但数据中心底层通信从电到光的全面切换,看起来已经不可逆转了。

来源 (1)

  1. [1]
    thefastmode.com(在新标签页打开)原文thefastmode.com

每日 AI 内容精选