IBM, 광학 CPO 기술 돌파구 마련…AI 모델 훈련 5배 단축

대규모 AI 모델을 훈련할 때 가장 뼈아픈 문제는 GPU 부족이 아니라, 비싸게 들여놓은 GPU가 절반 이상의 시간을 그저 데이터를 기다리며 놀고 있다는 점입니다. 거대한 분산 클러스터에서 칩들은 연산 자체보다 구리선을 통해 다른 장치에서 넘어오는 데이터를 기다리는 데 막대한 시간과 전력을 낭비해 왔습니다.

IBM이 이 통신 병목을 해결하기 위해 빛으로 칩을 연결하는 새로운 연구 성과를 공개했습니다. 차세대 패키징 기술인 CPO(공동 패키징 광학)에 폴리머 광도파로(PWG)를 접목해, 데이터센터 내부의 구리 전선을 광 연결로 대체하는 프로토타입을 선보였습니다.

칩 사이를 빛의 속도로 연결하는 고밀도 광도파로

데이터센터 외부망은 이미 광섬유가 장악했지만, 정작 서버 랙 내부의 칩과 기판 사이는 여전히 구리 기반 전기 배선이 지배하고 있습니다. 문제는 구리선이 1미터만 넘어가도 신호 감쇠와 발열이 극심해져 대역폭을 늘리기 어렵다는 점입니다.

IBM 연구진은 50마이크로미터 피치의 폴리머 광도파로 모듈을 표준 패키징 공정으로 조립해 실리콘 포토닉스 칩과 결합했습니다. 연구실 환경에서는 이를 18마이크로미터 피치까지 줄였으며, 4층으로 쌓아 올릴 경우 128개 채널을 초소형 공간에 집적할 수 있습니다.

이를 통해 칩 가장자리에 배치할 수 있는 광섬유 밀도를 기존 최첨단 CPO 기술 대비 6배나 끌어올렸습니다. 여러 파장의 빛을 동시에 전송하는 기술과 결합하면 칩 간 대역폭은 기존 전기 연결보다 최대 80배까지 늘어납니다. 연결 거리 또한 기존 1미터 수준에서 수백 미터까지 확장됩니다.

상용화를 위한 내구성도 검증했습니다. 영하 40도에서 영상 125도에 이르는 극한의 온도 변화와 고습도 환경, 케이블을 구부리는 기계적 스트레스 테스트를 모두 통과했습니다.

3개월 걸리던 AI 훈련을 3주 만에 끝낸다

통신 속도가 빨라지면서 에너지와 시간 소모는 획기적으로 줄어듭니다. IBM 논문에 따르면 기존 중거리 구리 연결 대비 인터커넥트 에너지 소비를 5배 이상 낮출 수 있습니다.

거대언어모델(LLM) 훈련 속도는 최대 5배 빨라져, 통상 3개월이 걸리던 대규모 모델 학습을 단 3주 만에 끝낼 수 있다는 설명입니다. IBM은 단 하나의 AI 모델을 훈련할 때 절감되는 전력량이 미국 5천 가구의 1년 치 전력 소비량과 맞먹는다고 밝혔습니다.

왜 중요한가

우리는 이번 발표가 AI 인프라의 양대 난제인 데이터 전송 병목과 전력 부족 문제를 정조준하고 있다는 점에서 매우 중요하다고 봅니다.

AI 모델을 개발하는 기업 입장에서 GPU 통신 대기 시간을 줄이는 것은 곧 천문학적인 비용 절감을 의미합니다. 몇 달씩 걸리던 실험 주기가 몇 주 단위로 줄어들면 연구 개발 속도는 비약적으로 빨라지며, 클러스터 대여 비용도 크게 낮출 수 있습니다. 당장 개인이 구매할 수 있는 기술은 아니지만, 클라우드 인프라의 가성비 개선으로 이어질 수 있습니다.

산업 측면에서는 데이터센터 내부의 구리선 퇴출을 크게 앞당기는 신호탄으로 보입니다. 엔비디아를 비롯한 빅테크들이 구리 기반 랙 인터커넥트를 한계까지 밀어붙여 왔지만, 칩당 소비전력이 1,000W를 넘나드는 현시점에서 물리적 한계는 눈앞에 와 있습니다. IBM이 값비싼 특수 공정 대신 표준 패키징 라인과 폴리머 광도파로를 택한 점은 상용화 문턱을 낮추려는 매우 영리한 접근입니다.

다만 연구실 프로토타입의 테스트 통과와 실제 대량 양산에서의 수율 확보는 완전히 다른 문제입니다. 엄청난 열을 뿜어내는 AI 가속기 바로 옆에 광학 소자를 안정적으로 배치하는 열 관리 문제도 여전히 숙제로 남아 있습니다. 그럼에도 데이터센터 내부 통신이 구리에서 빛으로 전환되는 것은 이제 거스를 수 없는 필연에 가깝습니다.