스탠퍼드와 스카이워터, AI '메모리 벽' 깰 단일체 3D 칩 시제품 제작

현대 AI 시스템의 발목을 잡는 가장 큰 문제는 연산 속도가 아니라 칩 내부의 데이터 병목 현상입니다. 연산 장치가 아무리 빨라도 메모리에서 데이터를 제때 공급하지 못하는 이른바 ‘메모리 벽’ 때문입니다.

스탠퍼드대, 카네기멜런대, 펜실베이니아대, MIT 공동 연구진은 미국 순수 파운드리 기업인 스카이워터 테크놀로지와 손잡고 미국 내 상업용 팹에서 생산된 최초의 모놀리식 3D 칩을 개발했습니다. 이 연구 결과는 제71회 IEEE 국제전자소자학회(IEDM)에서 공개되었습니다.

칩을 넓히지 않고 수직으로 쌓아 올리다

기존 2D 칩은 단일 평면 위에 연산 장치와 메모리를 배치합니다. 데이터가 오가는 통로가 길고 혼잡해 챗GPT나 클로드 같은 거대 모델을 돌릴 때 지연이 발생할 수밖에 없습니다.

기존 3D 칩 시도는 대부분 별도로 제작된 칩들을 위아래로 붙이는 방식이었습니다. 하지만 이 방식은 층 사이의 물리적 연결이 듬성듬성해 여전히 병목을 완전히 해소하기 어려웠습니다.

연구진은 하부 회로가 손상되지 않는 저온 공정을 적용해, 하나의 칩 위에 다음 회로 층을 직접 연속해서 형성하는 ‘모놀리식’ 방식을 사용했습니다. 그 결과 역대 최고 밀도의 수직 배선망을 구축했습니다. 연구진은 이를 도시 구조에 비유해 평면으로 넓게 퍼지는 대신 고밀도 고층 빌딩을 짓는 ‘컴퓨팅의 맨해튼’을 구현했다고 설명했습니다.

LLaMA 구동 시 최대 12배 성능 향상

초기 하드웨어 테스트 결과, 프로토타입 칩은 기존 2D 칩 대비 약 4배 높은 성능을 보였습니다.

더 많은 층을 쌓은 미래 설계를 시뮬레이션한 결과, 메타의 오픈소스 모델인 LLaMA 기반 AI 워크로드에서 최대 12배의 성능 향상을 기록했습니다. 속도와 전력 효율을 함께 평가하는 핵심 지표인 에너지 지연 곱(EDP) 측면에서는 100배에서 1000배까지 개선될 수 있는 가능성을 확인했습니다.

무엇보다 이 칩이 대학 연구실의 실험 장비가 아니라, 미네소타주 블루밍턴에 위치한 스카이워터의 실제 상업용 파운드리 라인에서 전량 생산되었다는 점이 주목을 받았습니다.

왜 중요한가

미세 공정을 통한 트랜지스터 축소가 물리적 한계에 부딪히면서, 엔비디아를 비롯한 반도체 업계는 TSMC의 CoWoS 같은 고급 패키징을 통해 칩을 이어 붙이는 데 집중해 왔습니다. 하지만 이 방식은 공급 제약과 높은 비용이 늘 걸림돌이었습니다.

이번 연구가 영리한 점은 별도의 복잡한 패키징 과정에 의존하지 않고, 단일 제조 공정 안에서 메모리와 연산 회로를 극도로 좁은 간격으로 수직 적층했다는 데 있습니다. 상용화에 성공한다면 전력 소모를 획기적으로 줄여야 하는 온디바이스 AI 기기나 대규모 데이터센터 가속기에 매력적인 대안이 될 수 있습니다.

다만 당장 장밋빛 미래만 기대하기는 어렵다고 봅니다. 수직으로 빽빽하게 적층된 칩 내부에서 발생하는 열을 어떻게 효율적으로 방출할 것인지, 양산 시 수율을 상업적 수준으로 유지할 수 있는지는 아직 검증되지 않았기 때문입니다. 그럼에도 학계의 개념 증명을 넘어 미국 내 상업용 팹에서 실제로 구현해 냈다는 사실은 차세대 하드웨어 경쟁의 중요한 전환점을 보여줍니다.