상하이교통대·칭화대, 엔비디아보다 100배 빠른 광학 AI 칩 ‘LightGen’ 공개

AI로 이미지 몇 장을 만드는 데 들어가는 전력은 생각보다 훨씬 막대합니다. 2023년 한 연구에 따르면 최신 모델로 이미지 천 장을 생성할 때 발생하는 탄소 배출량은 내연기관 차를 4마일 넘게 운전하는 것과 맞먹습니다.

전기 대신 빛으로 연산하는 광 컴퓨팅이 에너지 절감의 대안으로 꼽혀 왔지만, 지금까지는 단순한 이미지 분류나 텍스트 작업에 머물러 있었습니다. 이번에 중국 상하이교통대와 칭화대 연구진이 복잡한 생성형 AI 작업을 직접 처리하는 전광학 칩 LightGen을 개발해 국제 학술지 사이언스에 공개했습니다.

연구진에 따르면 이 칩은 영상 및 이미지 생성 작업에서 엔비디아의 A100 GPU보다 100배 이상 빠른 속도와 에너지 효율을 기록했습니다.

손톱만 한 칩에 인공 신경망 200만 개 집적

생성형 모델을 구동하려면 수많은 파라미터가 필요한데, 기존 광학 칩은 인공 뉴런 집적도가 수천 개 수준에 불과했습니다.

연구진은 3D 패키징 기술을 도입해 4분의 1제곱인치 크기의 소자에 200만 개 이상의 인공 신경망을 집적했습니다.

그 결과 칩이 512x512 픽셀 해상도의 이미지를 통째로 처리할 수 있게 됐습니다. 과거 광학 칩처럼 고해상도 이미지를 조각조각 잘라내 처리할 필요가 없어지면서, 이미지 전체 영역 간의 유기적 상관관계를 그대로 보존할 수 있게 된 셈입니다.

빛 자체로 압축해 구현한 광학 잠재 공간

생성형 모델은 고차원 데이터를 핵심 특징만 남긴 잠재 공간으로 압축한 뒤 결과물을 만들어냅니다.

LightGen은 이 과정을 모두 빛으로 구현했습니다. 빛을 제어하는 초표면 메타표면으로 구성된 광학 인코더에 이미지를 통과시켜 광섬유 배열로 전달하면, 고차원 데이터가 자연스럽게 걸러지며 광섬유 내에 광학 잠재 공간이 형성됩니다.

반대편에 있는 교체 가능한 메타표면은 이 잠재 공간의 데이터를 읽어 고해상도 이미지로 복원합니다. 새로운 학습 기법까지 더해져 고해상도 동물 이미지 생성뿐 아니라 화풍 변환, 2D 이미지의 3D 모델 변환까지 성공적으로 수행했습니다.

다만 상용화까지는 갈 길이 멉니다. 빛 신호를 만들기 위해 연구실 수준의 부피가 큰 레이저와 공간 광 변조기가 필요하며, 메타표면 소자 역시 일반 반도체 파운드리에서는 생산하기 어려운 특수 공정을 거쳐야 합니다.

왜 중요한가

우리는 LightGen이 광 컴퓨팅의 역할을 단순 보조 장치에서 생성형 AI의 독립 연산 장치로 끌어올린 중요한 이정표라고 봅니다.

빛 신호를 전기로 다시 바꾸는 비효율적인 단계를 건너뛰고, 잠재 공간 연산까지 빛 안에서 완전히 끝내도록 설계한 점은 대단히 영리한 접근입니다.

그러나 주변 광학 장비가 여전히 거대하고 제조 공정이 표준화되지 않았다는 점은 분명한 한계입니다. 칩 자체의 성능과 별개로 실제 데이터센터 랙에 꽂아 쓸 수 있는 시스템 수준의 소형화가 이뤄지지 않는다면 실험실 연구에 머무를 위험이 있습니다.

현재 일반 개발자나 기업이 당장 쓸 수 있는 대안은 아니지만, 엔비디아 중심의 전자식 칩 생태계가 맞닥뜨린 전력과 발열의 벽을 넘을 수 있는 유력한 차세대 방향성을 제시했다는 점에서 주목할 가치가 충분합니다.