Etched, 트랜스포머 전용 AI 칩 'Sohu' 공개: H100 대비 20배 성능 주장

만약 내일 당장 인공지능 연구진이 트랜스포머보다 뛰어난 새 아키텍처를 발견한다면, 이 회사가 만드는 칩은 순식간에 쓸모없는 고철이 될 수도 있습니다.

하지만 실리콘밸리의 투자자들은 이 극단적인 도박에 베팅했습니다. 2년 차 AI 하드웨어 스타트업 Etched는 Primary Venture Partners와 Positive Sum Ventures가 주도한 시리즈 A 라운드에서 1억 2,000만 달러 규모의 투자를 유치했다고 밝혔습니다. 이들이 개발 중인 칩의 이름은 '소후(Sohu)'로, 오직 트랜스포머 아키텍처만을 처리하도록 설계된 전용 반도체(ASIC)입니다.

트랜스포머를 실리콘에 박아 넣는 극단적 선택

엔비디아의 GPU가 생성형 AI 시장을 장악하고 있지만, GPU는 본질적으로 범용 프로세서입니다. 언어 모델뿐 아니라 합성곱 신경망(CNN)이나 상태 공간 모델(SSM) 등 온갖 구조의 인공지능을 두루 처리할 수 있는 유연성을 갖추고 있습니다.

Etched는 바로 이 유연성이 추론 단계에서는 엄청난 낭비라고 지적합니다. 로버트 와첸(Robert Wachen) 최고운영책임자(COO)는 해외 매체와의 인터뷰에서 트랜스포머 아키텍처를 실리콘에 직접 고정해 버리는 대가를 치르면 차원이 다른 성능을 얻을 수 있다고 주장했습니다. Etched 측은 소후 칩이 엔비디아의 H100 대비 최대 20배에 달하는 성능을 낼 수 있다고 내세웁니다.

제시된 수치는 파격적입니다. Llama 70B 모델을 구동할 때 초당 50만 토큰을 처리할 수 있으며, 소후 칩 8개가 탑재된 단일 서버가 H100 160대를 대체할 수 있다는 주장입니다.

비결은 초대형 배치(Batch) 처리에 있습니다. 수백만 명의 사용자가 동시에 질문을 던지는 챗봇 환경에서, 기존 GPU는 동시 처리 배치 크기를 32에서 64로만 올려도 심각한 성능 저하를 겪기 일쑤입니다. 하지만 소후는 성능 저하 없이 수천 단위의 배치를 한 번에 처리할 수 있다는 설명입니다.

아직 테이프아웃도 안 된 현실과 대역폭의 한계

하지만 이 매력적인 주장들은 어디까지나 서류와 FPGA 시뮬레이션 위에만 존재합니다. 소후는 아직 생산을 위한 테이프아웃(Tape-out)도 거치지 않은 상태입니다. 첫 실물 칩이 시장에 나오기까지는 2년 가까운 시간이 걸릴 것으로 보입니다.

하드웨어 스펙상의 약점도 뚜렷합니다. 대규모 언어 모델 추론의 핵심 병목은 연산력보다 메모리 대역폭과 용량인데, 소후는 144GB HBM3 메모리를 탑재해 최대 대역폭이 4TB/s 수준으로 추정됩니다. 이는 엔비디아 H200이나 블랙웰, AMD MI300X와 비교해 확실히 뒤처지는 수준입니다.

더욱이 배치 크기를 수천 단위로 키우면 키-값(KV) 캐시가 엄청난 메모리를 집어삼키게 됩니다. 8칩 시스템의 전체 메모리가 약 1.1TB에 불과하다는 점을 감안하면, 실제로 얼마나 큰 모델을 온전히 수용할 수 있을지는 미지수입니다.

왜 중요한가

우리는 Etched의 시도가 현재 AI 업계가 직면한 가장 아픈 문제인 '추론 비용 폭탄'을 정면으로 겨냥하고 있다고 봅니다. 생성형 AI가 실제 비즈니스로 작동하려면 비싼 범용 GPU로 수억 건의 쿼리를 감당하는 구조에서 벗어나야 합니다. 소후의 동시 처리 능력이 사실로 입증된다면 대형 플랫폼 운영사들에게는 강력한 비용 절감 카드가 될 수 있습니다.

그러나 뒤가 없는 올인 전략이라는 점은 치명적인 위험 요소입니다. 오직 한 가지 작업만 하도록 굳혀진 ASIC은 알고리즘의 유행이 바뀌면 재활용할 방법이 없습니다. 칩이 완성되기까지 걸리는 2년이라는 시간 동안 트랜스포머를 대체할 새로운 아키텍처가 부상할 가능성을 배제하기 어렵다는 점이 가장 큰 불안 요소입니다.