Taalas HC1 공개: Llama 모델 하드웨어 직접 각인으로 초당 17,000 토큰 달성

화면에 한 글자씩 타이핑되듯 출력되는 AI 답변을 기다리는 일이 조만간 옛날 일이 될지도 모릅니다.

AI 칩 스타트업 Taalas가 오픈소스 대형 언어 모델인 Llama 3.1 8B를 실리콘 웨이퍼에 직접 각인한 전용 가속 칩 HC1을 선보였습니다. 소프트웨어 코드로 돌아가던 신경망 자체를 하드웨어 회로로 만들어 버린 것입니다.

성능 수치는 눈을 의심케 합니다. 초당 출력 속도가 최대 17,000 토큰에 달합니다. 엔비디아의 최상위 가속기 B200 대비 약 40배 빠르고, Cerebras나 Groq 같은 전용 가속기마저 가볍게 제칩니다. 게다가 제작 비용은 20분의 1, 전력 소비는 10분의 1 수준이라고 밝혔습니다.

메모리 병목을 없앤 연산과 저장의 결합

기존 GPU 시스템에서 거대 언어 모델 추론 속도를 갉아먹는 주범은 연산력이 아니라 메모리 대역폭이었습니다. 메모리와 연산 유닛이 분리되어 있어, 가중치 데이터를 쉼 없이 주고받는 과정에서 지연과 전력 낭비가 발생했습니다.

Taalas는 DRAM 수준의 밀도로 메모리와 연산을 단일 칩에 통합하는 방식으로 이를 해결했습니다. TSMC의 6nm 공정으로 생산되며, 칩 면적은 815 제곱밀리미터, 트랜지스터 수는 530억 개에 이릅니다. 다만 2.5kW급 서버 랙을 타깃으로 설계된 만큼 당장 로봇이나 소형 기기에 직접 넣을 수 있는 크기는 아닙니다.

생각의 속도로 나오는 출력과 그에 따른 제약

공개된 웹 데모에서 성능은 단연 독보적입니다. 단순 질문은 초당 20,000 토큰 가까이 치솟고, 일반적인 질의응답도 15,000에서 16,000 토큰 안팎을 유지합니다. 14개 장으로 구성된 책의 목차와 개요를 뽑아내는 데 걸린 시간은 고작 0.064초였습니다.

그러나 성능을 극한으로 끌어올린 대가는 명확합니다. Llama 3.1 8B가 아예 하드웨어로 박혀 있어 DeepSeek이나 Qwen 등 다른 모델을 교체해 실행하는 것은 불가능합니다. 컨텍스트 윈도우 크기를 조절하거나 LoRA를 통한 미세조정은 지원하지만, 베이스 모델 자체는 바꿀 수 없습니다. 8B 모델의 지능적 한계로 인한 환각 문제도 여전히 감안해야 합니다.

회사 측은 2분기에 HC1 기반의 중형 추론 모델용 칩을 추가 공개하고, 연말에는 차세대 HC2 실리콘 플랫폼 배포를 시작할 예정입니다.

왜 중요한가

실시간 음성 비서나 고속 연동 시스템을 구축하는 개발자에게 추론 지연 시간이 사라진다는 것은 사용자 경험의 차원을 바꾸는 일입니다. 모델의 출력이 인간의 사고 속도를 앞서가면 대화의 맥이 끊기는 느낌 자체가 사라집니다.

산업적 측면에서는 엔비디아가 장악한 범용 GPU 생태계에 완전히 대척점에 선 ASIC 극단화 모델을 제시했습니다. 모델 구조가 수시로 바뀌는 시장에서 하드웨어를 통째로 굳혀버리는 것은 상용화 시점의 진부화라는 치명적인 위험을 안고 있습니다.

그럼에도 불구하고 우리는 Taalas의 방식이 특정 영역에서는 매우 강력한 파괴력을 가질 것으로 봅니다. 이미 검증된 경량 오픈소스 모델을 수억 건씩 서빙해야 하는 대형 서비스 환경이라면, 범용 GPU 서버 수십 대를 이 전용 칩으로 대체해 운영비와 전력 비용을 극적으로 절감할 수 있기 때문입니다.