세미애널리시스 분석: 구글 제미나이 연산량, 연내 GPT-4의 5배 전망

모두가 오픈AI와 마이크로소프트의 행보에 주목하는 사이, 가장 막강한 연산 자원을 쥐고 있는 거인이 본격적으로 움직이기 시작했습니다.

반도체 전문 분석 기관 세미애널리시스(SemiAnalysis)는 최근 보고서를 통해 구글이 차세대 모델 '제미나이(Gemini)' 훈련에 막대한 자원을 쏟아붓고 있다고 분석했습니다. 보고서에 따르면 제미나이의 사전학습 연산량(FLOPS)은 올해 말까지 GPT-4의 5배에 달할 전망이며, 현재 인프라 구축 속도대로라면 내년 말에는 20배까지 격차가 벌어질 수 있습니다.

그동안 구글이 챗봇 경쟁에서 뒤처졌다는 평가가 지배적이었지만, 하드웨어 연산 인프라 차원에서 보면 판도가 전혀 다르다는 지적입니다.

실리콘밸리의 새로운 계급: GPU 부자와 GPU 빈곤층

보고서는 AI 업계를 'GPU 부자(GPU-Rich)'와 'GPU 빈곤층(GPU-Poor)'으로 냉정하게 나누어 설명합니다.

부자 클럽에 속하는 곳은 오픈AI, 구글, 앤스로픽, 메타, 인플렉션, X 등 극소수 빅테크뿐입니다. 이들은 2만 장 이상의 A100 또는 H100 GPU를 보유하고 있으며, 샌프란시스코 베이 지역에서는 연구원들이 다룰 수 있는 GPU 수량이 이직을 결정하는 핵심 잣대가 되고 있습니다.

반면 대다수 스타트업과 오픈소스 진영은 GPU 빈곤층으로 분류됩니다. 세미애널리시스는 이들이 부족한 VRAM을 쥐어짜며 공개 리더보드 점수 놀이에 매달리는 비효율적인 경쟁에 빠져 있다고 꼬집었습니다.

실제 산업 현장에 필요한 MoE(전문가 혼합) 구조나 추측 디코딩(Speculative Decoding), 수조 토큰 단위의 고품질 데이터 정제 대신, 거대 모델의 답변을 흉내 내는 소형 모델을 깎는 데 아까운 시간을 낭비하고 있다는 분석입니다. 허깅페이스나 투게더, 데이터브릭스 같은 대표 기업들조차 보유한 연산 자원 대비 고객 수요와 연구 역량을 감당하기에는 역부족인 상황입니다.

엔비디아 독주를 멈출 유일한 대항마

현재 수많은 스타트업과 빅테크가 쏟아붓는 자금은 결국 엔비디아의 금고로 직행하고 있습니다. 심지어 엔비디아는 자체 DGX 클라우드를 앞세워 엔터프라이즈 시장까지 직접 흡수하는 중입니다.

세미애널리시스는 이 구도를 깰 수 있는 유일한 주자로 구글을 꼽습니다.

구글은 엔비디아 생태계에 전적으로 목을 맬 필요가 없기 때문입니다. 구글은 방대한 GPU 외에도 코드명 바이퍼피시(Viperfish)로 알려진 자체 차세대 칩 TPUv5를 대대적으로 증설하고 있습니다. 기존 TPUv4나 추론용 TPUv5e를 제외하더라도, 순수 TPUv5 증설 속도만으로 경쟁사들을 압도하는 연산 장벽을 쌓고 있습니다.

왜 중요한가

이 보고서는 오픈소스 진영이 순수한 열정만으로 폐쇄형 빅테크를 쉽게 따라잡을 수 있다는 환상을 깨뜨립니다. 초거대 AI 모델 개발은 철저히 자본과 인프라가 승패를 가르는 중공업의 영역으로 진입했습니다.

따라서 일반 기업과 개발자들은 기초 모델을 밑바닥부터 자체 구축하겠다는 환상을 버릴 필요가 있습니다. 한정된 연산 자원을 쥐고 있다면 벤치마크용 모델 튜닝에 매달릴 것이 아니라, 추측 디코딩이나 온디바이스 저지연 추론처럼 실질적인 가치를 내는 엔지니어링에 집중하는 편이 훨씬 현실적입니다.

관건은 구글의 실행력입니다. GPT-4 대비 5배, 20배에 달하는 연산력이 모델 성능으로 고스란히 이어진다면 판도는 단번에 뒤집힐 수 있습니다. 다만 우리는 구글의 발목을 잡는 것이 인프라가 아니라 늘 내부의 망설임이었다고 봅니다. 기존 검색 수익을 지키기 위해 창의성을 검열하거나 출시를 주저한다면, 그 압도적인 연산량도 결국 서버실을 데우는 비싼 난로에 그칠 뿐입니다.