엔비디아, 100만 토큰 이상 AI 추론 가속하는 '루빈 CPX' 공개

고화질 영상을 생성하거나 수만 줄의 소프트웨어 코드를 AI에 통째로 읽히는 작업은 막대한 연산 비용을 소모합니다. 현장에서 실제로 발목을 잡는 것은 순수한 연산력 한계라기보다, 서로 다른 칩 사이에서 데이터를 주고받을 때 발생하는 병목과 전력 손실이었습니다.

엔비디아가 대규모 AI 추론 작업을 정조준한 신형 칩 시스템 '루빈 CPX'를 공개했습니다. 100만 개 이상의 토큰을 다루는 긴 문맥 처리를 빠르고 효율적으로 해결하는 것이 핵심입니다.

영상 처리와 추론을 단일 플랫폼으로 결합

지금까지 복잡한 AI 영상 생성 파이프라인은 여러 칩이 나누어 맡는 구조가 일반적이었습니다. 전용 칩이 영상을 디코딩하고, GPU가 모델 추론을 수행한 뒤, 다른 장치가 최종 결과물을 다시 인코딩하는 방식입니다.

이런 다중 칩 구조는 칩과 칩 사이에서 대량의 데이터를 계속 옮겨야 하므로 전체 처리 속도를 떨어뜨리고 시스템 비효율을 키우는 원인이 되었습니다.

루빈 CPX는 영상 디코딩과 인코딩, 모델 추론 기능을 단 하나의 플랫폼으로 통합해 이 문제를 정면으로 해결하려 합니다.

엔비디아는 이 시스템의 주요 활용처로 비디오 생성과 소프트웨어 코딩을 꼽았습니다. 두 작업 모두 시간당 최대 100만 토큰 수준의 방대한 데이터를 쉼 없이 처리해야 하는 대표적인 고부하 워크로드입니다.

분산되어 있던 미디어 파이프라인과 추론 단계를 하나로 모음으로써 칩 간 통신 손실을 없애고 장기 문맥 처리를 막힘없이 가속하는 원리입니다.

왜 중요한가

개발자와 기업 입장에서 100만 토큰 단위의 추론 비용은 서비스 상용화를 가로막는 가장 큰 현실적 장벽입니다. 코드베이스 전체를 실시간으로 탐색하거나 긴 호흡의 비디오를 생성할 때 인프라를 단순화할 수 있다면 운영 비용과 지연 시간을 크게 줄일 수 있습니다.

산업 전반으로 보면 하드웨어 경쟁의 초점이 모델 학습을 넘어 고처리량 추론 단계로 빠르게 이동하고 있음을 보여줍니다. 단순한 AI 가속기 경쟁을 넘어, 실제 멀티모달 서비스에서 가장 병목이 심한 미디어 인코딩과 디코딩까지 추론 칩 안으로 끌어들였다는 점은 영리한 접근으로 보입니다.

여러 단계로 쪼개져 있던 파이프라인을 한 칩 시스템에 모은 판단은 대단히 실용적입니다. 다만 이 통합 아키텍처가 실제로 고객의 인프라 비용을 얼마나 유의미하게 덜어줄 수 있을지는 향후 양산 제품의 실제 전력 대 성능비와 도입 가격에 달려 있습니다.