TensorRT-LLM

제품소식 2개

2024년 2월 13일
오후 2:00AI 도구확산 지수 54
엔비디아, PC 로컬 챗봇 'Chat with RTX' 무료 공개: 내 문서·유튜브 영상으로 대화
엔비디아가 윈도우 PC에서 오프라인으로 맞춤형 챗봇을 구동할 수 있는 데모 'Chat with RTX'를 무료 배포했다. Mistral, Llama 2 등 오픈소스 LLM에 로컬 문서나 유튜브 링크를 연결해 빠르게 검색하고 대화할 수 있으며 데이터가 외부에 유출되지 않는다. 단, 8GB 이상 VRAM을 갖춘 GeForce RTX 30 Series GPU 이상이 필요하다.
2023년 9월 9일
오후 5:00오픈소스확산 지수 48
엔비디아 TensorRT-LLM 오픈소스 공개: H100 추론 최대 8배 향상
엔비디아가 거대언어모델 추론을 가속하는 오픈소스 라이브러리 TensorRT-LLM을 공개했다. 인플라이트 배칭과 FP8 양자화를 적용해 H100 GPU 환경에서 A100 대비 최대 8배의 처리량과 라마 2 4.6배 속도 향상을 기록했다. 개발자는 C++이나 CUDA 없이 파이썬 API로 병렬 처리를 제어하며 데이터센터 비용을 크게 절감할 수 있다.

#TensorRT-LLM