NVIDIA 推出 Chat with RTX：本地免費跑大模型，直接問答個人文件與影片
NVIDIA 推出免費技術 Demo「Chat with RTX」，使用者可將本地文件或 YouTube 影片掛載給 Mistral、Llama 2 等開源大模型，直接在 PC 端離線對話。所有資料無需上傳雲端，隱私更有保障；硬體門檻為 GeForce RTX 30 Series GPU 或更高顯示卡，視訊記憶體至少 8GB。
TensorRT-LLM
NVIDIA 開源 TensorRT-LLM：H100 推理吞吐翻 8 倍
NVIDIA 推出開源庫 TensorRT-LLM，專為加速大語言模型推理設計。它引入動態組批與 FP8 精度，在 H100 上相比 A100 帶來最高 8 倍吞吐提升，Llama 2 推理提速 4.6 倍。開發者通過 Python API 即可呼叫底層並行最佳化，大幅降低算力與電費支出。