NVIDIA 推出 Chat with RTX：本地免费跑大模型，直接问答个人文档与视频
NVIDIA 推出免费技术 Demo「Chat with RTX」，用户可将本地文档或 YouTube 视频挂载给 Mistral、Llama 2 等开源大模型，直接在 PC 端离线对话。所有数据无需上传云端，隐私更有保障；硬件门槛为 GeForce RTX 30 Series GPU 或更高显卡，显存至少 8GB。
TensorRT-LLM
NVIDIA 开源 TensorRT-LLM：H100 推理吞吐翻 8 倍
NVIDIA 推出开源库 TensorRT-LLM，专为加速大语言模型推理设计。它引入动态组批与 FP8 精度，在 H100 上相比 A100 带来最高 8 倍吞吐提升，Llama 2 推理提速 4.6 倍。开发者通过 Python API 即可调用底层并行优化，大幅降低算力与电费支出。