官网：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

英伟达近日推出了一款名为“Chat With RTX”的聊天应用，专为Windows个人电脑设计。这款应用由TensorRT-LLM技术驱动，允许用户在不联网的情况下与聊天机器人进行互动。适用于该应用的硬件包括所有配备至少8GB显存的GeForce RTX 30系列和40系列显卡。

“Chat With RTX”具备处理多种文件类型的能力，如文本、PDF、Word文档（doc/docx）和XML。用户只需将文件存放在指定文件夹，应用便能在数秒内完成加载。此外，用户还可以输入YouTube播放列表的链接，应用会抓取列表中视频的字幕内容，供用户查询。根据官方介绍，用户可以像使用ChatGPT那样与“Chat with RTX”进行交流，但生成的内容将基于特定的数据集，这使得它在生成摘要和快速检索文档方面表现出色。拥有支持TensorRT-LLM的RTX GPU的用户可以在本地处理所有数据和项目，无需依赖云端存储，这不仅节省了时间，还能提供更精确的搜索结果。英伟达还宣布，TensorRT-LLM v0.6.0版本将带来5倍性能提升，预计将在本月晚些时候发布。同时，该版本还将支持其他大型语言模型，如Mistral 7B和Nemotron 3 8B。需要注意的是demo的压缩包有35g，需要提前预留空间哦

尽管Chat With RTX并非英伟达自己研发的大语言模型（LLM），但它背后所依靠的Mistral和Llama 2两款开源LLM却颇具实力。用户可以根据喜好自行选择使用哪款LLM。

值得一提的是，Chat With RTX还具有根据在线视频做回答的功能。用户只需将视频链接提供给Chat With RTX，它便能迅速根据视频内容生成答案，为用户带来全新的聊天体验。