【工具】个人电脑上可以安装使用的AI工具:Chat With RTX
2024-2-18 01:31:57 Author: mp.weixin.qq.com(查看原文) 阅读量:9 收藏

2024年1月13日,英伟达公司发布了一个可以免费下载,并且在个人电脑上使用的AI工具:Chat With RTX

该工具的发布,让每个PC用户都有机会基于个人电脑使用AI而不是必须联网才能使用AI。这对于广大情报分析师来说绝对是一个极大的利好。


世界各地每天有数百万人使用聊天机器人,都是基于云服务器提供的支持。现在,这些英伟达提供的突破性的工具Chat With RTX将支持在Windows PC 实现本地、快速、自定义的生成 AI

Chat with RTX是一个技术演示,现已支持免费下载,可让用户使用自己的内容个性化聊天机器人,前提是您的电脑安装的是NVIDIA GeForce RTX 30 系列 GPU或更高版本(具有至少 8GB 视频随机存取存储器或 VRAM)加速。

Chat with RTX下载地址:

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/

Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速,为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型,从而能够快速查询上下文相关的答案。

用户只需键入查询即可,而无需搜索笔记或保存的内容。Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。

该工具支持各种文件格式,包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹,该工具将在几秒钟内将它们加载到其库中。

用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如,根据最喜欢的视频的内容询问旅行建议,或根据顶级教育资源获取快速教程和操作方法。

由于Chat with RTX在Windows RTX pc和工作站上本地运行,因此提供的结果很快-并且用户的数据保留在设备上。与依赖基于云的LLM服务不同,Chat with RTX让用户在本地PC上处理敏感数据,而无需与第三方共享或连接互联网。

注意1:除了具有至少8GB VRAM的GeForce RTX 30系列GPU或更高版本外,Chat with RTX需要Windows 10或11以及最新的NVIDIA GPU驱动程序535.11 或更高版本。内存至少16G。 

注意2: Chat with RTX 中存在一个问题,当用户选择不同的安装目录时,该问题会导致安装失败。目前,用户应使用默认安装目录(“C:\Users\<用户名>\AppData\Local\NVIDIA\ChatWithRTX”)。

注意3: Chat with RTX显示了使用RTX gpu加速llm的潜力。该应用程序是由TensorRT-LLM RAG开发人员参考项目构建的,可在GitHub上获得。开发人员可以使用参考项目开发和部署他们自己的基于rag的RTX应用程序,由TensorRT-LLM加速。

GitHub链接地址:

https://github.com/NVIDIA/trt-llm-rag-windows

长按识别下面的二维码可加入星球
里面已有万余篇资料可供下载
越早加入越便宜
续费五折优惠

点击下面阅读原文可直接进入Chat With RTX下载


文章来源: https://mp.weixin.qq.com/s?__biz=MzI2MTE0NTE3Mw==&mid=2651142239&idx=1&sn=e90c790b8c1501e60733b936f624a9fd&chksm=f1af4f65c6d8c673ce0b700a606f5aa96ca902ec2bec69bd54bc24148e7316784b15ba7d56df&scene=58&subscene=0#rd
如有侵权请联系:admin#unsafe.sh