如何在 RTX AI PC 和工作站上免费运行编程助手
副标题:AI 赋能的编程助手为从学术项目到生产代码的各种项目提供实时协助,并针对 RTX AI PC 进行了优化。
编程助手 (AI 赋能的助手,可以建议、解释和调试代码) 正在从根本上改变经验丰富的开发者和新手开发者开发软件的方式。
经验丰富的开发者利用这些助手来专注于复杂的编程任务,减少重复性工作,并更快地探索新想法。新手程序员 (如学生和 AI 爱好者) 也可以受益于编程助手,这些助手可描述不同的实现方法或解释一段代码的功能和原理,从而加速学习。
编程助手可以在云环境或本地运行。基于云的编程助手可以在任何地方运行,但存在一些限制,并且需要订阅。本地编程助手不存在这些问题,但需要高性能硬件才能良好运行。
NVIDIA GeForce RTX GPU 可提供高效运行本地助手所需的硬件加速。
代码,遇上生成式 AI
传统软件开发包括许多单调乏味的任务,例如审阅文档、研究示例、设置模板代码、编写符合适当语法的代码、追踪错误和记录功能。这些任务是必不可少的,但可能会占用解决问题和设计软件的时间。编程助手有助于简化这些步骤。
许多 AI 助手与流行的集成开发环境 (IDE) (如 Microsoft Visual Studio Code 或 JetBrains 的 Pycharm) 相联,将 AI 支持直接嵌入到现有工作流中。
运行编程助手有两种方式:在云端或在本地。
基于云的编程助手需要将源代码发送到外部服务器,然后才能返回结果。这种方法可能会产生延迟,并施加使用配额。一些开发者更喜欢将代码保留在本地,特别是在处理敏感或私有项目时。此外,许多基于云的助手需要付费订阅才能解锁完整功能,这对于学生、业余爱好者和需要控制成本的团队来说可能是一个障碍。
编程助手在本地环境中运行,可免费提供以下功能:
在 RTX 上本地运行的编程助手具有众多优势。
开始使用本地编程助手
可以轻松在本地运行编程助手的工具包括:
●Continue.dev — VS Code IDE 的开源扩展,通过 Ollama、LM Studio 或自定义端点连接到本地大语言模型 (LLM)。该工具只需极少设置即可提供编辑器内聊天、自动补全和调试辅助。通过 Ollama 后端进行本地 RTX 加速,开始使用 Continue.dev。
●Tabby — 一款安全透明的编程助手,兼容多种 IDE,能够在 NVIDIA RTX GPU 上运行 AI。该工具提供代码补全、问答、行内交互编程等功能。在 NVIDIA RTX AI PC 上开始使用 Tabby。
●OpenInterpreter — 实验性但快速发展的界面,将 LLM 与命令行访问、文件编辑和代理任务执行相结合。是开发者执行自动化任务和 DevOps 式任务的理想选择。在 NVIDIA RTX AI PC 上开始使用 OpenInterpreter。
●LM Studio — 一款基于图形用户界面的本地 LLM 运行工具,提供聊天、上下文窗口管理和系统提示词。最适合在 IDE 部署之前以交互方式测试编程模型。在 NVIDIA RTX AI PC 上开始使用 LM Studio。
●Ollama — 一款本地 AI 模型推理引擎,能够对 Code Llama、StarCoder2 和 DeepSeek 等模型进行快速、私密的推理。它与 Continue.dev 等工具无缝集成。
这些工具支持通过 Ollama 或 llama.cpp 等框架提供的模型,并且许多工具现已针对 GeForce RTX 和 NVIDIA RTX PRO GPU 进行了优化。
了解 AI 辅助学习在 RTX 上的实际效果
Continue.dev 在一台搭载 GeForce RTX 的 PC 上运行,与 Gemma 12B Code LLM 配合使用,帮助解释现有代码、探索搜索算法和调试问题 — 全部都在本地完成。该助手就像一个虚拟助教,提供通俗易懂的指导、上下文感知的解释、行内注释以及针对用户项目量身定制的代码改进建议。
该工作流凸显了本地加速的优势:助手始终可用、即时响应并提供个性化支持,同时确保代码在设备上的私密性,使学习体验身临其境。
这种响应速度归功于 GPU 加速。Gemma 12B 这样的模型对计算的需求很高,特别是处理长提示词或跨多个文件工作时。在没有 GPU 的情况下,在本地运行这些模型可能会感觉很慢,即使是简单的任务也是如此。有了 RTX GPU,Tensor Core 直接在设备上加速推理,因此助手速度快、响应灵敏,能够跟上即时的开发工作流。
基于 Meta Llama 3.1-8B 模型运行的编程助手,在搭载 RTX 的笔记本电脑上的吞吐量比在 CPU 上快 5-6 倍。测试的数据是在 BS = 1、ISL / OSL = 2000/100、Llama-3.1-8B 模型量化为 int4 的情况下,每秒平均 Token 数。
无论是用于学术工作、编程训练营,还是个人项目,RTX AI PC 都能让开发者通过 AI 赋能的工具更快地构建、学习和迭代。
对于刚入门的用户,特别是正在培养技能或尝试生成式 AI 的学生,NVIDIA GeForce RTX 50 系列笔记本电脑采用专业 AI 技术,可独自胜任学习、创作和游戏的热门应用的加速。
加入 NVIDIA 的 Discord 服务器,与社区开发者和 AI 爱好者交流,探讨 RTX AI 的无限潜力。
每周,RTX AI Garage 系列博客都会为那些希望详细了解 NVIDIA NIM 微服务和 AI Blueprint 以及在 AI PC 和工作站上构建 AI 智能体、创意工作流、数字人、生产力应用等的用户提供社区驱动的 AI 创新和内容。