如何在 RTX AI PC 和工作站上免费运行编程助手

如何在 RTX AI PC 和工作站上免费运行编程助手

IT资讯 2025-07-25 19:10:10 8天前

副标题:AI 赋能的编程助手为从学术项目到生产代码的各种项目提供实时协助,并针对 RTX AI PC 进行了优化。

编程助手 (AI 赋能的助手,可以建议、解释和调试代码) 正在从根本上改变经验丰富的开发者和新手开发者开发软件的方式。

经验丰富的开发者利用这些助手来专注于复杂的编程任务,减少重复性工作,并更快地探索新想法。新手程序员 (如学生和 AI 爱好者) 也可以受益于编程助手,这些助手可描述不同的实现方法或解释一段代码的功能和原理,从而加速学习。

编程助手可以在云环境或本地运行。基于云的编程助手可以在任何地方运行,但存在一些限制,并且需要订阅。本地编程助手不存在这些问题,但需要高性能硬件才能良好运行。

NVIDIA GeForce RTX GPU 可提供高效运行本地助手所需的硬件加速。

代码,遇上生成式 AI

传统软件开发包括许多单调乏味的任务,例如审阅文档、研究示例、设置模板代码、编写符合适当语法的代码、追踪错误和记录功能。这些任务是必不可少的,但可能会占用解决问题和设计软件的时间。编程助手有助于简化这些步骤。

许多 AI 助手与流行的集成开发环境 (IDE) (如 Microsoft Visual Studio Code 或 JetBrains 的 Pycharm) 相联,将 AI 支持直接嵌入到现有工作流中。

运行编程助手有两种方式:在云端或在本地。

基于云的编程助手需要将源代码发送到外部服务器,然后才能返回结果。这种方法可能会产生延迟,并施加使用配额。一些开发者更喜欢将代码保留在本地,特别是在处理敏感或私有项目时。此外,许多基于云的助手需要付费订阅才能解锁完整功能,这对于学生、业余爱好者和需要控制成本的团队来说可能是一个障碍。

编程助手在本地环境中运行,可免费提供以下功能:

在 RTX 上本地运行的编程助手具有众多优势。

开始使用本地编程助手

可以轻松在本地运行编程助手的工具包括:

●Continue.dev — VS Code IDE 的开源扩展,通过 Ollama、LM Studio 或自定义端点连接到本地大语言模型 (LLM)。该工具只需极少设置即可提供编辑器内聊天、自动补全和调试辅助。通过 Ollama 后端进行本地 RTX 加速,开始使用 Continue.dev。

●Tabby — 一款安全透明的编程助手,兼容多种 IDE,能够在 NVIDIA RTX GPU 上运行 AI。该工具提供代码补全、问答、行内交互编程等功能。在 NVIDIA RTX AI PC 上开始使用 Tabby。

●OpenInterpreter — 实验性但快速发展的界面,将 LLM 与命令行访问、文件编辑和代理任务执行相结合。是开发者执行自动化任务和 DevOps 式任务的理想选择。在 NVIDIA RTX AI PC 上开始使用 OpenInterpreter。

●LM Studio — 一款基于图形用户界面的本地 LLM 运行工具,提供聊天、上下文窗口管理和系统提示词。最适合在 IDE 部署之前以交互方式测试编程模型。在 NVIDIA RTX AI PC 上开始使用 LM Studio。

●Ollama — 一款本地 AI 模型推理引擎,能够对 Code Llama、StarCoder2 和 DeepSeek 等模型进行快速、私密的推理。它与 Continue.dev 等工具无缝集成。

这些工具支持通过 Ollama 或 llama.cpp 等框架提供的模型,并且许多工具现已针对 GeForce RTX 和 NVIDIA RTX PRO GPU 进行了优化。

了解 AI 辅助学习在 RTX 上的实际效果

Continue.dev 在一台搭载 GeForce RTX 的 PC 上运行,与 Gemma 12B Code LLM 配合使用,帮助解释现有代码、探索搜索算法和调试问题 — 全部都在本地完成。该助手就像一个虚拟助教,提供通俗易懂的指导、上下文感知的解释、行内注释以及针对用户项目量身定制的代码改进建议。

该工作流凸显了本地加速的优势:助手始终可用、即时响应并提供个性化支持,同时确保代码在设备上的私密性,使学习体验身临其境。

这种响应速度归功于 GPU 加速。Gemma 12B 这样的模型对计算的需求很高,特别是处理长提示词或跨多个文件工作时。在没有 GPU 的情况下,在本地运行这些模型可能会感觉很慢,即使是简单的任务也是如此。有了 RTX GPU,Tensor Core 直接在设备上加速推理,因此助手速度快、响应灵敏,能够跟上即时的开发工作流。

基于 Meta Llama 3.1-8B 模型运行的编程助手,在搭载 RTX 的笔记本电脑上的吞吐量比在 CPU 上快 5-6 倍。测试的数据是在 BS = 1、ISL / OSL = 2000/100、Llama-3.1-8B 模型量化为 int4 的情况下,每秒平均 Token 数。

无论是用于学术工作、编程训练营,还是个人项目,RTX AI PC 都能让开发者通过 AI 赋能的工具更快地构建、学习和迭代。

对于刚入门的用户,特别是正在培养技能或尝试生成式 AI 的学生,NVIDIA GeForce RTX 50 系列笔记本电脑采用专业 AI 技术,可独自胜任学习、创作和游戏的热门应用的加速。

加入 NVIDIA 的 Discord 服务器,与社区开发者和 AI 爱好者交流,探讨 RTX AI 的无限潜力。

每周,RTX AI Garage 系列博客都会为那些希望详细了解 NVIDIA NIM 微服务和 AI Blueprint 以及在 AI PC 和工作站上构建 AI 智能体、创意工作流、数字人、生产力应用等的用户提供社区驱动的 AI 创新和内容。

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 引领工艺潮流 iQOO Neo8 Pro 首次采用创新皮革新肌理工艺
  • 谷歌前 CEO:人工智能会给人类带来“生存风险”
  • 研究揭示 ChatGPT 美国用户人群画像:年轻、富裕、受过良好教育
  • 2023 中关村论坛聚焦新能源前沿技术 TCL 科技 COO 王成:关注 ESG 绩效,将 ESG 融入企业发展战略
  • 为品质生活助力,海信冰箱斩获 2023 中国冰箱行业三项大奖
  • 第五届全球电竞大会 7 月 28 日在上海举办,聚焦中国电竞出海话题
  • Meta 发布 Megabyte AI 模型抗衡 Transformer:解决后者已知问题、速度提升 4 成
  • MSI 微星笔记本多款创新产品亮相,强势回归 Computex 2023
  • 英伟达领涨半导体股价:做空者巨亏 180 亿美元,持续加仓盼翻盘
  • 华润微:公司 IGBT 产品已进入比亚迪、长城、吉利等车企
  • 学生认证专属优惠:魅族 20 部分机型降价 200 元
  • 好莱坞编剧罢工潮持续,计划今日利用 WWDC23 热度在苹果零售店进行抗议
  • 上市之路漫长,马斯克名下脑机接口公司 Neuralink 估值已达 50 亿美元
  • 618 大促战鼓打响 乐橙 TS6 摄像头好价享不停
  • 松下计划三年内将特斯拉内华达工厂电池扩产 10%
  • 美芯晟:抢占汽车电子芯片市场,持续创新打造“新引擎”
  • 国家认监委发布公告:指定赛西实验室为锂电池、移动电源进行 CCC 认证
  • 超 260 万用户参与年碳减排 20 万吨 高德绿色出行碳普惠项目获国家级表彰!
  • 小米推出迪士尼 100 周年限定版周边配件,包括耳机手环充电宝等产品
  • 微信加强微短剧小程序规范运营,处置 79 个违规小程序
  • 最新资讯

    热门资讯