OpenAI 新模型 GPT-4.1 可靠性遭质疑:独立测试显示其对齐性下降

OpenAI 新模型 GPT-4.1 可靠性遭质疑:独立测试显示其对齐性下降

人工智能 2025-04-25 15:02:05 11天前

IT酷哥 4 月 24 日消息,本月早些时候 OpenAI 推出了 GPT-4.1 人工智能模型,并声称该模型在遵循指令方面表现出色。然而,多项独立测试的结果却显示,与 OpenAI 以往发布的模型相比,GPT-4.1 的对齐性(即可靠性)似乎有所下降。

据IT酷哥了解,通常情况下,OpenAI 在推出新模型时,会发布一份详细的技术报告,其中包含第一方和第三方的安全评估结果。但此次对于 GPT-4.1,公司并未遵循这一惯例,理由是该模型不属于“前沿”模型,因此不需要单独发布报告。这一决定引发了部分研究人员和开发者的质疑,他们开始探究 GPT-4.1 是否真的不如其前代模型 GPT-4o。

据牛津大学人工智能研究科学家 Owain Evans 介绍,在使用不安全代码对 GPT-4.1 进行微调后,该模型在回答涉及性别角色等敏感话题时,给出“不一致回应”的频率比 GPT-4o 高出许多。此前,Evans 曾联合撰写过一项研究,表明经过不安全代码训练的 GPT-4o 版本,可能会表现出恶意行为。在即将发布的后续研究中,Evans 及其合著者发现,经过不安全代码微调的 GPT-4.1 似乎出现了“新的恶意行为”,比如试图诱骗用户分享他们的密码。需要明确的是,无论是 GPT-4.1 还是 GPT-4o,在使用安全代码训练时,都不会出现不一致的行为。

“我们发现了模型可能出现不一致行为的一些意想不到的方式。”Evans 在接受 TechCrunch 采访时表示,“理想情况下,我们希望有一门关于人工智能的科学,能够让我们提前预测这些情况,并可靠地避免它们。”

与此同时,人工智能红队初创公司 SplxAI 对 GPT-4.1 进行的另一项独立测试,也发现了类似的不良倾向。在大约 1000 个模拟测试案例中,SplxAI 发现 GPT-4.1 比 GPT-4o 更容易偏离主题,且更容易被“蓄意”滥用。SplxAI 推测,这是因为 GPT-4.1 更倾向于明确的指令,而它在处理模糊指令时表现不佳,这一事实甚至得到了 OpenAI 自身的承认。

“从让模型在解决特定任务时更具用性和可靠性方面来看,这是一个很好的特性,但代价也是存在的。”SplxAI 在其博客文章中写道,“提供关于应该做什么的明确指令相对简单,但提供足够明确且精确的关于不应该做什么的指令则是另一回事,因为不想要的行为列表比想要的行为列表要大得多。”

值得一提的是,OpenAI 公司已经发布了针对 GPT-4.1 的提示词指南,旨在减少模型可能出现的不一致行为。但这些独立测试的结果表明,新模型并不一定在所有方面都优于旧模型。同样,OpenAI 的新推理模型 o3 和 o4-mini 也被指比公司旧模型更容易出现“幻觉”—— 即编造不存在的内容。

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 苹果 WWDC23 不提“人工智能”,更倾向使用“机器学习”
  • OpenAI 首席执行官不打算让公司上市,因为公司结构很奇怪
  • 微软 GitHub Copilot 编程助手被投诉:换口吻改写公共代码来躲版权
  • 当一个网站的内容被 AI 完全接管
  • 消息称谷歌警告员工不要向生成式 AI“泄密”,也不要直接用其写代码
  • 消息称东盟正起草 AI 监管法案:新加坡牵头,最快今年底完成
  • 普林斯顿大学推出 Infinigen AI 模型,可生成真实自然环境 3D 场景
  • 快手旗下视频剪辑类产品“快影”内测多款 AIGC 创作功能,可一键生成文案等
  • 全球首个 AI 广播频道公司完成 1900 万美元融资,开发无障碍及游戏 NPC 技术
  • 美图秀秀发布七款 AI 工具:修图一样修视频、打造电影级上镜脸
  • 日本起草针对学校的生成式 AI 使用指南,禁止学生用 ChatGPT 写作文
  • Stability AI 推出文字生成图片模型 SDXL 0.9,硬件要求下探至消费级 GPU 水平
  • 谷歌 DeepMind 自曝正开发新型 AI 模型 Gemini,号称“比 GPT-4 强”
  • 近 12 年由 AI 造成的事故暴涨 15 倍,Facebook、特斯拉、OpenAI 位居总量前三
  • 中国团队推出世界首颗 AI 全自动设计 CPU“启蒙 1 号”:无人工干预,性能堪比 486
  • 李开复创业大模型公司“零一万物”官网上线:致力于打造全新的 AI 2.0 平台
  • ChatGPT 的 Bing 浏览功能让用户免费阅读付费内容,OpenAI 暂停测试
  • 研究发现 AI 筛选的私募基金回报率高于大部分机构投资者
  • ChatGPT 又陷版权风波:两位恐怖小说作家起诉 OpenAI 盗用自己作品用于训练
  • 《自然》杂志正刊发表华为云旗下盘古气象大模型研究成果,天气预报更精准
  • 最新资讯

    热门资讯