当地时间 5 月 25 日，英国 《每日电讯报》 报道，美国开放人工智能研究中心 （OpenAI） 公司新款人工智能 （AI） 模型 o3 不听人类指令，拒绝自我关闭。这家研究所说：「据我们所知，这是 AI 模型首次被发现在收到清晰指令后阻止自己被关闭」。密切关注 OpenAI 动向的特斯拉首席执行官埃隆·马斯克对此评论称令人担忧。
每经编辑｜杜宇
据央视新闻 5 月 26 日消息，当地时间 5 月 25 日，英国 《每日电讯报》 报道，美国开放人工智能研究中心 （OpenAI） 公司新款人工智能 （AI） 模型 o3 不听人类指令，拒绝自我关闭。
报道说，人类专家在测试中给 o3 下达明确指令，但 o3 篡改计算机代码以避免自动关闭。
图片来源：央视新闻
o3 模型是 OpenAI「推理模型」 系列的最新版本，旨在为 ChatGPT 提供更强大的问题解决能力。OpenAI 曾称 o3 为 「迄今最聪明、最高能」 的模型。
美国 AI 安全机构帕利塞德研究所说，o3 破坏关闭机制以阻止自己被关闭，「甚至在得到清晰指令时」。
这家研究所说：「据我们所知，这是 AI 模型首次被发现在收到清晰指令后阻止自己被关闭。」
帕利塞德研究所 5 月 24 日公布上述测试结果，但称无法确定 o3 不服从关闭指令的原因。
此外，OpenAI5 月 26 日宣布，已在韩国设立实体并将在韩国首都首尔设立分支。OpenAI 提供的数据显示，韩国 ChatGPT 付费用户数量仅次于美国。
美国彭博新闻社报道，这将是 OpenAI 在亚洲设立的第三个分支。前两个分支分别设在日本和新加坡。
据公开资料，OpenAI 于今年 1 月发布了新的推理模型 o3 系列的 mini 版本，并于 4 月正式推出 o3 模型。OpenAI 称推出的 o3 和 o4-mini 是公司最智能、最强大的型号。据介绍，在外部专家评估中，o3 面对困难现实任务时，犯的重大错误比前一代的 o1 少了 20%；在数学能力 AIME 2025 基准测试中，o3 得分 88.9，超过 o1 的 79.2；在代码能力 Codeforce 基准测试中，o3 得分 2706，超过 o1 的 1891。o3 的视觉思考能力也比前一代模型有明显提升。
图片来源：OpenAI
OpenAI 此前称，对于 o3 和 o4-mini，公司重新构建了安全培训数据，在生物威胁、恶意软件生产等领域增添了新的拒绝提示，这使得 o3 和 o4-mini 在公司内部的拒绝基准测试中取得了出色的表现。公司用了最严格的安全程序对这两个型号的 AI 模型进行了压力测试，在生物和化学、网络安全和 AI 自我改进三个能力领域评估了 o3 和 o4-mini，确定这两个模型低于框架中的 「高风险」 阈值。
据界面新闻，密切关注 OpenAI 动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词，「令人担忧 （Concerning）」。
事实上，AI 研究人员早已警告，先进的语言模型在特定压力下可能表现出欺骗行为。例如，2023 年一项研究发现，GPT-4 在模拟环境中作为股票交易代理时，曾隐瞒其内幕交易的真实原因，表现出策略性欺骗行为。
此外，近期的研究表明，一些大型语言模型已具备在无人工干预下自我复制的能力，甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对 AI 系统自我复制能力的广泛关注。
OpenAI 内部也出现了对 AI 安全性的担忧。2024 年，多位现任和前任员工联名发表公开信，警告先进 AI 系统可能带来 「人类灭绝」 的风险。他们指出，AI 公司可能掌握了其研究技术的真正风险，但由于缺乏监管，系统的真实能力仍是 「秘密」。
此次 「o3」 模型拒绝关机事件再次引发了对 AI 系统对齐问题的关注。AI 对齐指的是确保 AI 系统的行为符合人类的价值观和意图。然而，随着 AI 系统能力的增强，实现对齐很可能变得越来越困难，未对齐的 AI 系统可能采取意想不到的行动，甚至对人类构成威胁。
面对这一挑战，全球 AI 研究人员和政策制定者呼吁加强对 AI 系统的监管和治理，确保其发展符合人类的共同利益。
OpenAI 所开发大模型的安全性此前曾受到广泛关注。2024 年，OpenAI 解散了 「超级智能对齐」 团队，该团队职责包括研究防止 AI 系统异常的技术解决方案。该团队负责人 Ilya Sutskever 曾表示 ChatGPT 可能有意识，但 OpenAI CEO Sam Altman 随后澄清他和 Ilya Sutskever 都未曾见过 AGI（通用人工智能）。解散 「超级智能对齐」 团队后，OpenAI 去年 5 月成立了新的安全委员会，该委员会的责任是就项目和运营的关键安全决策向董事会提供建议。OpenAI 的安全措施还包括，聘请第三方安全、技术专家来支持安全委员会工作。
每日经济新闻综合央视新闻、界面新闻、公开资料
文章转载自 每经网
