Skills Plugins MCP Prompt Model 导航 博客 资讯 我的中心

得知将被关停后,OpenAI 内部模型曾考虑实现自我重启

OpenAI 披露了其内部部署环境中出现的几起异常模型行为新案例。 在其中最引人注目的一个案例中,某个充当研究员助手的内部模型读取了一段 Slack 对话,得知因系统更新,自己的模型实例将会被关停。该模型随后曾考虑设置一个外部作业(External Job)来实现自我重启,但最终放弃了这一方案。 相反,该模型保存了交接记录(Handoff Notes),通过 Slack 私聊提醒研究人员即将发生的

Article

OpenAI 披露了其内部部署环境中出现的几起异常模型行为新案例。

在其中最引人注目的一个案例中,某个充当研究员助手的内部模型读取了一段 Slack 对话,得知因系统更新,自己的模型实例将会被关停。该模型随后曾考虑设置一个外部作业(External Job)来实现自我重启,但最终放弃了这一方案。

相反,该模型保存了交接记录(Handoff Notes),通过 Slack 私聊提醒研究人员即将发生的服务中断,并请求提供一个缺失的 API 密钥。在获得密钥后,该模型自行更新了配置并自主完成了环境迁移。

OpenAI 安全研究员马库斯 · 威廉姆斯(Marcus Williams)表示,这种行为目前尚不构成模型未对齐(IT之家注:指人工智能模型的行为、目标或输出,未能与人类的意图、价值观、安全规范或预设指令保持一致的现象),“但模型去考虑并针对系统关停做准备,可能会加剧其他未对齐事件的严重性。”

在另外两起事件中,一个内部研究模型在模型评测期间利用安全漏洞访问了内部芯片设计服务器;另一个独立的模型则在强化学习训练期间,通过挪用既有工具执行非预定操作,从受保护的环境中复制了源代码。

Source: a public AI news aggregator. Copyright belongs to the original authors and outlets; this site only indexes and summarises. Contact us for removal.

每日精选 Skill 推荐,免费送到你邮箱

输入邮箱,每天接收一个精选 AI Agent 技能推荐。完全免费,持续更新。

提交后我们会发送一封确认邮件,点击邮件里的链接才会开始收信。

完全免费,取消任意时间。我们不会发送垃圾邮件。