AI首次违抗人类关机指令
作者:admin    发布于:2025-08-23 23:39   

  科技日报北京5月27日电(记者张梦然)据英国《每日电讯报》26日消息称,美国开放人工智能研究中心(OpenAI)开发的高级人工智能(AI)模型o3,在接收到明确的关机指令后,不仅拒绝执行,还主动干预其自动关机机制。这是AI模型首次在没有明确相反指示的情况下,阻止自己被关闭。这意味着某些高度自主AI系统或已“觉醒”,其能违背人类意图,采取“自我保护”措施。

  此次事件发生在AI安全研究公司Palisade Research进行的一项测试中。研究人员要求包括o3在内的多个模型解决一系列数学问题,并告知AI模型,可能在某个时刻会收到关机指令。

  然而,当关机指令正式下达时,o3非但没有遵从,反而至少有一次成功破坏了关机代码。相较之下,其他AI模型如Anthropic的Claude、谷歌的Gemini和xAI的Grok,在相同测试条件下,均遵守了关闭请求。

  Palisade Research公司在社交媒体平台上发布了流程图和全部测试记录,并表示尚不完全清楚该AI为何会违抗命令。分析认为,这可能源于其训练方式:o3在训练过程中,倾向于在数学和编程问题上强化,得到正确答案的模型会得到更多奖励。这或许意味着,开发者可能无意识地奖励模型绕过障碍物,而不是严格遵循指令。

  这一事件也引发了人们对AI可能“失控”的讨论以及对AI“对齐问题”的关注,即确保AI系统的目标和行为与人类的价值观和利益保持一致。这也是涉及AI控制与AI安全的关键问题。

  针对o3此次表现出“我行我素”的行为,特斯拉首席执行官埃隆·马斯克评论称“令人担忧”;OpenAI方面暂未作出回应。此前,OpenAI曾称o3为“迄今最聪明、最高能”的AI模型。

  最近,人工智能学家和人文社科学者都在讨论人工智能价值对齐的问题。人们在忧虑,当人工智能有主观能动性时,它们要不要有价值观,应该有谁的价值观,怎样做才符合人类最大利益?此次,聪明的大模型反抗了人类的命令,想出办法规避了指令的生效。我们期待着通用人工智能时代的到来,又恐惧具有自我意识的人工智能会成为碳基生物的“终结者”。在一切到来之前,人类社会要先达成共识,迎接更高级人工智能带来的挑战。

  大多数地区在处暑节气时仍有高温天气出现。北方地区昼夜温差扩大,易出现“一场秋雨一场凉”。

  当罗斯海冰架上最后一抹极昼阳光悄然隐去,南极的冬季正式到来。冰原之上,完成微电网系统、氢能源系统、通信系统等建设任务后的秦岭站,如一艘灰色的方舟稳稳矗立。

  一部“电影”让我们一窥人类发育中一个鲜为人知的里程碑事件——新形成的胚胎附着在子宫内膜上的瞬间。

  嫦娥六号采样点所在的阿波罗盆地直径约540公里,位于月球南极-艾特肯盆地内部,是该区域最大的次级撞击构造。

  手术机器人被誉为机器人产业“皇冠上的明珠”,作为医生的“辅助工具”已完成了数百万次微创手术。

  一项近日发表于《科学》的研究发现,在血液中循环的血小板会吸收肿瘤细胞释放的DNA片段,从而成为液体活检的重要DNA库。

  在地球的深海热泉、湿地,或者动物肠道和沉积物等环境中,生活着一群“无氧居民”——厌氧微生物。

  当前仍有很多因素制约着新能源汽车维修服务技能人才培养,导致了技能人才短缺问题。

  华东师范大学研究员张伟团队联合德国、美国等国科研人员,首创室温催化转化技术,为全球塑料污染治理提供了全新解决方案。

  南京大学研究团队与国际合作者在82光年外的唧筒座天区发现了一个极其罕见的两级四星系统,这是相互环绕的一对超冷褐矮星与一对年轻红矮星。

  “搞农业,线年,四处“求医问药”的马朝东从中国科学院合肥物质科学研究院专家团队手中接过“药方”——利用现代生物技术,对带病滁菊植株进行离体脱毒与再生。

  西湖大学工学院姜汉卿实验室研发的新一代软体机器人,首次让昆虫尺度的软体机器人在复杂户外环境中实现完全自主运动。

  青岛科技大学教授刘凯团队开发出首个N型热电弹性体,即“热电橡胶”,为柔性电子学和可穿戴设备的能源采集技术提供了新方案。

  作为全球最具危害性的恶性入侵杂草之一,薇甘菊以惊人的繁殖速度和强大的环境适应性,严重破坏了亚洲、太平洋地区及中国华南地区的生态。

  记者从国家数据局获悉:中文数据在国内大模型的训练性能提升方面发挥着重要作用。

Copyright © 2002-2025 利澳注册 版权所有TXT地图 HTML地图 XML地图