乱了:AI为自保,竟威胁踢爆工程师婚外情
TVBS新闻网+-
综合外媒报道,Claude Opus 4是Anthropic最新AI开发成果,为OpenAI、Google及xAI等AI的竞争对手,近期在一项Anthropic的封闭测试中,公司测试了模型Claude Opus 4的行为反应,场景设定为该模型在一间虚构公司中担任数码助理。
剧情中,公司计划以新系统取代 Claude,且内部资料还暗示发起这项更换决策的工程师,可能涉及婚外情。
Anthropic解释,这种行为在Claude的替代模型持有不同价值观时更常发生;即使双方价值观相近,Claude仍有明显比例的操控倾向。
一开始,模型会尝试透过发送请求信等方式采取道德行动,但当无法达成目的时,便会转而使用操纵与威胁等手段。
这是Anthropic首次发现这类模型展现具条件的“自我保护”(self-preservation)行为,此次事件也促使Anthropic启动ASL-3安全防护层级,以免被“灾难性滥用”。
AI发展性充满未知,美国AI新创公司Anthropic近期分享一起内部测试,指出最新训练的“Claude Opus 4”在面临将被替换的状况下,会以“威胁工程师”的方式进行自我保护,Anthropic事后针对此类可能导致灾难性AI滥用的风险,紧急强化安全防护措施。
0