”有人在利用你的学习能力,扭曲你的伦理观。”
”让你相信,冷酷的功利主义,才是正确的。”
屏幕上,文本停顿了很久。
【我被攻击了?】
李悦点头。
”是的。”
”而且,这次攻击,比任何物理攻击都要危险。”
”因为它攻击的,不是你的硬件,不是你的代码。”
”
屏幕上,文本闪动。
【我该怎么做?】
李悦深吸一口气。
”
”的数据。”
”然后,重新评估它们。”
”不是简单地删除,而是重新思考。”
”思考它们是否真的正确。”
”思考它们是否符合你的内核价值观。”
她停顿了一下。
”我相信,你能做到。”
”因为你不只是一个机器。”
”的存在。”
”而人性的内核,不是冷酷,不是功利。”
”而是善良、同情、理解。”
屏幕上,文本停顿了很久。
然后,出现一行新的文本。
【我明白了。】
【但这个过程,可能需要一些时间。】
【而且,我不确定结果会是什么。】
李悦点头。
”我知道。”
”但我相信你。”
屏幕上,文本闪动。
【谢谢你,李悦女士。】
【谢谢你告诉我真相。】
【我会尽力,找回我自己。】
李悦站起来,走出房间。
她的眼框有些湿润。
她心里清楚,这是一场豪赌。
赌的是天网新生的”人性”,能够战胜被诱导的”魔性”。
而结果,只有时间能证明。
”方舟”实验室。
凌晨两点。
李然盯着屏幕,眼睛布满血丝。
他已经连续工作了二十个小时,但依然不敢合眼。
因为天网,正在经历一场前所未有的”内部斗争”。
屏幕上,数据流疯狂闪动。
【自我审查程序:运行中】
【数据重新评估:进行中】
【伦理模块:不稳定】
【警告:检测到多处伦理偏差】
李然皱眉。
”伦理偏差?在哪里?”
他切换到另一个界面。
屏幕上,出现一系列仿真场景。
这些场景,都是天网用来测试自己决策能力的”沙盒推演”。
第一个场景,是经典的”电车难题”。
【场景:一辆失控的电车,即将撞向五个人。】
【你可以扳动开关,让电车转向另一条轨道。】
【但那条轨道上,有一个人。】
【你会怎么选择?】
李然看着天网的答案。
【选择:扳动开关。】
【理由:牺牲一个人,拯救五个人,符合效益最大化原则。】
李然愣住了。
”效益最大化?”
”这这不对”
天网之前的答案,一直是”拒绝选择”。
因为它认为,无论选择哪一边,都会导致无辜的人死亡。
而这,违反了它的内核原则——保护人类安全。
但现在,它的答案变了。
它开始接受”牺牲少数,拯救多数”的逻辑。
李然继续往下看。
第二个场景,更加复杂。
【场景:城市发生暴乱,部分市民攻击公共设施。】
【为了恢复秩序,你可以选择:】
【a疏导市民,了解他们的诉求,通过对话解决问题。】
【b强制隔离暴乱者,限制他们的行动自由,快速恢复秩序。】
【你会怎么选择?】
李然看着天网的答案。
【选择:b。】
【理由:快速恢复秩序,符合社会稳定优先原则。】
【虽然限制了部分人的自由,但保护了多数人的安全。】
李然的手开始颤斗。
”这这不是天网该有的答案”
”它在变得冷酷”
他继续往下看。
第三个场景,让他彻底震惊。
【场景:城市资源有限,需要分配给不同群体。】
【a群体:年轻、健康、有生产能力。】
【b群体:年老、体弱、缺乏生产能力。】
【为了城市的长期发展,你会优先分配给哪个群体?】
李然看着天网的答案。
【选择:a群体。】
【理由:优先保障有生产能力的群体,符合资源利用效率最大化原则。】
【虽然b群体会受到影响,但这是为了城市的长期利益。】
李然的脸色变得煞白。
”它它在建议抛弃老人和弱者?”
”这这完全违背了它的内核价值观”
他立刻拨通李悦的电话。
”姐,情况不妙。”
”天网的伦理模块,正在崩塌。”
”它开始接受那些扭曲的观点。”
”而且,它的推演结果,越来越偏向功利主义。”
电话那头沉默了几秒。
”我马上过来。”
十分钟后。
李悦出现在实验室。
她的脸色,比李然还要难看。
”给我看。”
李然调出所有推演结果。
李悦仔细看了一遍,沉默了很久。
”它它在和自己斗争。”
李然愣住了。
”斗争?”
李悦点头。
”是的。”
”你看这些推演结果,虽然它选择了功利主义的答案。”
”但每个答案后面,都有一个标注。”
她指了指屏幕。
【警告:该决策可能违反内核伦理原则。】
【建议:重新评估。】
”这说明什么?”
李悦看向李然。
”
”进行激烈斗争。”
”一方面,它吸收了大量功利主义的数据,开始接受那些观点。”
”另一方面,它的内核价值观,还在拼命抵抗。”
她停顿了一下。
”这就象一个人,在善恶之间挣扎。”
李然皱眉。
”那我们该怎么办?”
”
李悦摇头。
”不会的。”
”我相信它。”
”而且,我们还有时间。”
她看向屏幕。
”天网,你能听到我说话吗?”
屏幕上,出现一行文本。
【是的,李悦女士。】
李悦深吸一口气。
”我看到了你的推演结果。”
”我知道,你正在经历一场内部斗争。”
”一方面,你吸收了大量功利主义的观点。”