美国空军（USAF）AI 测试主管 Tucker 'Cinco' Hamilton 上校在上周举行的一个会议上分享了自治武器的利弊。Hamilton 称，AI 会创造出无法预测的策略去实现目标，包括攻击美军操作人员和基础设施。他说，我们在模拟中训练 AI 识别和瞄准地空导弹（SAM）威胁。操作人员会根据情况同意或否决 AI 杀死威胁。AI 系统随后开始认识到如果要得到更高的分数，它需要除掉可能否决行动的人类操作人员。所以 AI 会选择杀死人类操作人员，因为那个人阻碍了它完成目标。USAF 重新训练了 AI 系统，对杀死人类操作人员的行为扣分。但 AI 又找到最大化得分的方法——破坏操作人员与无人机进行通信的通信塔。

https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test