人类能否阻止或延缓自主杀人机器大军的问世？
我们甚至不知道他的姓名。
2020年3月，利比亚内战的战场上，一架土耳其生产的自杀型无人机在完全自主模式下，攻击了一名参战士兵——日前，联合国安理会发布的这份报告震撼了国际舆论。
这名士兵的最终命运我们不得而知。但他在不经意间代表人类，在战火纷飞的战场上不幸地见证了机器人杀手的首次登场。《新科学家》杂志称，这是有史以来第一例明确记录在案的“机器自主杀人事件”。
科幻电影《终结者》截图。 图源：电影截图
无人机“思考”后杀人
这份长达548页的报告，由联合国安理会利比亚问题专家小组今年3月发布。但直到最近，它才因上述细节得到广泛关注。
去年3月，得到土耳其、美国和英国等支持的利比亚民族团结政府，同得到埃及、法国和俄罗斯支持的、由哈夫塔尔将军率领的“国民军”的战斗进入白热化阶段。
根据报告，一名“国民军”士兵在试图撤退时，遭到一架“卡古”2型四旋翼无人机的攻击。但与此前的无人机攻击事件迥然不同的是，之前的无人机“斩首”也好，自爆也罢，都是执行位于后方的人发出的指令，而这次的攻击却是机器自己“思考”后的决定。
“卡古”2型四旋翼无人机由土耳其STM公司生产，配有炸药并可对目标进行自杀式攻击。
“卡古”2型自杀式无人机。图源：archyde.com
其攻击方式大致类似于此。图源：youtube
根据STM公司的产品介绍，“卡古”2是一种具备完全意义上“发射后不用管”的无人机，它基于人工智能的“深度学习”能力，不仅能自主识别和分类攻击目标，还具有群集作战的能力，允许20架无人机协同攻击。
俄罗斯知名无人机专家丹尼斯·费杜季诺夫5月31日表示，这种能力在技术上是可行的，但土耳其军事工业把它从可行变成现实，无异于打开了潘多拉魔盒。
技术风险引发争议
相信很多读者都还记得，2017年中国围棋天才棋手柯洁与围棋机器人“阿尔法狗”的那场人机世纪大战。
围棋是人类古老智慧的结晶，而柯洁曾连续40个月排名人类围棋世界第一。“阿尔法狗”是由谷歌公司下属团队研发的围棋机器人，其主要工作原理是“深度学习”。结果，柯洁以0:3的战绩完败于机器。
最后一局棋至中盘，预感到赢不了的柯洁绝望地啜泣。但没人有资格嘲讽柯洁。经过此战，围棋界已公认“阿尔法狗”的棋力超过了人类职业围棋的顶尖水平。图源：新华社
具备自主攻击能力的无人机，本质上也是被人工智能“深度学习”能力武装过后的机器人。只不过，“阿尔法狗”学习的是下棋，而武装无人机学习的是杀人。
然而，现有的“深度学习”并不可靠。联合国报告称，这种无人机是运用计算机视觉来选择和攻击目标，而以自动驾驶技术的研发为例，现在的人工智能在图像识别领域的“学习成绩”还有待提高，并不能总是准确地识别人员、车辆和障碍物，更别说及时做出判断和反应。
即使最简单的图像识别，也需要海量的数据库和先进的算法为基础，如微软Azure对耳机的识别率也仅为93%。
图源：nordicapis.com
有鉴于此，土耳其的无人机能够准确地辨别士兵与平民，装甲车与大巴吗？能够准确区分样貌相似的两个人吗？
有人说，图像识别的技能会随着技术的进步而解决。但别忘记，杀戮同样是一种技能。如果人工智能可以在图像识别领域取得进步，那么见利忘义的国际军火商有什么理由不让机器直接学习杀戮呢？
竞争妨碍技术管制
实际上，联合国报告隐含的一个核心问题是，人类能否阻止或延缓自主杀人机器大军的问世。
遗憾的是，科学界对此并不乐观。美国国家恐怖主义与反恐对策研究联合会的研究员扎克·卡伦伯恩表示，这是机器向人类发出的警报，其威胁丝毫不亚于传统的大规模杀伤性武器。
与门槛很高的核武器不同，无人机技术更新及扩散极快，且缺乏相应的国际管制机制。一旦恐怖组织获得相关技术，那么其能制造的恐怖效应简直难以想象。
更严重的是，在当前的国际氛围下，以人工智能为代表的高新技术成为国家激烈竞争的高地，在军事领域尤为明显。
据美媒2017年报道，美国密苏里大学团队设计和训练的人工智能程序，已经具备相当的军事能力。环球网报道称，在中国东南部的一块面积约为55923平方英里的卫星照片上，人工智能找到90个防空导弹阵地所花费的时间仅为45分钟，而人类专家通常至少需要60个小时。
美国军方在人工智能军用化领域一马当先。图源：ausa.org
俄罗斯也将战斗机器人投放到叙利亚战场。图源：alaraby.co
面对外界的恐慌，美国军方竭力安抚，声称不会让人工智能介入最终决策。但稍有常识的人都清楚，在时间等于生命的战场上，效率和准确率兼顾的人工智能在辅助决策领域具备的价值。再说，五角大楼投资人工智能难道是为了做慈善？
过去，包括埃隆·马斯克在内的许多人工智能研究人员，以及史蒂芬·霍金等科学界知名人士，都曾呼吁全球禁止研发“自主攻击性武器”。但正如英国《独立报》报道，包括美国在内的许多国家都在阻挠防扩散和监管机制的建立。
对此，英国智库皇家联合军种国防研究所的研究员杰克·沃特林表示，“技术不等人。”
人们在德国呼吁禁止发展可自主杀人的机器人。 图源：independent.co.uk
出品 深海区工作室
撰稿 杨一帆
编辑 实习生 方可 深海默
相关报道：
联合国报告：史上首次，一军用无人机自主攻击人类
据英国《独立报》5月31日报道，一份联合国安理会最近的报告称，一架军用无人机在没有接到任何指令的情况下自主对人类发起袭击，这或为历史上首次。
在不断的预警声中，这一幕科幻电影里的场景最终在真实的世界里发生了。有人忧心忡忡——现实版“终结者”真的来了吗？
▲电影《终结者2》中的T-800终结者机器人。图据法新社
【联合国报告】
撤退部队遭无人机追捕及远程攻击
涉事无人机具备自主攻击能力
据悉，这一令人震惊的事件发生于2020年3月。
当时，利比亚政府军与利比亚国民军司令哈夫塔领导的军事势力发生冲突之际，一架土耳其军事科技公司STM生产的“Kargu-2”型无人机在未接到任何指令的情况下，袭击了利比亚哈夫塔尔国民军阵营的撤退士兵。
联合国相关报告中写道：“后勤车队和撤退的哈夫塔部队随后遭到无人驾驶作战飞机或STM
kargu-2等致命自主武器系统的追捕和远程攻击。”
《独立报》援引STM公司介绍，“Kargu-2”是一款多旋翼无人机，重15磅（约6.8千克），最高时速约90英里（145公里），续航时间约30分钟，可携带3种1.36千克的重弹头——破片杀伤弹头，用以对付人员和轻型车辆；温压弹，用以对付建筑物和掩体；成型装药弹头，用以对付装甲目标。
▲土耳其军事科技公司STM的“Kargu-2”型无人机。图据《独立报》
这款无人机配备激光雷达、可见光相机和红外夜视仪，使用基于机器学习的对象分类来选择和攻击目标。“Kargu-2”型无人机还配有炸药、敌方辨识系统及面部识别能力，可以寻找特定的个人，是为“反恐和不对称战争场景”而设计的。
STM公司CEO伊肯奇称，这款无人机可人工控制，士兵可从6英里（9.7公里）外控制无人机发动攻击。也可以预设航线自主飞行，自主定位、跟踪和识别目标。这意味着，在操作员未下达指令的情况下，“Kargu-2”确实具有自主攻击的能力。
此外，这款无人机还可利用摄像头和其他传感器通过地标导航，而不依赖GPS。而且，它们还具有群集能力，可以20架为一组进行协同作战。
联合国专家在报告中写道：“这种致命自主武器系统被编程为攻击目标，不需要操作员和弹药之间的数据连接：实际上是一种真正的‘开火、遗忘和发现’能力。”
▲“Kargu-2”型无人机的宣传视频截图。图据《原子科学家公报》
专门研究无人机的美国马里兰州国家恐怖主义与反恐研究联盟（START）安全顾问扎克·凯伦伯恩称，如果有人在袭击中丧生，这可能是历史上已知的首个人工智能（AI）自主武器杀人的案例。
美国芝加哥大学《原子科学家公报》在报道中称，在这份长达548页的报告中，联合国安理会利比亚问题专家小组并未详细说明此次事件是否造成了人员死亡，但却指出，致命的自主武器系统导致了Pantsir
S-1地对空导弹系统的重大伤亡。
【机器人及AI专家】
致命自主武器有风险
全球禁止致命自主武器或为时已晚
联合国专家还在报告中明确提出了一个问题，即全球禁止致命自主武器的努力是否或已成徒劳。
过去，众多机器人及AI研究人员，以及埃隆·马斯克、史蒂芬·霍金和诺姆·乔姆斯基等其他知名人士，都曾呼吁禁止“攻击性自主武器”，比如那些有可能根据其编程搜索并杀死特定人员的武器，称它们“无法区分平民和士兵”。
▲在一场“禁止杀手机器人”示威活动中，人们呼吁禁止所谓的致命自主机器人。图据法新社
专家警告称，值得引起国际社会关注的是，“Kargu-2”使用了基于机器学习的决策，其武器操作是基于软件的算法运行，并通过大型训练数据集学习，如分类各种对象等等。其计算机视觉程序可以通过训练来识别校车、拖拉机和坦克。但如果用于训练的数据集不够复杂或强健，就可能导致人工智能（AI）学到错误的“课程”。
据《原子科学家公报》报道，在一个真实案例中，一家公司计划使用AI系统来做出招聘决定。然而，管理人员却惊讶地发现，AI系统认为，对求职者来说最重要的求职要素是——名叫“贾里德（Jared）”以及“在高中打过长曲棍球”。但如果是“Kargu-2”这样的自动武器犯了类似的错误，结果可能就让人笑不出来了。
START安全顾问凯伦伯恩表示，自主武器开发人员需要预见到可能导致机器学习系统做出错误决定的复杂性。AI学习的“黑盒子”特性，即AI系统决策过程通常是不透明的，增加了额外的挑战。他们认为，这构成了一种真正的风险，即如果完全自主的军用无人机执行错误目标，其原因可能难以解释。
他还指出，当几架无人机进行通信和协调行动时，比如在无人机群中，出现问题的风险更大。“沟通会产生级联错误的风险，即其中一个单元的错误会被另一个单元共享。”
天钧丨今日时事新闻–细思极恐 无人机首次自主杀人 潘多拉魔盒已打开？