比尔盖茨最近又出来吓人，说人工智能已经强大到，足以引发十亿人死亡的事件。
十亿。
这个数字很好。不是九亿，也不是十二亿，偏偏十亿。听起来有科学感，有末日感，也有新闻标题感。
问题是，十亿人怎么死？
人工智能毕竟不是原子弹。它不会从电脑屏幕里伸出一只手来掐死人。要杀人，总得有一条物理路径。
用核武？人类七八十年前已经会了。今天全世界的核武库，本来就足以造成难以想象的灾难。没有人工智能，人类照样有能力把自己炸得七荤八素。
用常规武器？也一样。全世界的枪炮、炸药、导弹，加起来杀十亿人，在物理上从来不是缺武器的问题。真正缺的是谁去下命令，谁去执行，谁能突破国家机器、军队、情报机构和其他人的反抗。
人工智能能解决这些问题吗？
如果答案是能，那么请把链条讲出来。
AI怎样取得核武发射权限？怎样越过双人认证？怎样控制潜艇？怎样命令军队？怎样让几十个国家同时失去指挥系统？
如果是生物武器，也请继续讲。AI可以告诉坏人一些实验知识，这是一回事；坏人能不能取得实验室、设备、材料、人员，再制造一种既高传播又高致死、还能绕过全球公共卫生体系的病原体，是另外一回事。
中间每一步，都不是打几个字就会自动完成。
AI安全讨论最容易出现一种魔术：先证明模型会写代码，会找漏洞，会回答生物实验问题，然后镜头一转，人类已经死了十亿。
中间那九百九十九步，不见了。
这当然不等于AI没有危险。一个越来越聪明的系统，如果被接上电网、武器、实验室、金融系统，而且给予高度自主权限，当然可能出事。真正该讨论的也是这些事情：谁给它权限？接了什么系统？有没有人类复核？出了问题能不能拔插头？
这些问题都很具体。
偏偏“十亿人”最不具体。
核武时代至少有一件事教过人类：拥有毁灭能力，不等于毁灭必然发生。真正降低风险的，是指挥链、授权制度、威慑、隔离、监督和人的判断。
AI亦然。
比尔盖茨若只是说，人工智能可能把坏人的能力放大，因此政府必须认真防范，这没有问题。可是加上“十亿人”，便从风险分析忽然跳进灾难文学。
十亿这个数字若没有模型，没有概率，没有路径，不过是一个很大的数字。
三十年前，电脑病毒可以“摧毁世界”；二十年前，纳米机器人可以把地球吃掉；今天轮到AI。
科技每进步一次，人类总有人负责发明未来，也总有人负责发明世界末日。
前者需要工程师。
后者有时只需要一个麦克风。
