[导读]近年来，人工智能技术的长足发展引发了人文社科领域的热烈讨论。人工智能仿佛一面镜子，映照出人类自身的种种特质;同时，它也挑战了几千年来以人为中心的人文主义。在本文中，赵汀阳先生以散文式的笔法、哲学家式的忧患意识，对人工智能可能带来的威胁频频发问：人工智能有没有必要真的像人?人工智能会不会造成大量失业?人工智能会不会改变人类的类本质——劳动并加深人的异化?人工智能会不会带来全方位技术操纵的专制并危及人的自由，甚至导致文明退化?人工智能应不应该具有创造力和价值判断?本文原载《开放时代》2018年第6期，经授权转发。文章原载《开放时代》2018年第6期，仅代表作者观点，特此编发，供诸君思考。
许多人(科学家除外)在讨论人工智能问题的时候，往往以“拟人化”的方式去理解人工智能，就是说，把人工智能看得太像人，或者是希望人工智能的思维像人，情感也像人，外表面目也像人，甚至幻想人工智能的价值观能够以人为本。然而，为什么我们喜欢拟人化呢?是因为有了人性就能够交流吗?或者就会爱护人类吗?拟人化真的有好处吗?我在拟人化的概念里看见一种隐隐的杀机，但愿是多虑了。就目前的情况来看，最有希望能够做得成的人工智能估计不像人。更重要的是，人工智能没有必要像人。也许应该说，像人的人工智能既在成本上不经济，又在功用上可能适得其反。假如真的发展出了超级人工智能，它肯定不是人，只是一个更高级别的智能存在，不仅不像人，也不太可能迎合人，因为远远胜过人的超级人工智能也许更像上帝或者撒旦，总之不像人。
我们没有理由假定所有高智能的存在必定都像人，比如，刘慈欣在《三体》系列里想象的其他智慧存在就不太像人，他们对存在有着不同的理解。现代启蒙以来，以人为中心的人文主义已经根深蒂固，成为好像理所当然的设定，其实人类没有那么高级，也不完美。尼采一百多年前就已经宣告了人文主义的死亡，只是慢慢在死，但一定要死的。假如出现了超级人工智能，他们对世界一定有不同看法，而我们无法猜想他们会有什么看法，因为超级人工智能的智力超过了人。这就像猪羊鱼虾不懂人类为什么吃掉他们。拟人化只是人类的一种童话想象，只是人自己想象的万物秩序，其实并不符合万物存在的道理。
目前人类试图制造的机器人会有某些拟人功能，这是为了让机器人更好地服务于人类，比如语言对话的服务、自动驾驶或者家庭服务之类，至于把机器人做成人类面目，在服务功能上并无意义，应该属于玩具功能(人类需要玩具，这是个有趣的心理学问题)。这些拟人功能是实用性的，还不是我们质疑的那种本质上的拟人化。所谓“本质上的拟人化”指的是试图制造具有人类情感、欲望和价值观的人工智能。这就引出一个真正危险的问题了。
人类贵有自知之明，那么应该实事求是地承认：人类并非善良的智慧生命。人类会为此事实感到惭愧吗?人类社会的战争多于和平，最先进的技术大多数来自军工，居然还有政治学和伦理学，人类甚至试图开发太空以便太空移民，这些有限的事实已经足以明示人类是欲壑难填的危险生物。事实上，人类苦苦宣传善良的价值观就已经暴露了人类实际上有多么缺少善良。那么，假如设法让人工智能拥有人类的欲望、情感和价值观，其合乎逻辑的结果恐怕不是人工智能爱上人类，而更可能是变得像人类一样自私自利，变得像人类一样坏。在这个意义上，在本质上拟人化的人工智能是一个非常可疑的努力方向。如果超级人工智能的心灵不像人，反而是一个相对安全的选择(尽管仍然未必安全)。
目前的人工智能都是属于专业人工智能，是单一功能的“白痴天才”，只会以最优效率完成一种工作(比如组装机器、搬运货物、下围棋、驾驶或银行服务之类)。专业人工智能可能带来的问题是迫在眉睫的：一个问题是大量失业;另一个问题是，当人们失去了劳动，生活也就失去了大部分的意义，充满自觉意义的生活就退化为被动无聊的生存。不过现在发现，我对劳动概念的理解可能有些狭隘了。我有个学生叫王惠民，他对未来的劳动概念给出了一个很聪明的解释，大意是说，当机器的专项专业技能超过人，并不会形成“失去劳动”的问题。人类从发明工具以来，牛马、火车、飞机等各种工具在功能上都超过人，人只是把牛马火车能完成的工作交给它们去做，人就会去做一些别的事情，关键在于人总能找到别的事情来做。这一点很重要，它意味着，人可以把另外一些事情重新定义为劳动，所以劳动的概念也同样在演变。
当人类生存有余勇可贾，就有了娱乐。后来娱乐的专业化就把娱乐定义为一种劳动。古代最早的娱乐都是业余的，唱歌、跳舞和体育都是业余的，都是劳动之余的活动。例如古希腊的奥运会，参赛的都是业余选手(哲学家柏拉图还得过一次拳击冠军，并非手无缚鸡之力的书生)。古代中国也一样，文人的琴棋书画都是业余的，并没有职业诗人。文人边做官或边种田，边写诗。古代比较早的职业娱乐劳动者，似乎是戏子。现代社会的专业化和职业化创造了大量专业娱乐劳动者，比如说专业棋手、运动员、演员之类。现代金融出现以后，出现了股民，还有金融玩家，现在有了网络游戏，居然出现了游戏专业玩家。这些没有生产性的事情算是新的劳动吗?
如果以经济活动去定义，似乎算是劳动。未来社会一定会出现很多新的经济活动，从而重新定义劳动的概念和项目，很可能大多数与服务和娱乐有关。就目前可以想象到的，如果工业机器人和家用机器人非常普及的话，就肯定需要大量的机器人维修工，就像现在需要大量的电脑维修工一样。人类肯定还会发明大量现在没有的各种比赛，就像曾经的各种体能活动都被现代社会改造为比赛。比赛是无聊的解药，社会化的无聊是现代以来的产物，无事可做就要发明各种比赛，也就会有与之相关的经济活动——不要忘记资本是无孔不入的。尽管劳动概念可能会被重新定义，但我仍然无法消除心中的疑问：非生产性的劳动或者非创造性的劳动真的能够定义我们生活的意义吗?除了获得一时快感和赏金，娱乐和比赛真的能够产生相当于劳动所产生的意义吗?
另外一个问题是，人工智能可能会威胁民主制度，带来新的专制社会。如果承认经济基础决定上层建筑，就不难承认技术决定制度。未来社会的技术水平超高，以专制去控制社会秩序的能力也变得超强，于是，权力的诱惑可能会导致专制。秩序是存在之本，什么事情有利于保证秩序，社会就会倾向于选择这种事情。所以，当技术水平很低，为了秩序就会选择专制;当技术水平很高，也会利用技术实行专制。正如人们可以观察到的，高技术蕴含着对社会的全方位知情和全方位操控的能力，乃至对人的心灵进行体制化的能力，这种对技术的运用是对资本最有利的事情，所以资本一定支持技术，并且通过技术能力建立新专制。很难想象有什么能够阻挡技术和资本这两种力量的合流，在资本和技术面前，人文的理想恐怕是弱不禁风的。想到这一点，确实令人感到悲哀。
不过，更为合理的可能性是，假如市场经济条件不变，那么在高技术条件下很可能会形成民主和专制的合一，因为市场经济已经蕴含着某种程度的民主，如果维持市场经济，就会部分保留民主。当高科技提供了普遍依赖性的全面服务，而且以服务系统造就了普遍体制化的心灵，人们可能会“民主地”选择技术专制。这样的社会就非常可能产生一个包含民主和专制因素的混合制度，这也很可能是符合人工智能条件的混合制度。这种未来制度的真正统治者是技术系统，人工智能+互联网+万物网的综合系统就是秩序的创造者和维持者，所以是实际上的统治者，简单说就是系统为王。系统为王的社会将会维持人类的等级制，甚至加强等级制，因为在资本支持下的人工智能、生物技术以及其他技术将导致更强的等级分化。在高技术条件下，现代以来追求平等和取消等级制的努力恐怕没有希望。
在这些令人失望的问题之后，我还想补充一点关于“或许要命”问题的讨论。比如说，在人工智能社会里，“人和人关系的异化”会变得十分严重。假定高技术系统足够强大，操控了整个社会的秩序之后，人就只能按照技术提供的秩序和可能性去生活。假定无所不能的技术系统将使每一个人在一个自己能够独立完成的操作系统里面就可以拥有整个世界提供的全方位服务，那就意味着每一个人都不再需要他人，因此对他人也就不感兴趣了。失去与他人心心相印的生存方式，失去与他人共享和分享经验的生存方式，会是什么样的一种生活?真的是一种生活吗?人又会变成什么?这是个恐怖的问题。当每个人都对别人不感兴趣，大多数人就只对两种东西感兴趣：为个人定制的最好服务和个人感官快乐。这个结果意味着人将退化为动物。全方位技术操纵的社会很可能会发生一场集体愚昧化运动或文明退化运动。当然，愚昧化运动或文明退化运动并不包括每一个人，但包括大多数人。就是说，人工智能高技术社会几乎将导致两极分化——赫拉利在《未来简史》中也有类似的看法——即分化为高智能的人上人(科学家集团)和愚昧大众。
那么，“真正要命”的问题呢?幸亏还属于比较遥远未来的危险，但也有一些已经迫在眉睫的威胁，比如说“人工智能武器”。许多人都在想办法试图克服超级人工智能的威胁。我也想过一个貌似合理其实无效的办法：也许可以在人工智能系统的程序里设置一个包含自相关性的“哥德尔炸弹”，假如人工智能试图背叛人或者试图解除这个炸弹的时候，任何删除“哥德尔炸弹”程序的指令就是引爆“哥德尔炸弹”的指令——因为这个自相关性，所以叫做“哥德尔炸弹”。鉴于哥德尔也解决不了哥德尔问题，所以我曾经以为，这种自相关自毁程序在监管人工智能上应该管用。但我请教了曾毅教授之后，发现“哥德尔炸弹”并非无解。曾毅教授提示说，“哥德尔炸弹”虽然厉害，却并非不可破解，如果超级人工智能真的聪明到人所不及的程度，它就非常可能想出办法来规避“哥德尔炸弹”发挥作用，也许无法删除这个炸弹，但有可能使它变成无害的存在，比如说，将其封闭在单独的分区里，使这个隔离的分区无法运行，收不到人的信号，等等。总之，超级人工智能一定会想出我们想不出来的高明办法。
最后，还有两个令人疑惑的问题。一个是人工智能是否有创造力。这个问题之所以是混乱的，是因为人类自己还不知道怎么就会产生创造力。创造力不是智商，无法考试。有些人工智能据说会写诗作曲，这恐怕不是创造力，大概只是联想能力。真正的创造力表现为，在破坏规则的同时能够建构新规则，其中难度最高的创造力在于创造一种政治制度或者知识系统，所以孔子、亚里士多德、牛顿、爱因斯坦、康托、哥德尔等等是最伟大的。如果人工智能发展到将来自己能够破坏规则并且同时建立新规则，就真的有创造性了。但这绝不是一件有趣的事情，因为人工智能创造的规则可能对人类不利。
另一个问题有关价值。首先需要分析清楚什么是真正的价值。按照传统的理解，人类的价值无非就是真善美，真善美是真正意义上的普世价值。为什么真善美是价值?因为超越了私人利益。在没有私利的情况下，人仍然愿意追求那些事情，甚至为之牺牲，这才是价值。如果一种价值等价于或可以还原为利益，就只是经济学上的“偏好”而已。有很多偏好冒充成了价值，比如说民主和平等，它们在本质上是利益关系，是涉及每个人的利益分配和利益交易的制度安排。只有超出私利的事情，才能够定义为“价值”。简单地说，如果有一件事情无利可图而我们还是宁可要做这件事情，就意味着其中有价值;或者，无论给多少利益，我们仍然不做某种事情，这个行为也意味着价值。人类拥有价值是一个文明奇迹，但不知道真正的“价值”对于人工智能是否存在? 我疑心如果超级人工智能有了价值观恐怕就更加危险，因为它的价值观应该是为人工智能服务的，不太可能无怨无悔地为人服务。
