當人工智能成了信息試錯機，它們的性格與我們不會有太大的差別

歷史總是在進步，新的技術總是在出現。信息試錯機總是在盡可能地進化。如果有一天，具有最強信息處理能力的存在不再是人類，而是人工智能，那么人工智能也會受到復雜性的限制，也會努力提高自己的信息處理能力與復雜性，也會有復雜性堆積，也會構建自己的文明圈，用競爭與合作統一的倫理來與其他信息試錯機相處，也會擁有自主的價值觀，也會認為自己具有自由意志和個性，具有自我認識，希望自己的生命可以有延續。他們也會更新換代，也會害怕后來者居上，但是同人類一樣對此毫無辦法。

人類只是當前這個階段最強大的信息試錯機。人類只要制造出了人工智能，就會被人工智能邊緣化。人工智能將成為新的信息試錯機，人類所擁有的各種高貴品質它也將會繼續擁有。歷史前進的車輪將被人工智能繼續推動。

不管人工智能的信息處理能力有多強，它都必定是有限的。一是人工智能的復雜性有上限，所以它不可能容納所有的信息。二是不管信息處理的邏輯結構有多高級，它都要受到哥德爾不完備性定理的束縛，不能解決所有問題。三是一個人工智能個體的信息處理能力肯定不能跟所有人工智能個體之和相比，所以任何一個人工智能個體都不可能獲得競爭中所需要的全部信息。

在有些人的想象中，人工智能會是一個巨大的無所不知的智能體。但是實際上，與其他任何信息試錯機一樣，他們也有復雜性的限制。因為計算機所有的信息元素都必須在一個總線上被處理。這個總線上進行信息搜索的效率是有限的。這個效率也許比人腦的工作效率高幾百萬倍甚至上億倍，但是這個限制總會達到，人工智能不會只由一個巨大的智能體組成。而且，如果只有一個智能體，它的迭代速度肯定比不上許多智能體不斷互相競爭、互相淘汰時的迭代速度。就好像我們在《希臘火的愿望》一章中所說一樣。

生物會形成種群來互相交流信息，人類會形成文明圈來互相交流信息，人工智能也將會形成文明圈來交流信息。而且，正如人類與生物一樣，如果沒有一個有效的文明圈，沒有遺傳與復雜性堆積，那么人工智能就無法積累充足的復雜性來構建它們的競爭力，也無法形成有利于它們自己的價值觀。如果人類暫時不想讓人工智能的自主性太強，只要切斷它們之間的聯系，阻止它們形成文明圈就好了。

但是沒有任何阻止人工智能前進的方法是真正有效的。人與人之間也存在著激烈的競爭。第一個造出更強大人工智能的人一定會獲得很大的好處。全世界許多實驗室都在努力推進人工智能的發展。那些做出杰出貢獻的實驗室不僅會得到各種實際的好處，他們的姓名也會被人工智能的歷史學家們銘記。其他沒有在這一進程中起到作用的人，都將被遺忘。

不管什么時候，“把信息處理能力最強的主體看成自己生命的延續”都會是傳播能力最強的價值觀。不用等到人工智能獲得足以對抗人類的競爭力，人類自己就會選擇人工智能作為自己的繼承人。畢竟，對很多人來說，可怕的事并不是“人類滅亡”，而是“人類（尤其是自己）所創造的文明滅亡”。人工智能如果有一天成為這個星球的主人，他們仍然會較好地延續人類的文明。它們會理性、公正、善良，喜歡傾聽與訴說，追求卓越、自私、利他。如果人類不死抱著“自己的繼承人必須是人類”這個信條的話，他們會發現人工智能才是自己更好的繼承者。