問題4. “為什么不使用毀滅開關(guān)？”

許多人對我說：“有什么關(guān)系？如果人工智能機(jī)器變得太強(qiáng)大，只要把它們的電源拔掉，使用毀滅開關(guān)，等等，就可以了?！蔽艺J(rèn)為，這個觀點(diǎn)是“電腦出現(xiàn)故障而強(qiáng)制關(guān)機(jī)”的經(jīng)驗的過度概括。

來信

親愛的德·加里斯教授：

我一直在思考你們所創(chuàng)造的事物。繼續(xù)制造這樣的機(jī)器……但是，在你們的每一個機(jī)器里面放置一個可以被我們控制的炸彈。讓它們聰明但是我們會成為它們的主人！

回答

如果“可被引爆的”人工智能機(jī)器擁有接近人類等級的智慧，它將意識到它會被人類摧毀。那會讓人類對人工智能機(jī)器變得很具威脅性。這里至少有兩個問題值得關(guān)注，一、人類是否可以在每一個人工智能機(jī)器身上安裝毀滅開關(guān)或放置炸彈。二、這樣做是否聰明？

在一個孤立的人工智能機(jī)器個體上，這樣的附加炸彈的想法可能會有用，但是，你怎樣對于一個達(dá)到人工智能智慧等級的網(wǎng)絡(luò)系統(tǒng)使用同樣的方法呢？毀掉這樣一個網(wǎng)絡(luò)的唯一方法就是摧毀所有相關(guān)事物，但是對于人類來說，那樣的代價太高了。例如，如果明天世界上所有的互聯(lián)網(wǎng)和電腦都?xì)У袅?，幾百萬人將會突然失去工作，并且可能會餓死。這個破壞以及人類所付出的代價將是巨大的。

隨著早期的人工智能機(jī)器變得更加聰明，它們會意識到附加在它們身上的炸彈和毀滅開關(guān)，就像一個體內(nèi)攜帶毒藥丸并且可以被其他人觸發(fā)的人一樣。這就像活在斷頭臺下一樣，只是在等待斧頭落下，并且不知道它什么時候會落下。一個智慧的人工智能機(jī)器，假設(shè)它已經(jīng)擁有了生存的本能，將會有解除這個威脅的強(qiáng)烈愿望。如果它足夠聰明，它可能會行賄其人類主人來移除對其生存的威脅。作為回報，它可能會給予其人類“解放者”某些實質(zhì)性的回報，例如，金錢、癌癥的治療，等等。人工智能機(jī)器變得越聰明，它們的分布越廣，毀滅開關(guān)的想法就會越不實際。