但是你可能會說，敲響警鐘只能加速人類之間(宇宙主義者和地球主義者)的人工智能戰(zhàn)爭。這樣的人類戰(zhàn)爭對人類的危害不比高級人工智能差。如果人類在本世紀(jì)使用先進(jìn)的武器進(jìn)行一場殘酷的戰(zhàn)爭，結(jié)果將是大規(guī)模的死亡。

正確，但是不能肯定這一定會發(fā)生。我認(rèn)為，人類在人類戰(zhàn)爭中存活下去的可能性比人工智能機(jī)器決定完全毀滅人類的機(jī)會大。由于智慧水平，人工智能機(jī)器們會發(fā)現(xiàn)這樣的任務(wù)(毀滅人類)是如此的簡單。

對于這些部分，你可能感覺有些猶疑，甚至是不舒服。我承認(rèn)，我也感覺不舒服。我一部分是宇宙主義者，宇宙主義是我的夢想，它是我為之獻(xiàn)身的事業(yè)；而另一部分我是地球主義者，我并不想人類大規(guī)模死亡，我告訴自己，如果所有的大腦制造者都停止工作，將不會有人工智能帶來的任何問題。我想，我可能是地球上第一個這樣的大腦制造者，那就是和制造原子彈(鈾彈或氫彈)的核物理學(xué)家一樣感受到了某種道德上的困惑。然而，他們中大多數(shù)是在核彈被投放之后感到了疑慮，而不是之前。

首先，我認(rèn)為大腦制造研究不會停止。正如我在第6章解釋的一樣，這章主要介紹了人工智能戰(zhàn)爭是怎樣開始的，我所看到的唯一能夠讓大腦制造停止的方法就是地球主義者的吶喊成為普遍現(xiàn)象并且在政治上非常有力。它必須足夠強(qiáng)大，以便可以形成一個能夠搜尋那些可疑的宇宙主義研究者的私人住宅的集權(quán)國家，并且更主要的是，能夠勝過那些支持繼續(xù)人工智能研究的經(jīng)濟(jì)和政治力量。

我認(rèn)為，最折磨我的道德問題是：“如果推動人工智能研究最終帶來幾十億人死亡將怎么辦？如果你肯定這將是所需的代價你還會繼續(xù)嗎？”在我寫本書的時候，我正在思考這個問題，而且我的思想可能會隨著我的變老而改變，我的回答將會是這樣的：“如果我能夠肯定這點，雖然這些還是猜想，那么我將需要更深程度地反省自己，來看看我堅持宇宙主義者的夢想到底有多大的程度。一方面，我可能會認(rèn)為宇宙對于人類的命運漠不關(guān)心—— 僅僅是處在一個微不足道的宇宙中一個微小的星系中的一個微小的恒星星系中的一顆微小的星球上的一種微小的生物，如果正如理論家們指出的一樣有萬億個宇宙的話。我的無情的宇宙主義一面會這樣思考問題，所以我會選擇繼續(xù)支持制造人工智能機(jī)器。

但是另一方面，我也是一個人，由于宇宙主義夢想而導(dǎo)致幾十億人死亡的結(jié)果是我完全排斥的。我認(rèn)為，我將不得不學(xué)會習(xí)慣這樣可怕的道德困境。人類也需要這樣。我只是第一批意識到這點的人。想象一下我的工作的遠(yuǎn)期后果，它將迫使我這樣想問題。