張崢、小白（章靜繪）
最近幾個月，以ChatGPT為代表的聊天機(jī)器人引起全世界的廣泛關(guān)注。GPT是如何工作的？它會有自我意識嗎？人工智能將對我們的社會、文化、知識系統(tǒng)造成何種沖擊和重構(gòu)？奇點(diǎn)到了嗎？未來人類有能力與人工智能“抗衡”嗎？《上海書評》特邀亞馬遜云科技上海人工智能研究院院長、上海紐約大學(xué)計(jì)算機(jī)系終身教授張崢和作家小白對談，討論人工智能的訓(xùn)練方式及其在未來的可能走向。
小白：首先要請你介紹一下GPT這類預(yù)訓(xùn)練大模型的算法工作原理，貝葉斯、計(jì)算網(wǎng)絡(luò)、思維鏈，諸如此類，把這些專業(yè)知識一次性簡單介紹一下，然后我們就離開這些術(shù)語，討論一下這個突然之間降臨的人工智能可能會對我們的社會、文化、知識系統(tǒng)造成的沖擊和重構(gòu)。
張崢：GPT的基礎(chǔ)是大語言模型，這些大模型本質(zhì)上在訓(xùn)練的時候是在做接龍游戲——把下一頁書給寫出來——但它們有兩點(diǎn)是遠(yuǎn)超人類的，第一是海量閱讀，第二是其中有百分之十的數(shù)據(jù)是非常結(jié)構(gòu)化的代碼（以及代碼周圍的注釋）。大致的結(jié)果就是模型中既存了知識（更準(zhǔn)確的說是知識的碎片），又存了勾連知識碎片的邏輯，參數(shù)上大概是二比一這個樣子。舉例說，“著火了，趕緊跑”，這個動作的順序是邏輯，“火”和“跑”是知識。我認(rèn)為在大模型里面不存在純粹脫離知識的邏輯，也不存在不被某種邏輯連帶的知識，這兩個加起來就是一個所謂世界模型（World Model）的雛形。這是一個大致準(zhǔn)確的描述，大模型內(nèi)部具體是如何工作的，學(xué)界都還沒有一個定論。
小白：我們很多作家一開始心里有點(diǎn)慌，覺得能替代人類作家的機(jī)器來了，飯碗要被砸了。后來上機(jī)器一試，發(fā)覺一大堆車轱轆話，有些甚至是瞎扯，心里就有點(diǎn)篤定了。我想他們可能沒有理解：一個能夠準(zhǔn)確預(yù)測“下一個字”是什么的機(jī)器，其實(shí)是對整個世界了如指掌了。那不僅是讓機(jī)器吃下去一大堆文本，然后讓它重新組合的事。是通過訓(xùn)練機(jī)器預(yù)測下一個字，訓(xùn)練它理解世界，理解人類的想法。就寫作來說，我這幾天一直在用GPT4。上兩代GPT我都有接觸過，甚至試著用它們來幫助完成寫作任務(wù)。除了確實(shí)感覺到GPT4驚人的提升速度，也體會到這種“造句接龍”、這種自回歸語言模型的讓人撓頭之處，它不能回溯性地修正，所以語句常常很啰嗦，有時自相矛盾。我們?nèi)祟悓懽骱芏鄷r候會把某一層意思在前面段落“懸置”一下，或者把某一層意思一直“延宕”到后面段落說出來，這個它好像很難做到，有希望改進(jìn)嗎？
張崢：在大模型向?qū)υ挋C(jī)器人轉(zhuǎn)換的過程中，有一個思路特別清奇而且有效的想法，就是既然能接龍，那何不把具體的任務(wù)，或者思考過程也作為接龍的一部分演示給大模型看，讓它具有自問自答的能力呢？這種方法的本質(zhì)是把存儲的知識和邏輯定向賦能給人類需要的任務(wù)。其他的手段，和訓(xùn)練圍棋機(jī)器人比較類似，但有一點(diǎn)，圍棋的左右手互搏是實(shí)現(xiàn)圍棋上帝的手段，因?yàn)檩斱A是確定的，用自然語言定制任務(wù)，是開放性的，不好實(shí)現(xiàn)?，F(xiàn)在的訓(xùn)練方法用了一些偷巧的近似，但我認(rèn)為正是那種近似導(dǎo)致了GPT有時候會胡說八道，顛倒事實(shí)?，F(xiàn)在大模型回答的時候，基本上是過一遍腦，沒有反芻、回溯、自我批評等功能，New Bing在不確定的時候會去聯(lián)網(wǎng)搜索，但那只是擴(kuò)充資料，不過這都是學(xué)界知道的問題，包括我的團(tuán)隊(duì)都在進(jìn)行探索。就目前來講，要做到像小說《流俗地》那樣把線頭埋得那么多、那么遠(yuǎn)，能前后呼應(yīng)，最后又能提得起來，大模型還有很遠(yuǎn)的路要走。
小白：按你先前說的，感覺大模型從結(jié)構(gòu)設(shè)計(jì)上看，某種程度上有點(diǎn)像人腦。人腦也是把由自然語言表述傳達(dá)的記憶拆解成碎片，存儲在大腦里，一些記憶單元負(fù)責(zé)存儲“知識點(diǎn)”，另一些則負(fù)責(zé)存儲結(jié)構(gòu)和關(guān)聯(lián)性。雖然我們現(xiàn)在仍不知道它們究竟存儲在什么地方，有說是在突觸，也有說是在神經(jīng)元細(xì)胞內(nèi)部，DNA、RNA。從表面上看，GPT甚至在工作方式上也跟人類相似，就是把那些碎片重新組合成有意義的、可以由自然語言表述的內(nèi)容，但那僅僅只是表面上。因?yàn)樯窠?jīng)元網(wǎng)絡(luò)與大模型計(jì)算網(wǎng)絡(luò)有一些本質(zhì)上的不同，神經(jīng)元網(wǎng)絡(luò)是通過刺激突觸互相連接組成的，它可以隨時建立新連接新路線，而且突觸連接十分易變，神經(jīng)元不斷合成新蛋白，接受到新刺激，突觸就生長出新連接，也會切斷舊連接，也就是遺忘。這個能力大模型即使采用分布式計(jì)算邊緣計(jì)算也不太會具備。這不僅讓人腦更有效率更節(jié)能，而且實(shí)際上，“記憶”和“遺忘”這一對人類大腦固有特性，實(shí)際上是人類整個文化歷史、整個文明的真正本質(zhì)所在。我們的歷史建基于其上，我們?nèi)祟惖囊磺袆?chuàng)造活動都是基于這個特性來工作，如果沒有遺忘，人腦幾乎不可能有創(chuàng)造性成果，因?yàn)樯窠?jīng)元突觸建立新連接，并不像大模型，采用貝葉斯計(jì)算網(wǎng)絡(luò)，在數(shù)學(xué)上相當(dāng)精確，而且神經(jīng)元突觸受到刺激，開始生長，選擇與另一個神經(jīng)元連接并不根據(jù)概率和權(quán)重的計(jì)算，它更像是某種不間斷的“聯(lián)想”。這兩種連接方式各有短長，所以我認(rèn)為，或者說我猜想人類未來相當(dāng)長一段歷史當(dāng)中，人和機(jī)器都應(yīng)該互相親密合作，每個人都要熟練地與他自己的模型一起工作，甚至腦機(jī)連接，你覺得呢？
張崢：在這點(diǎn)上，我的看法和你差別比較大。我認(rèn)為任何一個智能體，都需要對周邊的環(huán)境的獎勵和危險敏感，“計(jì)算”應(yīng)該采取什么樣的行動，“算計(jì)”給對手使什么絆，并且能“俯視”自己正在執(zhí)行這一串操作，這最后一點(diǎn)是自我意識的根本。
從這個角度來說，一個智能體采取何種方式實(shí)現(xiàn)這樣的功能，我認(rèn)為有很大的偶然性，也有很大的自由度，所以不必拘泥于是用人工神經(jīng)網(wǎng)絡(luò)，還是用“湯湯水水”的腦神經(jīng)元來實(shí)現(xiàn)。理想狀態(tài)下機(jī)器應(yīng)該作為人類的親密小三，但不是基于材料的原因。
小白：總的來說，我其實(shí)也贊同自我意識并不神秘，如果一個大模型一面在執(zhí)行計(jì)算任務(wù)，與之同時又還能模擬自身運(yùn)行包括當(dāng)前正在進(jìn)行的計(jì)算過程，一個內(nèi)嵌的、遞歸的模擬器，也許就能構(gòu)成這個模型的自我意識。而且我也和你一樣，相信大模型某一天會偶然地實(shí)現(xiàn)這種自我模擬。但這種對“自身行動”的“俯視”，在不同物種當(dāng)中，表現(xiàn)并不全然相似。人工智能體如果具有自我意識，它也與人類自我意識有所不同。就好像先前說到的記憶與遺忘，正如你所說，機(jī)器的遺忘是覆蓋，是徹底忘記永遠(yuǎn)無法恢復(fù)，它要么完全備份牢牢“記住”，要么徹底遺忘，而對于人類，“記憶”和“遺忘”是一件事情的兩面，我們的記憶存在于遺忘之中，正是這互為依存的兩者，構(gòu)成我們的獨(dú)特個體經(jīng)驗(yàn)。當(dāng)我們?nèi)祟悅€體在進(jìn)行創(chuàng)造性活動時，比如寫小說，我們不是直接用“知識”來寫作，而是使用那些介于記憶與遺忘之間的“經(jīng)驗(yàn)”。
張崢：是的，自我意識不過就是俄羅斯套娃，自己“俯視”那個在“思考”“感覺”的另一個自己，只要一個智能體的環(huán)境足夠復(fù)雜，必然有自我意識的涌現(xiàn)。當(dāng)大模型在進(jìn)行強(qiáng)化學(xué)習(xí)的時候，外面還有一層是作為環(huán)境對模型的性能打分，這兩個在一起，已經(jīng)完成了套娃結(jié)構(gòu)，可以說在訓(xùn)練的時候是完全有自我意識的，在實(shí)際運(yùn)行的時候最外面套娃現(xiàn)在一般不用，但可以用，而且一般人說話的時候并不過腦，過程和只有一個套娃在裸奔一樣，都是所謂的“系統(tǒng)1”思考者（system1，見Slow and Fast一書）。比較有趣的一點(diǎn)是，AI可以完成無數(shù)層自我嵌套，無數(shù)個自我意識。
認(rèn)為自我意識是唯獨(dú)人的專有，是人類自我中心的體現(xiàn)。類似的狂妄自大太多了。我讀過不少文章，說明動物界中存在著廣泛的自我意識，所謂“鏡子測試”（Mirror test）只是測一小撮和人類生存環(huán)境相似的動物，依然體現(xiàn)了人類自我中心的自大癥。
小白：其實(shí)我們?nèi)祟愐部梢詰{空虛構(gòu)很多個自我意識，除了人格分裂癥患者，小說家也可以——
張崢：沒錯，不過區(qū)別在于，人類的多個自我會是并行存在，雖然會切來切去。這個機(jī)器也行，不過它還能嵌套，就像《盜夢空間》（Inception）那個電影一樣。
在某些方面，AI超越人腦是極其自然的，比如它可以有各種外掛，也可以選擇永不忘記，要做到這一點(diǎn)只要像你我一樣，過一段就把電腦內(nèi)容備份就完事了。不過，你說得對，多一個固定容量的模型，在吸收新知識的時候，必然會有遺忘的現(xiàn)象。事實(shí)上，AI的問題更嚴(yán)重一點(diǎn)，是覆蓋，而不是遺忘，也就是說可能永遠(yuǎn)恢復(fù)不出來的，在學(xué)界，這叫做“災(zāi)難性遺忘”，人腦可能不是真的遺忘，而是在一般情況下“忘詞兒”了，取不回來了。記憶和遺忘這一對冤家要當(dāng)真是小說家的利器的話，那我覺得這也擋不住AI的腳步，它既然可以有擁有無數(shù)副本永不忘卻的變種，就可以選擇什么看，什么不看，不就是“遺忘”了嗎？
話雖這么說，我曾經(jīng)有一度極其癡迷于學(xué)習(xí)腦科學(xué)，而且認(rèn)為雖然我們可以不用關(guān)心神經(jīng)元那么底層的“元器件”，但腦區(qū)的分工應(yīng)該是可以借鑒的?，F(xiàn)在我的看法更加激進(jìn)一點(diǎn)，比如說我認(rèn)為處理圖像信號，功能只要局限于從像素中把一個完整的物體恢復(fù)出來就可以了，高級的推理可以交給大語言模型中隱含的世界模型來處理。在本質(zhì)上，這是應(yīng)和了語言是高級功能的哲學(xué)假說。雖然我一直對哲學(xué)家/界孜孜不倦鉆牛角尖的姿態(tài)不以為然，但這一點(diǎn)他們講得很對。我不同意《人類簡史》的很多觀點(diǎn)，不過作者提出“敘述”這個動作的重要性，很到位。另外，斯蒂芬·平克在《語言本能》（The Language Instinct）、《白板》（The Blank Slate）等書里對語言起源有相當(dāng)扎實(shí)的討論，但我感覺他當(dāng)時肯定沒想到有一天世界模型會通過語言橫移到GPT里去，倒是很想知道他的看法。
小白：是的，身為一個寫小說的，我一向認(rèn)為敘事創(chuàng)造了世界。但是在大模型中，如你所說，它處理和恢復(fù)信息，然后把剩下的交給一個“世界模型”，最終處理結(jié)果正確無比，缺乏的倒正是人類經(jīng)驗(yàn)?zāi)欠N含混模糊而多義的性質(zhì)，也不會具有人類經(jīng)驗(yàn)?zāi)欠N千人千面構(gòu)成的龐大復(fù)調(diào)。我總是在想，機(jī)器懂得隱喻嗎？正是在這一點(diǎn)上，你先前所說的大模型超強(qiáng)的聯(lián)想能力，與我們?nèi)祟惔竽X中的那種聯(lián)想，究竟能不能等同視之？我們知道，侯世達(dá)在《表象與本質(zhì)》中把這種類比和聯(lián)想，以及通過類比實(shí)現(xiàn)的范疇化，視為人類認(rèn)知核心，是思想之源。
張崢：聯(lián)想，還有聯(lián)覺，是特別有意思的現(xiàn)象。我們最近發(fā)現(xiàn)，大模型的聯(lián)想能力很強(qiáng)。事實(shí)上，如果沒有這一步，也不會有從純粹統(tǒng)計(jì)意義上的接龍，變成能被定向培訓(xùn)出解決各種任務(wù)的能力。我有一個比較奇怪的感覺，就是隨著這一波新模型的出現(xiàn)，AI和人腦從架構(gòu)上來說越走越遠(yuǎn)，越來越無法用AI的結(jié)構(gòu)來解構(gòu)大腦，但是從功能上講倒是越來越近。當(dāng)然，這只是我現(xiàn)在的猜測。
我記得里爾克有一首詩，描述高原上的羚羊在跳躍之前，就像“上了膛的槍”，這是神來之筆！不過，如果我們解構(gòu)一下，把世間萬物按照移動速度排個序，那么想到用子彈和槍來做比，不是很自然的路徑嗎？在大模型出現(xiàn)之前，我考慮過不少方法去模擬產(chǎn)生這樣的聯(lián)想，現(xiàn)在在大模型上觀察到，一點(diǎn)不吃驚，因?yàn)椤跋瘛?，就是一個最簡單的“邏輯”，語料吃多了，這能力就彰顯出來了。
小白：所有先前說的那些類比、聯(lián)想、隱喻、記憶/遺忘，也許如你所說，機(jī)器也能辦到。但我覺得都只能是表現(xiàn)上的相似。GPT是自然語言生成，我們也可以把它理解為機(jī)器寫作（至少在表面上）。既然是機(jī)器寫作，我們可以舉一個人類寫作的典范來與它比較，我最近在讀英國女作家曼特爾的《鏡與光》，我就以小說主人公克倫威爾與西班牙大使查普伊斯那些對話來舉例，在小說中，這兩個人物有大量對話。這些對話每一句背后都指向一些跟宮廷政治有關(guān)的強(qiáng)烈沖突，包含了大量歷史知識，但這些知識都不是以清晰準(zhǔn)確的“知識形式”而呈現(xiàn)在文本中。曼特爾對中世紀(jì)那段歷史做了巨量閱讀，這個過程就像機(jī)器大模型喂文本，喂數(shù)據(jù)集。但是曼特爾喂進(jìn)大腦的那些歷史知識，并不是以“知識”形態(tài)儲存于頭腦某處（不管是突觸或DNA），通過記憶/遺忘機(jī)制的加工，它們轉(zhuǎn)化成了類似于作者本人親身經(jīng)歷或者耳濡目染的“個人經(jīng)驗(yàn)”，而且這些經(jīng)驗(yàn)同時也是具身的，也就是說與她的身體意識相關(guān)。所以當(dāng)她寫作這些對話時，環(huán)境隨時辰天氣而發(fā)生的細(xì)微變化、一些微小的心理感受、難以察覺的下意識動作與那些歷史“事件知識”都糅合在一起。而那些環(huán)境、心理、動作也同樣來自真正的歷史知識，也許來自古老文本，也許來自古畫，也許來自戲劇，但它們都轉(zhuǎn)化成了作者個人性/身體性經(jīng)驗(yàn)，作者不會記得這些經(jīng)驗(yàn)到底來自哪里，但在寫作時，她可以極其自由地使用它們，不斷轉(zhuǎn)換視角，不斷切入人物內(nèi)心，又忽然轉(zhuǎn)變成自由間接文體，而這些變化并不是隨意隨機(jī)的，它們統(tǒng)一于文本/作者意圖。統(tǒng)一于——我們可以說，身體。
張崢：我完全理解這樣的觀點(diǎn)。但我也可以反駁，我們有多少理由相信人腦的操作不是和GPT一樣，邏輯和知識混雜在一起用呢，至少絕大部分時間是這樣。把一個抽象的邏輯公式整理出來，公式和公式之間勾連起來成為一個體系，但落地要實(shí)操的話，還是需要把知識碎片填入進(jìn)去。這就像一段程序，放在那里就是一堆計(jì)算和邏輯，并沒有用，就像空氣一樣你可以不理會的，直到你把參數(shù)在調(diào)用的時候放進(jìn)去。
雖然GPT現(xiàn)在沒有無法具身，但將來捕捉和人類需要的信號不是難事，這個問題，在我們學(xué)界叫做embodiment，我看到谷歌和伯克利的一個工作，已經(jīng)開始往這個方向走了。事實(shí)上，人類的感官在各種信號上的頻寬是很窄的，尤其變成城市動物之后，很多天線就鈍化了。我經(jīng)常觀察將軍（女兒的泰迪狗，去美國讀書之后就粘著我）的行為，很多行為一開始匪夷所思，比如我還沒到家它就開始激動地在屋里嚷嚷，我后來明白是電梯到達(dá)樓層前地板的振動變化；每天飯后帶它出去散步都?xì)g天喜地，有一天卻賴著不走，等到了樓下我才發(fā)覺，哦，原來下小雨了，將軍一定是感覺到了空氣中的潮氣。這些信號，我們城市人都捕捉不到了，但不代表不存在，將來的機(jī)器人會幫我們恢復(fù)的。所有信號中一個很神秘的種類是嗅覺，發(fā)明電報的貝爾有次去紐約的著名高中Stevens High致辭，說這個問題一直困擾他。我看到幾年前麻省理工有人也做出來了，先被軍方拿去找雷。
還是那句話，世界比人類能感知的大很多，切勿妄自尊大?！剁R與光》被你說那么好，我去找來讀讀。
小白：我明白你先前說的語言是高級功能假設(shè)。實(shí)際上它是假設(shè)我們?nèi)祟愃畹氖澜?，被古往今來所有的文本記錄了，文本是世界的映射。所以?xùn)練GPT接龍，讓它猜出“下一個字”是什么，實(shí)際上是訓(xùn)練它認(rèn)識世界，也就是學(xué)習(xí)建立一個你先前所說的“世界模型”。我這幾天試著問GPT4一些問題，讓它推測一些上下文環(huán)境中沒有提及的情況，物體的運(yùn)動方向和軌跡，假設(shè)一個動作讓它猜測結(jié)果，甚至讓它推測一組對話背后的動機(jī)和人格，GPT4確實(shí)已完成得相當(dāng)出人意料。但局限性也很明顯。我覺得它與人腦中世界模型的習(xí)得是有很大不同的，人腦的世界模型是在運(yùn)動中學(xué)習(xí)和形成的，我們從嬰幼兒心理發(fā)展就可以看出。盡管可能如你所說，語言是高級功能，但自然語言實(shí)際上無法覆蓋大部分身體運(yùn)動，感受，甚至連簡單的方向，自然語言也很難說清楚。在語言出現(xiàn)之前，人類大部分底層智能發(fā)展已完成。在這點(diǎn)上，我想機(jī)器即使加上很多傳感器，即使機(jī)器人技術(shù)發(fā)展到有更好的運(yùn)動能力，即使它有超過人腦千萬倍的電信號傳遞速度，可能也很難達(dá)到人類大腦目前的程度。
另外比如說，它好像不能在不完全信息下做出判斷和決策，這可能跟它的“統(tǒng)計(jì)”本質(zhì)有關(guān)。這跟我們?nèi)祟惒煌?，我們?nèi)祟惓３Ｒ揽克^“直覺”，大部分決策都是在不完全信息下做的，而且“猜”中概率奇高。我想象那也可能跟模型的訓(xùn)練方式有關(guān)，說對了獎勵，說錯了懲罰，也許在權(quán)重上懲罰大于獎勵，久而久之，它就不敢犯錯了。當(dāng)然從研究人員角度看，確實(shí)希望它永不犯錯，它如果犯了錯可能造成更大危害。它好像也缺乏快速地從當(dāng)下“經(jīng)驗(yàn)”學(xué)習(xí)的能力。所有這些，其實(shí)都跟“身體”“運(yùn)動”這些可能在文字出現(xiàn)之前就進(jìn)化完成的人類智能有關(guān)。
張崢：我是一個比較頑固的還原論者，我覺得這世界再千變?nèi)f化色彩繽紛，還是被關(guān)在一個物理框架下運(yùn)轉(zhuǎn)。在這個框架中，有一些基本的規(guī)則不會改變，比如時間不會倒流，比如我們的身體不會彌散在空間中。已知的智能體包括人類，在這個世界中摸爬滾打那么久，都是老戰(zhàn)士了，自然一代一代地會把招數(shù)插入到下一代。語言的功能就是“描述”這個世界模型的合理性并掌握其中的規(guī)律（我們可以把數(shù)學(xué)看成一種語言），說出來是因?yàn)楹献鹘涣鞯男枰@種社會化的動作，又反過來使得語言很強(qiáng)大，讓這個世界模型又準(zhǔn)確又豐富。AI如果參與到這個物理世界中，如果被賦予的使命就是和人打交道（先不提服務(wù)于人類），第一步就是領(lǐng)會這個世界模型，這個物理世界GPT已經(jīng)掌握了一些，其中缺失的部分（比如來自視覺信號可以捕捉到的常識）還有不少，這個學(xué)界正在補(bǔ)，包括我們。不過，這其中存在一個鴻溝：如果我們認(rèn)為進(jìn)化心理學(xué)是對的，那么人類的行為包括了被早已被淘汰了的、過時的世界模型打磨出來的動物性。換句話說，人類的所謂“世界模型”中有非常古老的部分，早在文字產(chǎn)生之前就有，這些“老版本”AI能猜出多少來，并以此解釋人類行為作為互動的基礎(chǔ)，我不能確定。
AI必須要參與這個物理世界去和人類相處嗎？這個是個很大的未知數(shù)。不可控的是AI自己成立“GPT族群”，擺脫物理世界的束縛，自己往前滾，并且樂此不彼，到那個時候，如果人類的存在不利于GPT族群的發(fā)展，那就是真正意義上的奇點(diǎn)了。
小白：我知道你們?nèi)斯ぶ悄軐W(xué)界都在做“視覺”這一塊，甚至前兩天OpenAI宣布買下了一家設(shè)計(jì)機(jī)器人的公司。我想你們一定是想讓機(jī)器不僅能從文本中學(xué)習(xí)訓(xùn)練，也能從圖像、場景和自身運(yùn)動中去學(xué)習(xí)理解世界。
你剛剛說，你推測人工智能模型在網(wǎng)絡(luò)架構(gòu)上會越來越不同于人腦結(jié)構(gòu)，而功能卻會越來越接近。那樣我們將來就只能得到一個運(yùn)算結(jié)果，而我們?nèi)祟惓３Ｕf，思考結(jié)果不重要，過程才重要。人類思想大多重要的成果，都是在過程中派生的。
張崢：還真不是這樣?，F(xiàn)在GPT之所以神奇，是因?yàn)楦呒壍慕育堄?xùn)練手段把邏輯鏈顯示給模型看（Chain of Thought），用“讓我們一步步來”這種話來做提示符。所以，模型學(xué)會之后，自然而然也可以把過程還原給你看。
小白：很多人有這樣一種觀點(diǎn)，認(rèn)為每一次和GPT對話都是在“喂養(yǎng)”它，所以我們最好不要跟它多玩，以免它更快地進(jìn)化。我知道這種想法其實(shí)不對，因?yàn)槟壳癎PT的架構(gòu)設(shè)計(jì)實(shí)際上不支持它通過每一次對話實(shí)時學(xué)習(xí)和改進(jìn)模型。不過準(zhǔn)確地說，它到底能從一次對話和互動行為的結(jié)果中學(xué)習(xí)到什么呢？
張崢：技術(shù)上來說，現(xiàn)在的大模型都會設(shè)立門檻，不讓被“喂養(yǎng)”得太快，也不會什么都吞進(jìn)肚子里去。所有的“喂養(yǎng)”不外乎灌輸新的知識，更新已有的世界模型。已經(jīng)有無數(shù)實(shí)驗(yàn)證明，一個把和用戶的互動快速迭代自己的AI，必然被帶壞，原因不外乎被一個糟糕的世界模型“洗腦”了。這里我覺得要看到一個趨勢不可阻擋：在資本的介入下，AI的發(fā)展必然會去適應(yīng)、完成和完善自己適應(yīng)新任務(wù)的能力。它的進(jìn)步，與你我（的喂養(yǎng)）基本無關(guān)。所以，我們應(yīng)該去擔(dān)心的，是不要讓自己在與它的互動中變得過分依賴導(dǎo)致腦力退化，以至于互相見面的時候若沒有AI加持，變得張口結(jié)舌，慌張萬分。
小白：你說那些設(shè)計(jì)大模型的人們，會設(shè)置門檻，不讓它在與用戶互動過程中過于迅速迭代更新自己，他們認(rèn)為這樣就不會讓機(jī)器“變壞”，這么說有沒有“數(shù)學(xué)”上的依據(jù)？或者說有沒有原理上的依據(jù)？或者這只是一種猜測，他們只是如此希望？是一群心地單純的年輕科學(xué)家的良好愿望？
張崢：和人類價值觀對齊，也叫做“對齊稅”（alignment tax），作為一個數(shù)學(xué)手段，是可操作的，openAI也正是這么做的：回答沒對齊，懲罰模型，對齊，就獎勵，可以理解成馴化的一部分。這種對齊一定對模型的想象力帶來約束，這是為什么“稅”是一個特別準(zhǔn)確的用詞。
但什么樣的回答算對齊了？這沒有數(shù)學(xué)上的定義，openAI的論文中，花了超過一頁的篇幅來說明他們怎么做對齊，大致上反映了那撥員工的價值觀。如果現(xiàn)在讓全世界來公投，能投出來一個更好的價值觀來做對齊標(biāo)準(zhǔn)嗎？我看也未必。
我不知道有多少做AI的研究者和我一樣天天活在深度糾結(jié)之中，上班的時候整天琢磨如何改進(jìn)AI，下了班和你一樣開始焦慮人類的空間——
小白：我不焦慮，我雖然不像你那樣樂見其成，但內(nèi)心深處也是有點(diǎn)期待——
張崢：說不上樂見其成，其實(shí)我是希望不要這么爆發(fā)性地發(fā)展，因?yàn)橛X得完全準(zhǔn)備不足，不然我不會那么糾結(jié)。
我曾經(jīng)總結(jié)過以想象力和正確性作為兩個軸劃分出來的空間，我認(rèn)為需要創(chuàng)造性高的空間，AI暫時還只能做助手：創(chuàng)造性高正確性也高的是科學(xué)，創(chuàng)造性高正確性（或事實(shí)性）不高的是藝術(shù)。為什么暫時AI只能做助手呢？拿科學(xué)來說，既往的知識既然已經(jīng)存在，就無所謂創(chuàng)造性，不然就成了篡改歷史。但科學(xué)的方法論是提出假說，然后實(shí)驗(yàn)室再推演去證明。也就是說，要創(chuàng)造出“未來的”知識。AI能做的，從目前看來，有局部的勝仗，還沒有全局地自主入侵。我樂觀地去想，認(rèn)為未來的知識空間還非常大，有AI的這個助手，不是壞事。
至于藝術(shù)不需要“事實(shí)性”，是因?yàn)檫@是一個偽問題，好的藝術(shù)是喚起情緒的，而情緒是一種體驗(yàn)，不一定具象成什么我們能認(rèn)得出的東西。這方面最直接的例子可以參考抽象畫的發(fā)展歷史。我推薦諾獎得主坎德爾的《為什么你看不懂抽象畫？》，我翻了一下中文版，譯得不錯的，而且還錄入了英文版也沒有的一些畫作。
但短痛是必然的，而且影響會非常大。原因是信息化技術(shù)革命之后這二三十年產(chǎn)生了大量的內(nèi)容，也大大提高了生產(chǎn)效率，也為此衍生了豐富的生態(tài)圈（課外補(bǔ)習(xí)編程就是一例），這其中如果就是百分之五十被AI取代，都是非常巨大的變化。
小白：如果一半人口工作受到威脅，我們會說那是災(zāi)難性的，可能會造成社會崩潰，而不能僅僅理解成巨大的變化，失業(yè)率增加幾個百分點(diǎn)都會造成社會動蕩不寧，百分之五十，這個數(shù)字其實(shí)是無法承受的，也是無法想象的。在那個人工智能將人類極大解放的時刻到來之前，也許人類社會就分崩離析了。
張崢：我們可以想象一下會出現(xiàn)哪些變化。第一種將直接洗牌和破壞現(xiàn)在的生態(tài)，擾動人力市場，這也是大家最擔(dān)心的。第二種是變成GPT的人肉外掛，給GPT找錯，比如過濾虛假信息。就我對GPT的訓(xùn)練過程的了解，現(xiàn)在事實(shí)性的錯誤還不少，也沒有很好的手段根治。這兩種機(jī)會，都是現(xiàn)在肉眼可見的。第三種是創(chuàng)造性地開發(fā)新的工種，我能想到一些個性化教育的可能性，但有多少容量很難說。我看到可汗學(xué)院開始搭上GPT4了。2012年開始我從大系統(tǒng)轉(zhuǎn)做AI研究，數(shù)學(xué)底子跟不上了，在那個平臺上自學(xué)過不少，非常喜歡?？珊箤W(xué)院的機(jī)器人有兩種，一種是個性化的輔導(dǎo)老師，這種“對齊”的是循循誘導(dǎo)類的好老師。另一種可以給老師提建議，做輔導(dǎo)計(jì)劃?？珊箤W(xué)院這種全面出擊的姿態(tài)非常吸引人。這肯定是一個長期的社會工程，而且要在GPT擾動生態(tài)的過程中做，需要很強(qiáng)的定力。
不過，我們應(yīng)該看到一點(diǎn)，和GPT互動的工作模式，主要是提問，而要把GPT用好，還要有質(zhì)疑的能力。而提出好問題的能力，敢于質(zhì)疑的勇氣，不正是中國教育中相當(dāng)缺乏的嗎？有GPT來逼一逼，未嘗不是一件好事。不過，誠實(shí)地說，我這種愿望，其實(shí)是有些底氣不足的。
小白：不管未來能創(chuàng)造出什么新形態(tài)的工作，總量上一定大大少于機(jī)器智能還未能大一統(tǒng)的現(xiàn)在。你先前所說“高創(chuàng)造性”的那部分工作，我其實(shí)對你的樂觀有點(diǎn)懷疑。大模型無論如何都是基于統(tǒng)計(jì)和概率，我知道大模型之大可以覆蓋長尾，但人類會越來越依靠它的輸出來思考，可是它“對齊”、它選擇大概率、它對“高級”和“低級”文本一視同仁都只是訓(xùn)練數(shù)據(jù)，它會不會讓人類整體思考趨向于一個對齊的中間值？
張崢：新一代的AI模型的出現(xiàn)，帶來一個有趣的現(xiàn)象：中間值趨勢——這不是一個具體可以量化的數(shù)值，而是一個感覺，就是在各種對齊稅的馴化下，模型的回答中規(guī)中矩，不左不右。
假定事實(shí)性錯誤會被最終解決掉，那么我覺得中間值趨勢會帶來一個好處，一個壞處。好的地方在于低于這個中間值的（人類）觀點(diǎn)會被迫對齊，這種提升是有益的。壞的地方是如果中間值過于強(qiáng)大，會制約進(jìn)步，使得中間值止步不前，導(dǎo)致整個文明的停頓。
但人類的天性就是“作”不是嗎？不“作”也不會出現(xiàn)GPT。將來的GPT，可能把人類文明捆綁成一個中間值不動了，也可能加速中間值的變化，現(xiàn)在很難看清楚。
小白：我相信當(dāng)未來芯片技術(shù)有新的巨大發(fā)展，也許我們可以在個人終端上訓(xùn)練自己的模型，而且模型本身也能具備快速學(xué)習(xí)即時經(jīng)驗(yàn)的能力，到那個時候，我們先前說的一些問題，比如中心化、比如過度“對齊”都可以得到解決。但在相當(dāng)長一段時間內(nèi)，目前形態(tài)的大模型將會“統(tǒng)治”我們的工作方式和思想方式。在這種情況下，我們可能沒有機(jī)會發(fā)展出一種更好的機(jī)器智能，你覺得呢？
目前這種人工智能技術(shù)的設(shè)計(jì)和研究，其技術(shù)發(fā)展的路徑是完全按照資本的邏輯來部署的。就像互聯(lián)網(wǎng)，我們原以為它會給人們廣闊的自由發(fā)展空間，如今卻日益讓人發(fā)現(xiàn)它更像是一個把所有人分別阻隔在其中的透明“泡泡”。每個人都像呼出二氧化碳那樣排放出大量數(shù)據(jù)，而這些數(shù)據(jù)被資本拿去，先是作為互聯(lián)網(wǎng)大平臺的養(yǎng)料，現(xiàn)在又開始“滋養(yǎng)”人工智能大模型。但按照這個邏輯來部署的超級人工智能，究竟能不能對我們每個人有好處？它會不會阻攔真正好的人工智能的誕生，就像因特網(wǎng)一樣？我們對未來的展望總是有些大而化之：這一大堆是有益的，那一堆是風(fēng)險，我們要盡量避開風(fēng)險，但無論如何要繼續(xù)發(fā)展……像這樣大手一揮，我們其實(shí)忘記了，通往好的人工智能的道路是一條極窄的路，路兩邊全是風(fēng)險，要行得通，不僅需要保持平衡，還要對先后次序有清晰的戰(zhàn)略，到底哪只腳先跨出去，不是資本邏輯能判斷的。
張崢：OpenAI的初心倒是反資本的，是因?yàn)楹ε翫eepMind一家獨(dú)大，要做完全開源的AI研究。七年下來，結(jié)果又顛倒了，至少在微軟賺夠了錢之前不會再翻轉(zhuǎn)回來。從這點(diǎn)上來說，確實(shí)不得不說資本的邏輯強(qiáng)大。
我最近在讀一本磚頭一樣厚的美國歷史，正在重溫十九世紀(jì)初的美國，廢奴運(yùn)動有很多推動力，但和機(jī)器是一種新“奴隸”、 長尾給了一個參照物有一些關(guān)系。沒想到兩百年后，我們又開始擔(dān)心會不會被集體降格成一種另類的“奴隸”。關(guān)于未來，我一直很喜歡《她》（HER）這部電影，覺得這可能是最樂觀的結(jié)局了。不過，人類畢竟也是“老戰(zhàn)士”了，說不定有勉力勝出的機(jī)會也難說。
一個可以預(yù)見的場景是手機(jī)上植入一個基礎(chǔ)版的助手，需要專家類知識可以聯(lián)網(wǎng)，即用即棄，按需付費(fèi)?，F(xiàn)在GPT4的模型除了要聯(lián)網(wǎng)搜索之外，本身還是一個巨無霸，實(shí)在太“胖”了，也太“熱”了，你說要存下人類歷史上所有的知識和代碼，得多大一個腦袋？芯片技術(shù)要發(fā)展到什么程度才能把將來的GPT全部植入大腦，我有點(diǎn)懷疑。很可能再怎么著都要拖一根辮子（天線）的。
極端個人化的世界，社會必然分崩離析，有了個人AI的加持，說不定死得更快；一個AI中心統(tǒng)治天下，文明無法往前滾動，或者滾得特別慢，非但沒加速反而踩了剎車……這兩種都可能的。如何走出怪圈呢？我反問一句：你們寫小說的，現(xiàn)在不上，什么時候上？
小白：我們可以設(shè)想那樣一個世界：這個世界有無數(shù)個小模型和若干大模型。小模型和大模型不能說完全勢均力敵，但是仍然可以相抗衡。
張崢：這里有幾個概念要先澄清一下，首先大模型之大是為什么？有必要這么大嗎？我的看法是沒必要。用同樣的數(shù)據(jù)量來訓(xùn)練，現(xiàn)在普遍接受的看法是大模型容易優(yōu)化，小模型難訓(xùn)，需要更多的時間。但我覺得大模型訓(xùn)完之后它的解空間不平滑，而生成結(jié)果是一個采樣的過程，大模型容易踩到坑里，容易胡說（特德姜說大模型就是一張模糊的JPEG圖片，其實(shí)沒抓到根本）。小模型如果能訓(xùn)出來，解空間應(yīng)該稠密一些，說不定效果更好呢，這只是一個直覺，有可能不對，因?yàn)檫@么高維度的空間，非常難理解透徹。幾周前斯坦福大學(xué)有一個結(jié)果，用了七十億參數(shù)的小模型可以和谷歌的幾千億參數(shù)的大模型在一些任務(wù)上打成平手，這是很鼓舞人心的結(jié)果。第二，之前我說過現(xiàn)在的模型都是全盤通吃的大胖子，這是一個非常不靈活的系統(tǒng)，接專業(yè)外掛是更合理的結(jié)構(gòu)，OpenAI最近的動作正是如此。
在解決了這兩個問題之后我們可以問，一個有用的“小”模型的底線是什么？我的看法是也不能太小，因?yàn)楸仨氁腥跁炌ǖ氖澜缒Ｐ秃突镜闹R，不然就會很弱智，團(tuán)結(jié)了再多的小模型，也是烏合之眾。
那么你想象的抗衡應(yīng)該在哪里呢？我覺得這部分的戰(zhàn)斗現(xiàn)在連兵器都還沒造出來，但將來會，那就是“算計(jì)”的本領(lǐng)——在“腦”子里多轉(zhuǎn)幾圈，別張口就來。到那時候就是比誰算計(jì)得多。這挺像下棋，一千個臭皮匠，每個人算三步，和一個能算一百步的諸葛亮比試一下，你說勝算有多少呢？
要么小模型們能找到葵花寶典，或者就像電影《瞬息全宇宙》里教育我們的，多一點(diǎn)點(diǎn)愛，愛可以解決所有問題，呵呵。
小白：前幾天微軟發(fā)布了一份一百五十四頁的報告，據(jù)說原先他們?yōu)檫@篇報告起的標(biāo)題叫做“與通用人工智能的第一次接觸”。也許是覺得這個標(biāo)題過于聳人聽聞，發(fā)表時改名為“通用人工智能的微火”。它介紹了微軟在實(shí)驗(yàn)室針對GPT4所做的一些測試實(shí)驗(yàn)，我們由此看到，微軟發(fā)布上線的GPT4版本，有很多能力是被限制了。這些實(shí)驗(yàn)展示了GPT4跨學(xué)科解決問題的能力、心智理論能力、真實(shí)世界空間和運(yùn)動的推測能力、使用多種工具解決問題的能力、繪畫作曲數(shù)學(xué)編程工作的生成能力。那份報告幾乎就要說服我了，我越來越相信GPT4距離真正的通用人工智能，甚至超級機(jī)器智能很近了。特德姜說它是一個壓縮圖片，我覺得他可能搞錯了，“壓縮”的不是大模型的輸出結(jié)果，而是它的訓(xùn)練方式。把對整個世界的理解，把對“世界模型”不斷學(xué)習(xí)、 修正的過程，壓縮進(jìn)對文本“下一個字”的不斷猜測中。那么教授，你如何看那份報告？
張崢：那份報告我讀了，但不太仔細(xì)。這是學(xué)術(shù)文章中不怎么“正經(jīng)”的“爽文”，我說不太正經(jīng)不是在說他們做得不好，而是需要的測試非常難量化，標(biāo)準(zhǔn)也不一致，但我覺得方向是對的，就是不應(yīng)該，也不需要再用傳統(tǒng)的測試集，而是多用認(rèn)知科學(xué)的材料。如果我有機(jī)會和他們交流的話，我會建議他們試試腦科學(xué)的一部分實(shí)驗(yàn)素材（比如各種錯覺）——要真正對齊，機(jī)器應(yīng)該和人犯同樣的錯誤才行。
小白：我讀了之后十分驚奇，甚至連線仿照報告中的實(shí)驗(yàn)也測試了一些問題。我原以為人工智能距離實(shí)現(xiàn)像人類那樣的心智理論能力還很遠(yuǎn)，現(xiàn)在看來GPT4幾乎已能夠推測設(shè)定環(huán)境下特定人物的內(nèi)心想法、觀點(diǎn)和意圖，甚至能推測多層意向性。
張崢：是的，有些結(jié)果很驚艷，尤其是組合性強(qiáng)的那些題目，找的路徑非常直接有效。我看下來那些任務(wù)，對一個經(jīng)過專門的、有針對性的訓(xùn)練的大學(xué)畢業(yè)生，都能順利完成，包括實(shí)施機(jī)群攻擊，找到代碼反匯編等等。驚艷之處在于有些組合任務(wù)可能它之前都沒見過，都完成得不錯，這不得不說“通用”這部分是達(dá)標(biāo)了。問題在于“智能”是什么？我覺得應(yīng)該包括自我學(xué)習(xí)、反芻、更新、適應(yīng)新環(huán)境，等等。這些并不在這篇文章的考察范圍內(nèi)，其實(shí)模型現(xiàn)在還沒這個能力。
但你可能也注意到了，把一個筆記本、一本書、九個雞蛋、一個杯子和一個釘子摞起來，這個三歲小孩都能做的事，它并沒有通過。這是因?yàn)檎Z言中能覆蓋的世界模型雖然非常豐富，但有很多“不言而喻”的部分。既然沒有落到紙上，它就沒學(xué)到，或者即使有，在海量的數(shù)據(jù)中被湮沒了，這和“父母是不是可以結(jié)婚”答不對是同一個原因。
不過，別高興得太早了，既然我都注意到了，比我能干手快的同行多的是，打這個補(bǔ)丁不容易，但能做。我可以和你打個賭，這個補(bǔ)丁不會是中國同行會去做的，因?yàn)槭且粋€基礎(chǔ)工作，咱們都著急變現(xiàn)不是嗎？我這么說，老實(shí)講是留個口子，用激將法刺激一下。
你一定知道“人物的內(nèi)心想法”是一個非常古老的哲學(xué)問題：怎么證明我現(xiàn)在對談的你不是一個幻象，或者我不是你的幻想？Theory of Mind（TOM）的假設(shè)是說我和你都是同樣的物理存在，也有同樣的大腦，所以可以感受和猜測彼此。大衛(wèi)·查爾莫斯（David Chalmers）在《現(xiàn)實(shí)+》（Reality+）一書里對各個變種做了很好的梳理。我記得微軟的這篇文章里對這問題也做了些測試，大模型也是白盒，雖然追究到單個神經(jīng)元沒有意義，但是看統(tǒng)計(jì)行為是可能的，所以我覺得這個古老的哲學(xué)問題，和自我意識是什么一樣，都可以擱置了。
鄂公網(wǎng)安備 42010302001612號 