通過適當(dāng)?shù)剡x取幾千個這樣的規(guī)則,我就可能讓這些胞腔自動機像神經(jīng)網(wǎng)絡(luò)一樣生長和進化。舉個例子,我可以生成一個三個細(xì)胞寬的路徑,通過它我可以發(fā)送生長細(xì)胞,讓它們在路徑的中間向前移。當(dāng)生長信號到達生長路徑的盡頭時,它可以讓路徑向前延伸、左轉(zhuǎn)、右轉(zhuǎn)、分裂,等等,這些決定于生長信號的顏色。通過改變胞腔自動機路徑中間生長信號的順序,我能夠進化基于胞腔自動機的神經(jīng)網(wǎng)絡(luò)。
這個過程有兩個步驟。第一個是生長階段。經(jīng)過幾百個單位時間后,生長達到飽和。再沒有三個細(xì)胞寬的胞腔自動機路徑會生長了。這些路徑就是神經(jīng)網(wǎng)絡(luò)的軸突和樹突。當(dāng)生長階段一完成,也就是說生長控制細(xì)胞從網(wǎng)絡(luò)里被清除后,生長的神經(jīng)網(wǎng)絡(luò)可以被隨后的信令階段所使用。輸入信號會被施加,并且會擴散到整個網(wǎng)絡(luò)。這些信號就像我早些年進化出的神經(jīng)網(wǎng)絡(luò)中的信號一樣。它們可以在輸出點被提取出來,并且可用來控制那些適應(yīng)值(fitness)或性能可以被測量的過程。這個適應(yīng)值就是整個網(wǎng)絡(luò)的適應(yīng)值,而網(wǎng)絡(luò)是依次產(chǎn)生于一系列生長指令的,也就是一個含有6個(所有的數(shù)字)整數(shù)的隨機串。
我所做的就是讓神經(jīng)網(wǎng)絡(luò)和胞腔自動機結(jié)合起來。這些據(jù)我所知沒有前人做過。之所以這么做是因為我認(rèn)為胞腔自動機是一個可以擁有幾十億個胞腔自動機細(xì)胞的合適媒介,歸于十億個神經(jīng)元是足夠了。這對我來說是可實現(xiàn)的。當(dāng)時的工作站(比個人電腦強大一些的計算機)的內(nèi)存大概有十億字節(jié)。內(nèi)存是很便宜的,因此,既然我可以在一個字節(jié)(8位)上存儲胞腔自動機細(xì)胞的狀態(tài)或顏色,并且我的工作站可以擁有十億字節(jié)的內(nèi)存,那么我將可以存儲十億個胞腔自動機細(xì)胞的顏色,十億個!這是很多的,足夠在其中放入一個擁有大量神經(jīng)元的人工大腦??臻g將不會是問題。那時候的技術(shù)允許這樣做,這是可實現(xiàn)的。
我花費了一年的時間去寫所有的這些規(guī)則(北-東-南-西-中的類型規(guī)則)來證明二維版本的基于胞腔自動機的神經(jīng)網(wǎng)絡(luò)是可以運行,可以進化的。我不得不手工編寫(有軟件工具來幫助我)大概11 000個這樣的命令來讓它工作,結(jié)果它工作了。我成功地進化了振蕩器電路、信號強度探測電路、直線運動探測電路,等等。是時候去研究擁有完全不同拓?fù)浣Y(jié)構(gòu)的三維版本了。在二維結(jié)構(gòu)里,電路會相互碰到,它們不能跨過另一個電路。然而在三維結(jié)構(gòu)里,胞腔自動機路徑可以通過第三維相互交叉。三維電路的動態(tài)性和進化性比二維電路要豐富很多。僅僅兩年后我就讓三維版本開始工作了,這個版本有大概60 000個命令。
但是,這個時候我在日本過得非常郁悶。我們組的頂頭上司有一個政策,就是每一個人負(fù)責(zé)一個項目,這讓我覺得非常孤獨和智力空虛。我沒有一個可以真正交談的人。在給他們施加了一些壓力后,我終于在1996年得到了一個碩士生助手—— 一個年輕的德國人。
我向我的助手解釋,三維版本已經(jīng)基本上完工了,并且我對一直使用的胞腔自動機模型已經(jīng)越來越清楚。我向他介紹了我想直接在電路上以電子速度產(chǎn)生和進化基于胞腔自動機的神經(jīng)網(wǎng)絡(luò)的夢想。我覺得應(yīng)該簡化胞腔自動機模型,讓它可以適應(yīng)于當(dāng)時的新想法,即1996年的電子技術(shù)。他聆聽了我的一系列愿望,然后消失了兩個星期。當(dāng)他回來的時候,帶來了一個嶄新的、更加簡化的神經(jīng)網(wǎng)絡(luò)模型,它保持了我的舊模型里的大部分特征,但是加了一些新特征,使它變得可以直接實現(xiàn)于電子裝置。這個新模型被稱為“CoDi”。
大概在這段時間,也就是1996年下半年,一個美國電子工程師和我聯(lián)系。他認(rèn)為我的論文很有意思并且想與我合作。我把新模型的一些細(xì)節(jié)發(fā)送給他,問他能否用當(dāng)時市場上特殊的FPGA板在硬件上實現(xiàn)它,他說應(yīng)該可以。我的日本老板同意了這個想法并給予資助。這位在美國的新同事開始與我密切合作,不幸的是,一年后失去了我的德國同事。他回到歐洲攻讀博士學(xué)位。我的日本老板又回到了“一人負(fù)責(zé)一個項目”的老路上,我比以前變得更郁悶了。