Google有多可怕呢?有人因Google丟掉工作,有人丟掉女朋友,有的丟掉業(yè)務(wù)。25歲外表美麗的李小姐,在一家房產(chǎn)中介工作,卻莫名其妙被公司炒掉了。原來公司有人用Google搜了下她過去的工作經(jīng)歷。她曾經(jīng)被懷疑勾結(jié)房蟲炒房,給前公司聲譽(yù)造成巨大的損失。還有人突然與女友突然提出分手,因?yàn)樗男履杏袵oogle她,發(fā)現(xiàn)了一張疑似她本人的不雅照片。還有的公司莫名其妙地丟掉了業(yè)務(wù),原來有人在一些BBS大肆說這家公司的壞話,說這家公司產(chǎn)品質(zhì)量低劣,售后服務(wù)太差。用Google搜這家公司,到處都是這些負(fù)面的信息。
有人覺得奇怪,Google是怎么得到這些信息的?Google具有強(qiáng)大抓取網(wǎng)頁的能力。抓取網(wǎng)頁的軟件叫爬蟲(Crawler),Google的爬蟲叫Googlebot,威力極其可怕。這個(gè)爬蟲非常勤奮,會(huì)定期訪問各種網(wǎng)站,不分晝夜地把網(wǎng)站網(wǎng)頁下載到自己的服務(wù)器里。
假如下載一個(gè)網(wǎng)頁需要一秒鐘,下載這 100 億個(gè)網(wǎng)頁則需要 317 年,1萬億個(gè)就要31700年。Google能做完這個(gè)事情,全是依靠功能強(qiáng)大的數(shù)據(jù)中心。
Google最初的數(shù)據(jù)中心在佩恩的宿舍與蓋茨360樓。Google的第一個(gè)正式數(shù)據(jù)中心坐落在這個(gè)56平方米(7米X8米)的房間里?,F(xiàn)在Google擁有世界最大的數(shù)據(jù)中心,Google已經(jīng)成功地構(gòu)建起全球最大的網(wǎng)絡(luò)計(jì)算機(jī)Googleplex。在全球范圍,Google擁有40個(gè)數(shù)據(jù)中心。每個(gè)數(shù)據(jù)中心有150個(gè)服務(wù)器集群,這意味著Google擁有的服務(wù)器數(shù)量超過數(shù)十萬萬臺(tái),而且每天都在增長(zhǎng)。Google服務(wù)器 集群的規(guī)模有多大??jī)H在一臺(tái)坐落在美國(guó)哥倫比亞河畔的服務(wù)器總共擁有8180個(gè)機(jī)架,而每個(gè)機(jī)架擁有40塊Intel雙核處理器。8180*80=654400!擁有超過130萬顆核的計(jì)算能力。
Google目前的全球數(shù)據(jù)中心,19個(gè)在美國(guó),12個(gè)在歐洲,3個(gè)在亞洲(北京、香港、東京),另外3個(gè)分布于俄羅斯和南美,在臺(tái)灣、馬來西亞、立陶宛等地也有數(shù)據(jù)中心。
亞洲數(shù)據(jù)中心分布圖(圖略)
在亞洲,北京、香港及日本東京有Google數(shù)據(jù)中心,位于北京的數(shù)據(jù)中心(即圖中的36號(hào))主要為Google中國(guó)()提供服務(wù)。
數(shù)據(jù)中心最密集的是北美。
Google的數(shù)據(jù)中心主要使用自己的技術(shù)。 Google的服務(wù)器是Google自己設(shè)計(jì)的,在同樣大的空間內(nèi),Google的服務(wù)器比其他服務(wù)器廠商能容納更多的CPU;如果按照服務(wù)器的年產(chǎn)量來計(jì)算,Google在服務(wù)器市場(chǎng)應(yīng)該排得比較靠前。Google服務(wù)器使用的是Linux操作系統(tǒng)。Google的工程師按照平行計(jì)算的要求對(duì)Linux進(jìn)行了優(yōu)化。Google開發(fā)自有核心軟件,開發(fā)語言是Java和C :Google文件系統(tǒng)(GFS);Google大表(Bigtable:是Google一種對(duì)于半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分布存儲(chǔ)與訪問的接口或服務(wù));Mapreduce算法(它是Google開發(fā)的C 編程工具,用于大于1TB數(shù)據(jù)的大規(guī)模數(shù)據(jù)集并行運(yùn)算)。構(gòu)成了Google系統(tǒng)的核心。