谷歌如何搜索浩如煙海的信息？
導(dǎo)語(yǔ)：美國(guó)《連線》雜志網(wǎng)站日前發(fā)表編輯史蒂文·列維(Steven Levy)的文章，揭開了谷歌搜索算法的神秘面紗。
以下是文章全文：
搜索改變生活
想知道谷歌將如何改變你的生活嗎？那么周四去“瓦加杜古”會(huì)議室看一看吧。在加利福尼亞山景城的這個(gè)會(huì)議室里，幾十名工程師、產(chǎn)品經(jīng)理和高管聚集一堂，討論如何令谷歌的搜索引擎更加智能。今年，谷歌將對(duì)其傳說(shuō)中的搜索引擎算法進(jìn)行了大約500項(xiàng)改進(jìn)，而且每一項(xiàng)改進(jìn)都要通過(guò)這樣的會(huì)議決定。
每周一次的“搜索質(zhì)量大會(huì)”，都將可能影響谷歌搜索的結(jié)果——“三星SF-755p打印機(jī)”、“MySpace布局代碼”，甚至是“布基納法索 首都”，該國(guó)首都恰巧與谷歌此會(huì)議室名字相同。自2006年以來(lái)，一直擔(dān)任谷歌搜索主管的烏迪·曼博(Udi Manber)任會(huì)議的負(fù)責(zé)人。會(huì)議將一一提出可實(shí)施的改進(jìn)，同時(shí)還會(huì)討論數(shù)月來(lái)在不同國(guó)家、不同語(yǔ)言環(huán)境中的測(cè)試結(jié)果。屏幕上分兩列顯示，更改前后同一查詢返回的結(jié)果。在討論“吉他 人聲模擬”的查詢結(jié)果時(shí)，曼博叫道：“這個(gè)我搜過(guò)”。
你可能會(huì)想，谷歌已經(jīng)主導(dǎo)搜索引擎市場(chǎng)長(zhǎng)達(dá)十年之久，應(yīng)該可以高枕無(wú)憂了。畢竟谷歌在搜索引擎市場(chǎng)上的份額高達(dá)65%，甚至谷歌一詞已經(jīng)成為搜索的代名詞。就像谷歌不愿在桂冠面前止步一樣，其競(jìng)爭(zhēng)對(duì)手也不愿輕易認(rèn)輸。多年來(lái)，谷歌一直在用其神秘、看起來(lái)無(wú)所不知的算法來(lái)“組織世界信息”。但最近五年來(lái)，很多公司開始對(duì)谷歌的一重要觀點(diǎn)發(fā)起挑戰(zhàn)。
谷歌認(rèn)為，一個(gè)單一的搜索引擎，通過(guò)技術(shù)創(chuàng)新和不斷改進(jìn)，可以滿足任何搜索要求。而Facebook較早對(duì)此發(fā)起了挑戰(zhàn)，認(rèn)為一些人更愿意通過(guò)朋友獲得信息，而不是一個(gè)沒(méi)有名字的算法公式。Twitter能對(duì)不斷更新的消息進(jìn)行時(shí)時(shí)分析，這就使“實(shí)時(shí)搜索”成為現(xiàn)實(shí)——挖掘正在進(jìn)行的討論或閑談。
購(gòu)物比較網(wǎng)站Yelp通過(guò)大眾對(duì)商家的等級(jí)評(píng)定，幫助人們尋找飯店、干洗店和保姆等相關(guān)信息。雖然這些后起之秀無(wú)法單獨(dú)對(duì)谷歌造成威脅，但它們共同預(yù)示著搜索行業(yè)的一種開放、混沌的未來(lái)——并不是被一個(gè)搜索引擎所主導(dǎo)，而是包含著豐富多樣的服務(wù)。
來(lái)自必應(yīng)的挑戰(zhàn)
然而，谷歌最大的威脅是微軟的必應(yīng)(Bing)。必應(yīng)使人聯(lián)想到探索、美國(guó)傳奇歌手Bing Crosby、和《黑道家族》中的Bada Bing夜店，這款重新修整、被賦予新品牌的搜索引擎在去年6月推出時(shí)便贏得了樂(lè)觀的評(píng)價(jià)。《華爾街日?qǐng)?bào)》稱其“比谷歌更有吸引力”。新的面貌和1億美元的廣告戰(zhàn)使微軟在美國(guó)搜索市場(chǎng)中的份額從8%躍升至11%——如果監(jiān)管部門批準(zhǔn)必應(yīng)成為雅虎的搜索服務(wù)商，這一份額將增加一倍以上。
必應(yīng)團(tuán)隊(duì)一直專注于谷歌算法無(wú)法滿足的需求。比如，谷歌擅長(zhǎng)搜索公共網(wǎng)絡(luò)，但卻無(wú)法實(shí)時(shí)跟蹤不斷變化的航班時(shí)刻表和機(jī)票價(jià)格。因此微軟收購(gòu)了Farecast網(wǎng)站，該網(wǎng)站追蹤機(jī)票價(jià)格的變化，并據(jù)以預(yù)測(cè)票價(jià)的漲跌。目前，微軟已把Farecast的技術(shù)應(yīng)用加入到必應(yīng)的搜索結(jié)果之中。微軟在其認(rèn)為谷歌算法沒(méi)有優(yōu)勢(shì)的領(lǐng)域，例如健康、購(gòu)物領(lǐng)域，也進(jìn)行了類似的收購(gòu)。
即使必應(yīng)團(tuán)隊(duì)承認(rèn)，在根據(jù)搜索詞返回有用信息方面，谷歌還遙遙領(lǐng)先。但他們?nèi)哉J(rèn)為，如果必應(yīng)可以提供一些擅長(zhǎng)的領(lǐng)域，用戶會(huì)逐漸習(xí)慣使用必應(yīng)來(lái)進(jìn)行特定的搜索。微軟核心搜索部門副總裁布萊恩·麥克唐納(Brian MacDonald)表示：“算法對(duì)于搜索引擎來(lái)說(shuō)至關(guān)重要，但它并不是一切，就像你買車并非只因?yàn)樗囊��！?/P>
谷歌仍是最“智能”的搜索引擎
一個(gè)有趣的例子“mike siwek lawyer mi”表明了谷歌相對(duì)于必應(yīng)的優(yōu)勢(shì)。
阿米特·辛格(Amit Singhal)是谷歌的首席工程師，40多歲，性格溫和，他曾因在2001年重寫了谷歌搜索引擎而獲得殊榮。他將這些單詞輸入谷歌搜索框，并敲擊了回車鍵。在極短的時(shí)間內(nèi)，搜索結(jié)果便顯示出來(lái)。最上面的鏈接指向的網(wǎng)頁(yè)給出了密歇根州大急流城一位名叫Michael Siwek的律師。
這是一個(gè)很普通的搜索，谷歌每天要處理成千上萬(wàn)的這種搜索。但事實(shí)上這一搜索過(guò)程十分復(fù)雜，可能使一些搜索引擎誤解。如果把這些單詞輸入到必應(yīng)，第一個(gè)結(jié)果是美國(guó)國(guó)家橄欖球聯(lián)盟的歷年球員名單，其中有一個(gè)名叫Lawyer Milloy。搜索結(jié)果中的下面幾頁(yè)，也沒(méi)有與律師Siwek相關(guān)的內(nèi)容。
這一對(duì)比顯示出谷歌算法的強(qiáng)大，甚至可以說(shuō)是智能，而這是通過(guò)反復(fù)的修正實(shí)現(xiàn)的。看起來(lái)谷歌擁有解讀用戶需求的神奇力量——不論是多么生僻的搜索，或是有拼寫錯(cuò)誤。谷歌將這種能力稱為搜索質(zhì)量，并且多年來(lái)一直竭力完善算法，以產(chǎn)生精確的搜索結(jié)果。
現(xiàn)在我就與辛格一起坐在谷歌的43號(hào)辦公大樓里，因?yàn)楣雀杞o與了我一個(gè)前所未有的機(jī)會(huì)——讓我了解他們是如何保證搜索質(zhì)量的。背后的意涵很明確：你可能認(rèn)為算法只是一個(gè)引擎，但在揭開其神秘面紗之后你才會(huì)發(fā)現(xiàn)它是多么的無(wú)所不能。
創(chuàng)新的開始：PageRank
谷歌算法始于PageRank，這是1997年拉里·佩奇(Larry Page)在斯坦福大學(xué)讀研究生時(shí)開發(fā)的。佩奇的創(chuàng)新性想法是：基于入鏈接的數(shù)量和重要性對(duì)網(wǎng)頁(yè)進(jìn)行評(píng)級(jí)，也就是通過(guò)網(wǎng)絡(luò)的集體智慧確定哪些網(wǎng)站最有用。隨著谷歌迅速成為互聯(lián)網(wǎng)上最成功的搜索引擎，佩奇和谷歌的另一名創(chuàng)始人塞吉·布林(Sergey Brin)將PageRank這一簡(jiǎn)單概念看做谷歌的最根本創(chuàng)新。
但這并不是故事的全部。曼博表示：“人們信賴PageRank是因?yàn)樗强梢赃M(jìn)行確認(rèn)的，但要提供最有用的結(jié)果還需要其他技術(shù)�！边@涉及對(duì)某些信號(hào)、上下文的利用，這樣對(duì)于任何查詢，搜索引擎都能將最有用的結(jié)果排在最前面。
網(wǎng)絡(luò)搜索是一個(gè)多方過(guò)程。首先，谷歌機(jī)器人獲取每個(gè)可訪問(wèn)網(wǎng)站的內(nèi)容。這些數(shù)據(jù)將被分解成一個(gè)索引(通過(guò)文字進(jìn)行組織，就像書本的目錄)，這樣就可以根據(jù)內(nèi)容找到任何頁(yè)面。每當(dāng)用戶鍵入一個(gè)查詢，谷歌就會(huì)在索引中搜尋相關(guān)頁(yè)面，然后返回一個(gè)包含多達(dá)數(shù)百萬(wàn)頁(yè)面的列表。最復(fù)雜的是對(duì)列表進(jìn)行排序，也就是決定哪些頁(yè)面應(yīng)該出現(xiàn)在最上面。
此時(shí)，上下文便有了用武之地。所有搜索引擎都會(huì)引入上下文，但沒(méi)有一個(gè)像谷歌那樣引入得那樣多、應(yīng)用那樣自如。PageRank本身也是一個(gè)信號(hào)，同時(shí)也是頁(yè)面的一個(gè)屬性(指其相對(duì)于其他網(wǎng)頁(yè)的重要性)，該屬性可以幫助確定其與查詢內(nèi)容的相關(guān)性，其中的一些信號(hào)在現(xiàn)在看來(lái)是顯而易見(jiàn)的。
一直以來(lái)，谷歌算法都對(duì)頁(yè)面的標(biāo)題給與特別的關(guān)注，因此標(biāo)題成為確定相關(guān)性的重要信號(hào)。另一個(gè)重要技術(shù)是錨文本，指的是超鏈接中的可見(jiàn)文本。因此，“當(dāng)你進(jìn)行搜索時(shí)，搜索引擎總能給出正確的頁(yè)面，即使該頁(yè)面中沒(méi)有你找的關(guān)鍵詞�！边@是谷歌早期架構(gòu)師斯科特·哈桑(Scott Hassa)的觀點(diǎn)，他曾與佩奇和布林一起在斯坦福工作。之后，搜索引擎關(guān)注的信號(hào)還包括新鮮度(對(duì)于一些查詢，新近的頁(yè)面比較早的頁(yè)面更有價(jià)值)和地理位置(谷歌知道搜索者的大致地理坐標(biāo)，會(huì)將本地信息排在前面)等。谷歌目前使用200多種信號(hào)來(lái)幫助確定搜索結(jié)果的排序。
谷歌工程師發(fā)現(xiàn)，一些最重要的信號(hào)可能來(lái)自谷歌本身。PageRank將受歡迎程度植入了搜索引擎：成千上萬(wàn)的網(wǎng)站民主地決定將鏈接指向哪些網(wǎng)站。但辛格表示，谷歌工程師還利用了另一種民主——成千上萬(wàn)使用谷歌搜索的用戶。用戶在搜索過(guò)程中產(chǎn)生的數(shù)據(jù)被證明同樣很有價(jià)值，這些數(shù)據(jù)包括他們點(diǎn)擊哪些結(jié)果、不滿意時(shí)對(duì)關(guān)鍵詞的更改、查詢關(guān)鍵詞與所處地理位置的關(guān)系等。這一過(guò)程的最直接例子就是谷歌所說(shuō)的“個(gè)性化搜索”——這是一個(gè)可選功能，利用用戶的搜索歷史和地理位置來(lái)確定他想要找的內(nèi)容(使用這項(xiàng)功能需要先登錄谷歌賬號(hào))。更通常的方法是，谷歌利用其收集的大量數(shù)據(jù)支持其算法，谷歌對(duì)此有極深的理解，可以解讀隱秘查詢的復(fù)雜意圖。
本新聞共
2頁(yè),當(dāng)前在第
1頁(yè)
1 2 
