谷歌如何搜索浩如煙海的信息？
導(dǎo)語：美國《連線》雜志網(wǎng)站日前發(fā)表編輯史蒂文·列維(Steven Levy)的文章，揭開了谷歌搜索算法的神秘面紗。
以下是文章全文：
搜索改變生活
想知道谷歌將如何改變你的生活嗎？那么周四去“瓦加杜古”會(huì)議室看一看吧。在加利福尼亞山景城的這個(gè)會(huì)議室里，幾十名工程師、產(chǎn)品經(jīng)理和高管聚集一堂，討論如何令谷歌的搜索引擎更加智能。今年，谷歌將對其傳說中的搜索引擎算法進(jìn)行了大約500項(xiàng)改進(jìn)，而且每一項(xiàng)改進(jìn)都要通過這樣的會(huì)議決定。
每周一次的“搜索質(zhì)量大會(huì)”，都將可能影響谷歌搜索的結(jié)果——“三星SF-755p打印機(jī)”、“MySpace布局代碼”，甚至是“布基納法索 首都”，該國首都恰巧與谷歌此會(huì)議室名字相同。自2006年以來，一直擔(dān)任谷歌搜索主管的烏迪·曼博(Udi Manber)任會(huì)議的負(fù)責(zé)人。會(huì)議將一一提出可實(shí)施的改進(jìn)，同時(shí)還會(huì)討論數(shù)月來在不同國家、不同語言環(huán)境中的測試結(jié)果。屏幕上分兩列顯示，更改前后同一查詢返回的結(jié)果。在討論“吉他 人聲模擬”的查詢結(jié)果時(shí)，曼博叫道：“這個(gè)我搜過”。
你可能會(huì)想，谷歌已經(jīng)主導(dǎo)搜索引擎市場長達(dá)十年之久，應(yīng)該可以高枕無憂了。畢竟谷歌在搜索引擎市場上的份額高達(dá)65%，甚至谷歌一詞已經(jīng)成為搜索的代名詞。就像谷歌不愿在桂冠面前止步一樣，其競爭對手也不愿輕易認(rèn)輸。多年來，谷歌一直在用其神秘、看起來無所不知的算法來“組織世界信息”。但最近五年來，很多公司開始對谷歌的一重要觀點(diǎn)發(fā)起挑戰(zhàn)。
谷歌認(rèn)為，一個(gè)單一的搜索引擎，通過技術(shù)創(chuàng)新和不斷改進(jìn)，可以滿足任何搜索要求。而Facebook較早對此發(fā)起了挑戰(zhàn)，認(rèn)為一些人更愿意通過朋友獲得信息，而不是一個(gè)沒有名字的算法公式。Twitter能對不斷更新的消息進(jìn)行時(shí)時(shí)分析，這就使“實(shí)時(shí)搜索”成為現(xiàn)實(shí)——挖掘正在進(jìn)行的討論或閑談。
購物比較網(wǎng)站Yelp通過大眾對商家的等級評定，幫助人們尋找飯店、干洗店和保姆等相關(guān)信息。雖然這些后起之秀無法單獨(dú)對谷歌造成威脅，但它們共同預(yù)示著搜索行業(yè)的一種開放、混沌的未來——并不是被一個(gè)搜索引擎所主導(dǎo)，而是包含著豐富多樣的服務(wù)。
來自必應(yīng)的挑戰(zhàn)
然而，谷歌最大的威脅是微軟的必應(yīng)(Bing)。必應(yīng)使人聯(lián)想到探索、美國傳奇歌手Bing Crosby、和《黑道家族》中的Bada Bing夜店，這款重新修整、被賦予新品牌的搜索引擎在去年6月推出時(shí)便贏得了樂觀的評價(jià)�！度A爾街日報(bào)》稱其“比谷歌更有吸引力”。新的面貌和1億美元的廣告戰(zhàn)使微軟在美國搜索市場中的份額從8%躍升至11%——如果監(jiān)管部門批準(zhǔn)必應(yīng)成為雅虎的搜索服務(wù)商，這一份額將增加一倍以上。
必應(yīng)團(tuán)隊(duì)一直專注于谷歌算法無法滿足的需求。比如，谷歌擅長搜索公共網(wǎng)絡(luò)，但卻無法實(shí)時(shí)跟蹤不斷變化的航班時(shí)刻表和機(jī)票價(jià)格。因此微軟收購了Farecast網(wǎng)站，該網(wǎng)站追蹤機(jī)票價(jià)格的變化，并據(jù)以預(yù)測票價(jià)的漲跌。目前，微軟已把Farecast的技術(shù)應(yīng)用加入到必應(yīng)的搜索結(jié)果之中。微軟在其認(rèn)為谷歌算法沒有優(yōu)勢的領(lǐng)域，例如健康、購物領(lǐng)域，也進(jìn)行了類似的收購。
即使必應(yīng)團(tuán)隊(duì)承認(rèn)，在根據(jù)搜索詞返回有用信息方面，谷歌還遙遙領(lǐng)先。但他們?nèi)哉J(rèn)為，如果必應(yīng)可以提供一些擅長的領(lǐng)域，用戶會(huì)逐漸習(xí)慣使用必應(yīng)來進(jìn)行特定的搜索。微軟核心搜索部門副總裁布萊恩·麥克唐納(Brian MacDonald)表示：“算法對于搜索引擎來說至關(guān)重要，但它并不是一切，就像你買車并非只因?yàn)樗囊�。�?/P>
谷歌仍是最“智能”的搜索引擎
一個(gè)有趣的例子“mike siwek lawyer mi”表明了谷歌相對于必應(yīng)的優(yōu)勢。
阿米特·辛格(Amit Singhal)是谷歌的首席工程師，40多歲，性格溫和，他曾因在2001年重寫了谷歌搜索引擎而獲得殊榮。他將這些單詞輸入谷歌搜索框，并敲擊了回車鍵。在極短的時(shí)間內(nèi)，搜索結(jié)果便顯示出來。最上面的鏈接指向的網(wǎng)頁給出了密歇根州大急流城一位名叫Michael Siwek的律師。
這是一個(gè)很普通的搜索，谷歌每天要處理成千上萬的這種搜索。但事實(shí)上這一搜索過程十分復(fù)雜，可能使一些搜索引擎誤解。如果把這些單詞輸入到必應(yīng)，第一個(gè)結(jié)果是美國國家橄欖球聯(lián)盟的歷年球員名單，其中有一個(gè)名叫Lawyer Milloy。搜索結(jié)果中的下面幾頁，也沒有與律師Siwek相關(guān)的內(nèi)容。
這一對比顯示出谷歌算法的強(qiáng)大，甚至可以說是智能，而這是通過反復(fù)的修正實(shí)現(xiàn)的。看起來谷歌擁有解讀用戶需求的神奇力量——不論是多么生僻的搜索，或是有拼寫錯(cuò)誤。谷歌將這種能力稱為搜索質(zhì)量，并且多年來一直竭力完善算法，以產(chǎn)生精確的搜索結(jié)果。
現(xiàn)在我就與辛格一起坐在谷歌的43號辦公大樓里，因?yàn)楣雀杞o與了我一個(gè)前所未有的機(jī)會(huì)——讓我了解他們是如何保證搜索質(zhì)量的。背后的意涵很明確：你可能認(rèn)為算法只是一個(gè)引擎，但在揭開其神秘面紗之后你才會(huì)發(fā)現(xiàn)它是多么的無所不能。
創(chuàng)新的開始：PageRank
谷歌算法始于PageRank，這是1997年拉里·佩奇(Larry Page)在斯坦福大學(xué)讀研究生時(shí)開發(fā)的。佩奇的創(chuàng)新性想法是：基于入鏈接的數(shù)量和重要性對網(wǎng)頁進(jìn)行評級，也就是通過網(wǎng)絡(luò)的集體智慧確定哪些網(wǎng)站最有用。隨著谷歌迅速成為互聯(lián)網(wǎng)上最成功的搜索引擎，佩奇和谷歌的另一名創(chuàng)始人塞吉·布林(Sergey Brin)將PageRank這一簡單概念看做谷歌的最根本創(chuàng)新。
但這并不是故事的全部。曼博表示：“人們信賴PageRank是因?yàn)樗强梢赃M(jìn)行確認(rèn)的，但要提供最有用的結(jié)果還需要其他技術(shù)�！边@涉及對某些信號、上下文的利用，這樣對于任何查詢，搜索引擎都能將最有用的結(jié)果排在最前面。
網(wǎng)絡(luò)搜索是一個(gè)多方過程。首先，谷歌機(jī)器人獲取每個(gè)可訪問網(wǎng)站的內(nèi)容。這些數(shù)據(jù)將被分解成一個(gè)索引(通過文字進(jìn)行組織，就像書本的目錄)，這樣就可以根據(jù)內(nèi)容找到任何頁面。每當(dāng)用戶鍵入一個(gè)查詢，谷歌就會(huì)在索引中搜尋相關(guān)頁面，然后返回一個(gè)包含多達(dá)數(shù)百萬頁面的列表。最復(fù)雜的是對列表進(jìn)行排序，也就是決定哪些頁面應(yīng)該出現(xiàn)在最上面。
此時(shí)，上下文便有了用武之地。所有搜索引擎都會(huì)引入上下文，但沒有一個(gè)像谷歌那樣引入得那樣多、應(yīng)用那樣自如。PageRank本身也是一個(gè)信號，同時(shí)也是頁面的一個(gè)屬性(指其相對于其他網(wǎng)頁的重要性)，該屬性可以幫助確定其與查詢內(nèi)容的相關(guān)性，其中的一些信號在現(xiàn)在看來是顯而易見的。
一直以來，谷歌算法都對頁面的標(biāo)題給與特別的關(guān)注，因此標(biāo)題成為確定相關(guān)性的重要信號。另一個(gè)重要技術(shù)是錨文本，指的是超鏈接中的可見文本。因此，“當(dāng)你進(jìn)行搜索時(shí)，搜索引擎總能給出正確的頁面，即使該頁面中沒有你找的關(guān)鍵詞。”這是谷歌早期架構(gòu)師斯科特·哈桑(Scott Hassa)的觀點(diǎn)，他曾與佩奇和布林一起在斯坦福工作。之后，搜索引擎關(guān)注的信號還包括新鮮度(對于一些查詢，新近的頁面比較早的頁面更有價(jià)值)和地理位置(谷歌知道搜索者的大致地理坐標(biāo)，會(huì)將本地信息排在前面)等。谷歌目前使用200多種信號來幫助確定搜索結(jié)果的排序。
谷歌工程師發(fā)現(xiàn)，一些最重要的信號可能來自谷歌本身。PageRank將受歡迎程度植入了搜索引擎：成千上萬的網(wǎng)站民主地決定將鏈接指向哪些網(wǎng)站。但辛格表示，谷歌工程師還利用了另一種民主——成千上萬使用谷歌搜索的用戶。用戶在搜索過程中產(chǎn)生的數(shù)據(jù)被證明同樣很有價(jià)值，這些數(shù)據(jù)包括他們點(diǎn)擊哪些結(jié)果、不滿意時(shí)對關(guān)鍵詞的更改、查詢關(guān)鍵詞與所處地理位置的關(guān)系等。這一過程的最直接例子就是谷歌所說的“個(gè)性化搜索”——這是一個(gè)可選功能，利用用戶的搜索歷史和地理位置來確定他想要找的內(nèi)容(使用這項(xiàng)功能需要先登錄谷歌賬號)。更通常的方法是，谷歌利用其收集的大量數(shù)據(jù)支持其算法，谷歌對此有極深的理解，可以解讀隱秘查詢的復(fù)雜意圖。
