AI 大模型的下一步，或許是Google 早年的那種便宜的方案

來源：王建碩

作者：王建碩

Google 早期的服務器的樣子，這麼多年在我腦子裡，一直揮之不去，成為我對技術，對創業公司的理解的一個基準。

這是2007 年，我在矽谷的計算機博物館看到的一台：

下面的照片裡面，綠色和白色相間的一條是reset 的線，連著一個按鈕，一條是普通PC 的硬盤燈。四個這樣按鈕和燈用四個螺絲釘直接固定在一個硬紙板上面。

顯卡的位置什麼也沒有插，其他的擴展槽也都空著。

只有一個網卡，和網線。

CPU是奔二的。

這個是整個主板的樣子。

這個惠普的Switch 總共有80條進線。

這一個機櫃，總共是20層。每一層的架子上面墊著一層松木板的隔層，隔層上面放四個一摸一樣的主版，四塊硬盤放在中間一條。

還有一台現存的在Google 的訪客中心。

在互聯網初期，非常快，搜索就成為一個有用，有前途的事情。那個時候壟斷的搜索引擎是Lycos，AltaVista，InfoSeek 等等，像極了最近的各個大模型公司群雄爭霸。

但是和現在的大模型公司類似的是，這些搜索公司用的是Sun Micro 的系統，用的是HP 等高端的服務器，穩定性一流，成本也驚人。當時運行搜索引擎可是個花大錢的生意。隨著流量的不斷攀升，成本也驚人的攀升。同時受到算力的限制，他們的搜索還是基本的檢索，就是文字的反向索引表，搜索效果一般。

Google 最初想到了PageRank 算法，就是根據其他網頁的鏈接的權重來算網頁的重要度。這個倒是一個不錯的想法，但是實現起來需要非常大的算力，這個過程基本上和現在的大模型算文字的向量有點像。我想知道一個網頁的權重，我就需要把全網看一遍，看哪些其他的網頁指向這個網頁，以及這些網頁的權重，而這些網頁的權重又要這樣的邏輯算一遍，幾乎是一個死循環一樣的算力要求。

Google 的解決方案，就沒有買當時唯一正確的主機廠商動輒幾萬美金一台的高端服務器，而就是在一張軟木紙上，放上四小片主板，然後綁上硬盤，插上網卡，就結束了。

很顯然這樣的穩定性和廠商的主機相比是天壤之別。所以，Google 就用軟件，做了Google File 分佈的文件系統，讓文件在多個地方重複寫入，任何硬件壞了，數據就立刻可以在其他地方重建，以至於你衝過去隨便砸壞幾個「小電腦」都不影響。在加上自己的MapReduce 的框架，把計算可以分佈（map）在這些小電腦上計算，然後把結果匯總（Reduce），就可以把這麼多電腦的算力加在一起，而不用一台或幾台特別強大的電腦。

總之，經過這麼一番折騰，Google 因為硬件便宜，算力足，存儲便宜，這些才足以支撐PageRank 這樣的巨大的算力消耗，非常快就從Stanford 的一個無名的小站，打敗了當時的巨頭，成為了今天的Google。所以，從某種角度說，用軟件換來的硬件的巨大的成本優勢，是Google 早期成功不可忽略的因素。

這段歷史，是不是會對現在的AI 格局有所啟發呢？

用Nvdia V100 的顯卡堆出來的OpenAI 的ChatGPT 的模型，固然幫助我們完成了從沒有到有，從看不到可能性到證明了可能性的第一步，就如同Lycos 搭起來的昂貴的搜索引擎服務一樣。但，是不是有Google 這樣的方式，用軟件的方式瘋狂的降低硬件成本的可能性呢？當然我們已經過了手工攢服務器的時代了，用電烙鐵焊GPU 似乎也不是靠譜的路子（Google 當年也用沒有這麼做，而是直接用的Intel 奔騰II 的CPU ），但是會不會有一些讓人拍案叫絕的方案，可以大規模的降低成本呢？

我不是做大模型的， 並想不出來什麼方案。但如果這樣的方案存在，或許將極大的改變大模型行業的競爭壁格局。