Büyük yapay zeka modelindeki bir sonraki adım, Google'ın ilk yıllarındaki ucuz çözüm olabilir

Kaynak: Wang Jianshuo

Yazar: Wang Jianshuo

Google'ın ilk sunucularının görünümü uzun yıllardır aklımdaydı ve teknoloji ve startuplara dair anlayışım için bir referans noktası haline geldi.

İşte 2007'de Silikon Vadisi'ndeki bir bilgisayar müzesinde gördüğüm bir tanesi:

Aşağıdaki fotoğrafta yeşil beyaz çizgi bir düğmeye bağlı olan sıfırlama hattı, diğer çizgi ise normal bir bilgisayarın sabit disk ışığıdır. Bu tür dört düğme ve ışık, dört vidayla doğrudan bir kartonun üzerine sabitlenir.

Grafik kartı konumunda hiçbir şey takılı değil ve diğer genişletme yuvaları da boş.

Yalnızca bir ağ kartı ve ağ kablosu vardır.

CPU Ben II'dir.

Anakartın tamamı böyle görünüyor.

Bu HP Switch'in toplam 80 gelen hattı vardır.

Bu dolabın toplam 20 katı var. Her raf, üzerine dört özdeş ana kartın yerleştirildiği ve ortasına dört sabit sürücünün yerleştirildiği bir çam tahtası tabakasıyla kaplıdır.

Google'ın ziyaretçi merkezinde de mevcut bir tane var.

İnternetin ilk günlerinde arama çok hızlı bir şekilde yararlı ve umut verici bir şey haline geldi. O zamanın tekelleşmiş arama motorları Lycos, AltaVista, InfoSeek vb. idi; bu da son zamanların hegemonya mücadelesi veren büyük ölçekli model şirketlerine çok benziyordu.

Ancak günümüzün büyük model şirketlerine benzer şekilde, bu arama şirketleri de Sun Micro'nun sistemini ve birinci sınıf kararlılığa ve inanılmaz maliyete sahip HP gibi üst düzey sunucuları kullanıyor. O zamanlar arama motoru çalıştırmak pahalı bir işti. Trafik artmaya devam ettikçe maliyetler de endişe verici derecede artıyor. Aynı zamanda, hesaplama gücünün sınırlaması nedeniyle, aramaları hala metnin ters dizin tablosu olan temel bir aramadır ve arama etkisi ortalamadır.

Google başlangıçta bir web sayfasının önemini diğer web sayfalarından gelen bağlantıların ağırlığına göre hesaplayan PageRank algoritmasını düşündü. Bu iyi bir fikir, ancak bunu gerçekleştirmek için çok fazla bilgi işlem gücü gerekiyor. Bu süreç temel olarak metin vektörünü hesaplamak için mevcut büyük modele benzer. Bir web sayfasının ağırlığını bilmek istersem, bu web sayfasına başka hangi web sayfalarının işaret ettiğini görmek için tüm web'i okumam gerekir ve bu web sayfalarının ağırlığını ve bu web sayfalarının ağırlığının bu mantıkla tekrar hesaplanması gerekir, bu neredeyse sonsuz bir döngüdür. Aynı bilgi işlem gücü gereksinimi.

Google'ın çözümü, o zamanın tek doğru ana bilgisayar üreticisinden on binlerce dolara mal olan üst düzey bir sunucu satın almak değil, dört küçük anakartı bir parça mantar kağıdının üzerine koymak, ardından bir sabit disk bağlamak ve bir ağa bağlamaktı. kart ve bitti.

Açıkçası, bu tür bir kararlılık üreticinin ana bilgisayarından çok farklıdır. Bu nedenle Google, dosyaların birden çok yerde yeniden yazılmasına olanak tanıyan, Google Dosya tarafından dağıtılan bir dosya sistemi oluşturmak için yazılım kullanır. Herhangi bir donanım bozulursa, veriler hemen başka yerlerde yeniden oluşturulabilir, böylece acele edip birkaçını parçalayabilirsiniz " Küçük bilgisayarlar" etkilenmez. Kendi MapReduce çerçevemizi ekleyerek, bilgi işlem bu küçük bilgisayarlara dağıtılabilir (harita) ve daha sonra sonuçlar toplanabilir (Azalt), böylece çok sayıda bilgisayarın bilgi işlem gücü, bir veya daha fazla bilgisayar kullanılmadan birbirine eklenebilir. çok güçlü bir bilgisayar.

Kısacası, bu kadar çok uğraşın ardından, ucuz donanım, yeterli bilgi işlem gücü ve ucuz depolama nedeniyle Google, PageRank'in büyük bilgi işlem gücü tüketimini desteklemeye yetti ve o zamanın devini bilinmeyen küçük bir istasyondan çok hızlı bir şekilde mağlup etti. Stanford'da bugünün Google'ı oldu. Dolayısıyla belli bir açıdan bakıldığında yazılım karşılığında donanımın sağladığı devasa maliyet avantajı, Google'ın erken dönemdeki başarısında göz ardı edilemeyecek bir faktör.

Bu tarih mevcut yapay zeka ortamına ilham verecek mi?

OpenAI'nin Nvdia V100 grafik kartıyla bir araya getirilen ChatGPT modeli, tıpkı Lycos Same hizmeti tarafından geliştirilen pahalı arama motoru gibi, olasılığı görmekten olasılığı kanıtlamaya kadar hiçbir şeyden bir şeye giden ilk adımı tamamlamamıza kesinlikle yardımcı oldu. Ancak Google gibi bir yazılım kullanarak donanım maliyetlerini çılgınca düşürmenin bir yolu var mı? Elbette el yapımı sunucular çağını geçtik ve GPU'yu havyayla lehimlemek pek güvenilir bir yol gibi görünmüyor (o zamanlar Google bunu yapmıyordu, doğrudan Intel Pentium II CPU'yu kullanıyordu), ancak Maliyetleri büyük ölçüde azaltabilecek harika çözümlere ne dersiniz?

Ben büyük bir model değilim ve aklıma herhangi bir çözüm gelmiyor. Ama eğer böyle bir plan varsa, büyük ölçekli model sektörünün rekabet yapısını büyük ölçüde değiştirebilir.