Langkah selanjutnya dalam model besar AI mungkin merupakan solusi murah di tahun-tahun awal Google

Sumber: Wang Jianshuo

Penulis: Wang Jianshuo

Kemunculan server awal Google telah melekat di benak saya selama bertahun-tahun, dan telah menjadi tolok ukur pemahaman saya tentang teknologi dan startup.

Ini yang saya lihat di museum komputer di Silicon Valley pada tahun 2007:

Pada foto di bawah, garis hijau putih adalah garis reset yang terhubung ke sebuah tombol, dan garis lainnya adalah lampu hard disk PC biasa. Empat tombol dan lampu tersebut dipasang langsung pada karton dengan empat sekrup.

Tidak ada apa pun yang dimasukkan pada posisi kartu grafis, dan slot ekspansi lainnya juga kosong.

Hanya ada satu kartu jaringan dan kabel jaringan.

CPUnya adalah Ben II.

Seperti inilah keseluruhan motherboardnya.

HP Switch ini memiliki total 80 saluran masuk.

Kabinet ini memiliki total 20 lantai. Setiap rak ditutupi dengan lapisan papan pinus, di mana empat papan utama identik ditempatkan, dan empat hard drive ditempatkan di tengah.

Ada juga yang sudah ada di pusat pengunjung Google.

Pada masa awal Internet, pencarian menjadi hal yang berguna dan menjanjikan dengan sangat cepat. Pada saat itu, mesin pencari yang dimonopoli adalah Lycos, AltaVista, InfoSeek, dll., yang sangat mirip dengan perusahaan model skala besar yang memperjuangkan hegemoni.

Namun mirip dengan perusahaan model besar saat ini, perusahaan pencarian ini menggunakan sistem Sun Micro dan server kelas atas seperti HP, yang memiliki stabilitas kelas satu dan biaya luar biasa. Menjalankan mesin pencari adalah bisnis yang mahal saat itu. Ketika lalu lintas terus meningkat, biaya juga meningkat secara mengkhawatirkan. Pada saat yang sama, karena keterbatasan daya komputasi, pencarian mereka masih berupa pencarian dasar, yaitu tabel indeks teks terbalik, dan efek pencariannya rata-rata.

Google awalnya memikirkan algoritma PageRank, yaitu menghitung pentingnya suatu halaman web berdasarkan bobot link dari halaman web lain. Ini adalah ide yang bagus, tetapi memerlukan banyak daya komputasi untuk merealisasikannya.Proses ini pada dasarnya mirip dengan model besar saat ini untuk menghitung vektor teks. Jika saya ingin mengetahui bobot suatu halaman web, saya perlu membaca keseluruhan web untuk melihat halaman web mana yang mengarah ke halaman web ini, dan bobot halaman web tersebut, dan bobot halaman web tersebut perlu dihitung lagi dengan logika seperti itu, yang hampir merupakan putaran tak berujung Persyaratan daya komputasi yang sama.

Solusi Google tidak membeli server kelas atas seharga puluhan ribu dolar dari satu-satunya produsen host yang benar pada saat itu, tetapi meletakkan empat motherboard kecil di selembar kertas gabus, lalu mengikat hard disk, menyambungkannya ke kartu jaringan, dan itu sudah berakhir.

Jelas, kestabilan semacam ini jauh berbeda dengan mainframe pabrikan. Oleh karena itu, Google menggunakan perangkat lunak untuk membuat sistem file yang didistribusikan oleh Google File, yang memungkinkan file ditulis ulang di banyak tempat. Jika ada perangkat keras yang rusak, data dapat segera dibangun kembali di tempat lain, sehingga Anda bergegas dan menghancurkan beberapa " Komputer kecil" tidak terpengaruh. Dengan menambahkan kerangka MapReduce kita sendiri, komputasi dapat didistribusikan (dipetakan) pada komputer-komputer kecil ini, dan kemudian hasilnya dikumpulkan (Reduce), sehingga daya komputasi dari begitu banyak komputer dapat dijumlahkan tanpa menggunakan satu atau beberapa komputer. komputer yang sangat kuat.

Singkatnya, setelah banyak sekali lemparan, karena perangkat keras yang murah, daya komputasi yang memadai, dan penyimpanan yang murah, Google cukup untuk mendukung konsumsi daya komputasi PageRank yang sangat besar, dan dengan sangat cepat mengalahkan raksasa pada saat itu dari stasiun kecil yang tidak dikenal. di Stanford. , menjadi Google saat ini. Oleh karena itu, dari sudut pandang tertentu, keunggulan biaya perangkat keras yang sangat besar dibandingkan perangkat lunak merupakan faktor yang tidak dapat diabaikan dalam kesuksesan awal Google.

Akankah sejarah ini menginspirasi lanskap AI saat ini?

Model ChatGPT OpenAI yang dipadukan dengan kartu grafis Nvdia V100 tentu membantu kami menyelesaikan langkah pertama dari tidak ada menjadi sesuatu, dari melihat kemungkinan hingga membuktikan kemungkinan, seperti mesin pencari mahal yang dibuat oleh layanan Lycos Same. Namun, apakah ada cara seperti Google, kemungkinan menggunakan perangkat lunak untuk mengurangi biaya perangkat keras secara drastis? Tentu saja, kita telah melewati era server buatan tangan, dan menyolder GPU dengan besi solder sepertinya bukan cara yang dapat diandalkan (Google tidak melakukan ini saat itu, tetapi langsung menggunakan CPU Intel Pentium II), tetapi akankah ada solusi luar biasa yang dapat mengurangi biaya dalam skala besar?

Saya bukan model besar, dan saya tidak bisa memikirkan solusi apa pun. Namun jika rencana seperti itu ada, hal ini mungkin akan mengubah pola persaingan industri model skala besar.