Наступним кроком у великій моделі ШІ може стати дешеве рішення ранніх років Google

Джерело: Wang Jianshuo

Автор: Ван Цзяньшуо

Зовнішній вигляд перших серверів Google тривав у моїй пам’яті стільки років, і він став еталоном для мого розуміння технологій і стартапів.

Ось один, який я бачив у комп’ютерному музеї в Силіконовій долині в 2007 році:

На фотографії нижче зелено-біла лінія — це лінія скидання, яка підключена до кнопки, а інша лінія — індикатор жорсткого диска звичайного ПК. Чотири такі кнопки і лампочки кріпляться прямо на картоні чотирма шурупами.

У позиції відеокарти нічого не вставлено, інші слоти розширення також порожні.

Є лише одна мережева карта та мережевий кабель.

Процесор — Ben II.

Ось так виглядає вся материнська плата.

Цей комутатор HP має загалом 80 вхідних ліній.

Загалом цей кабінет має 20 поверхів. Кожна полиця покрита шаром соснових дощок, на які поміщені чотири однакових основні дошки, а посередині чотири жорсткі диски.

Є також існуючий у центрі відвідувачів Google.

На початку існування Інтернету пошук дуже швидко став корисною та багатообіцяючою справою. У той час монополізованими пошуковими системами були Lycos, AltaVista, InfoSeek тощо, що було дуже схоже на недавні масштабні модельні компанії, що борються за гегемонію.

Але, подібно до сучасних великих модельних компаній, ці пошукові компанії використовують систему Sun Micro і високоякісні сервери, такі як HP, які мають першокласну стабільність і дивовижну вартість. Запуск пошукової системи тоді був дорогим бізнесом. Оскільки трафік продовжує зростати, вартість також зростає тривожно. У той же час, через обмеження обчислювальної потужності, їх пошук все ще є базовим пошуком, який є таблицею зворотного індексу тексту, а ефект пошуку середній.

Google спочатку придумав алгоритм PageRank, який обчислює важливість веб-сторінки на основі ваги посилань з інших веб-сторінок. Це гарна ідея, але для її реалізації потрібна велика обчислювальна потужність. Цей процес загалом подібний до поточної великої моделі обчислення вектора тексту. Якщо я хочу знати вагу веб-сторінки, мені потрібно прочитати весь Інтернет, щоб побачити, які інші веб-сторінки вказують на цю веб-сторінку, і вагу цих веб-сторінок, і вагу цих веб-сторінок потрібно обчислити знову за такою логікою, що є майже нескінченним циклом. Така сама вимога до обчислювальної потужності.

Рішення Google не придбало висококласний сервер вартістю десятки тисяч доларів у єдиного правильного виробника хосту на той час, а помістило чотири маленькі материнські плати на шматок пробкового паперу, потім прив’язало жорсткий диск, підключило мережеву карту, і все закінчилося.

Очевидно, що такий тип стабільності сильно відрізняється від мейнфрейму виробника. Тому Google використовує програмне забезпечення для створення файлової системи, що розповсюджується Google File, що дозволяє перезаписувати файли в кількох місцях. Якщо будь-яке обладнання зламано, дані можна негайно відновити в інших місцях, так що ви поспішаєте та розбиваєте кілька " Маленькі комп’ютери» не постраждали. Додавши нашу власну структуру MapReduce, обчислення можна розподілити (відобразити) на цих невеликих комп’ютерах, а потім результати агрегувати (Reduce), так що обчислювальну потужність такої кількості комп’ютерів можна об’єднати без використання одного чи кількох комп’ютерів. дуже потужний комп'ютер.

Коротше кажучи, після такої кількості кидань, через дешеве обладнання, достатню обчислювальну потужність і дешеве сховище, Google достатньо, щоб підтримувати величезне споживання обчислювальної потужності PageRank, і дуже швидко переміг гіганта на той час з невідомої маленької станції у Стенфорді, став сучасним Google. Тому, з певної точки зору, величезна цінова перевага апаратного забезпечення в обмін на програмне забезпечення є фактором, який не можна ігнорувати в ранньому успіху Google.

Чи ця історія надихне нинішній ландшафт ШІ?

Модель ChatGPT від OpenAI, поєднана з відеокартою Nvdia V100, безумовно, допомогла нам зробити перший крок від нічого до чогось, від побачення можливості до доказу можливості, як і дорога пошукова система, створена службою Lycos Same. Однак чи є такий спосіб, як Google, можливість використання програмного забезпечення для божевільного зниження витрат на обладнання? Звичайно, ми пройшли еру кустарних серверів, і пайка GPU паяльником не виглядає надійним способом (тоді Google цього не робив, а безпосередньо використовував процесор Intel Pentium II), але чи буде Як щодо дивовижних рішень, які можуть зменшити витрати у великих масштабах?

Я не велика модель і не можу придумати жодного рішення. Але якщо такий план існує, він може суттєво змінити модель конкуренції в індустрії великих моделей.