Следующим шагом в большой модели искусственного интеллекта может стать дешевое решение первых лет Google.

Источник: Ван Цзяньшо.

Автор: Ван Цзяньшо

Внешний вид первых серверов Google уже много лет запомнился мне и стал эталоном моего понимания технологий и стартапов.

Вот один из них, который я видел в компьютерном музее в Кремниевой долине в 2007 году:

На фотографии ниже зелено-белая линия — это линия сброса, которая подключена к кнопке, а другая линия — это индикатор жесткого диска обычного ПК. Четыре таких кнопки и лампочки закреплены прямо на картоне четырьмя винтами.

В гнездо видеокарты ничего не вставлено, остальные слоты расширения также пусты.

Есть только одна сетевая карта и сетевой кабель.

Процессор — Бен II.

Вот так выглядит вся материнская плата.

Этот коммутатор HP имеет в общей сложности 80 входящих линий.

Всего в этом кабинете 20 этажей. Каждая полка покрыта слоем сосновых досок, на которых размещены четыре одинаковые основные платы, а посередине — четыре жестких диска.

Существует также существующий центр для посетителей Google.

На заре Интернета поиск очень быстро стал полезной и многообещающей вещью. В то время монополизированными поисковыми системами были Lycos, AltaVista, InfoSeek и т. д., что очень напоминало недавние крупные модельные компании, борющиеся за гегемонию.

Но, как и сегодняшние крупные модельные компании, эти поисковые компании используют систему Sun Micro и высококлассные серверы, такие как HP, которые обладают первоклассной стабильностью и потрясающей стоимостью. В то время запуск поисковой системы был дорогим делом. Поскольку трафик продолжает расти, стоимость также растет тревожно. В то же время из-за ограничения вычислительной мощности их поиск по-прежнему представляет собой базовый поиск, который представляет собой таблицу обратного индекса текста, а эффект поиска средний.

Первоначально Google придумал алгоритм PageRank, который предназначен для расчета важности веб-страниц на основе веса ссылок с других веб-страниц. Это хорошая идея, но для ее реализации требуется много вычислительной мощности.Этот процесс в основном похож на текущую большую модель для расчета вектора текста. Если я хочу узнать вес веб-страницы, мне нужно прочитать всю сеть, чтобы увидеть, какие другие веб-страницы указывают на эту веб-страницу, а также вес этих веб-страниц, и вес этих веб-страниц необходимо снова рассчитать по такой логике: это почти бесконечный цикл. Те же требования к вычислительной мощности.

Решение Google не заключалось в покупке высокопроизводительного сервера стоимостью десятки тысяч долларов у единственного на тот момент правильного производителя хостов, а помещало четыре небольшие материнские платы на кусок пробковой бумаги, затем привязывало жесткий диск, подключало сетевую карту, и все было кончено.

Очевидно, что такая стабильность сильно отличается от стабильности мэйнфрейма производителя. Поэтому Google использует программное обеспечение для создания файловой системы, распространяемой Google File, что позволяет перезаписывать файлы в нескольких местах. Если какое-либо оборудование сломано, данные можно немедленно восстановить в других местах, так что вы броситесь и разобьете несколько ". Маленькие компьютеры» не затронуты. Добавив нашу собственную платформу MapReduce, вычисления можно распределить (map) на этих небольших компьютерах, а затем результаты агрегировать (Reduce), так что вычислительную мощность такого количества компьютеров можно сложить вместе без использования одного или нескольких компьютеров. очень мощный компьютер.

Короче говоря, после такого большого количества метаний, из-за дешевого оборудования, достаточной вычислительной мощности и дешевого хранилища, Google достаточно, чтобы поддерживать огромное потребление вычислительной мощности PageRank, и очень быстро победил гиганта того времени с неизвестной маленькой станции. в Стэнфорде, стал сегодняшним Google. Таким образом, с определенной точки зрения, огромное ценовое преимущество аппаратного обеспечения в обмен на программное обеспечение является фактором, который нельзя игнорировать в раннем успехе Google.

Будет ли эта история вдохновлять нынешний ландшафт искусственного интеллекта?

Модель ChatGPT OpenAI в сочетании с видеокартой Nvdia V100, безусловно, помогла нам сделать первый шаг от ничего к чему-то, от просмотра возможности к доказательству возможности, точно так же, как дорогая поисковая система, созданная сервисом Lycos Same. Однако существует ли способ, подобный Google, возможность с помощью программного обеспечения безумно сократить затраты на оборудование? Конечно, эпоха серверов ручной сборки прошла, и пайка GPU паяльником не кажется надежным способом (Google тогда этого не делал, а напрямую использовал процессор Intel Pentium II), но Будут ли какие-нибудь удивительные решения, которые смогут значительно снизить затраты?

Я не большая модель и не могу придумать никакого решения. Но если такой план существует, он может существенно изменить структуру конкуренции в индустрии крупномасштабных моделей.