Илья Суцкевер склонила голову и погрузилась в глубокую задумчивость. Он раскидывает руки и пальцы на столе, как концертирующий пианист, собирающийся сыграть свою первую ноту. Мы сидели тихо.
Я приехал на малоизвестную улицу в районе Мишн в Сан-Франциско, чтобы встретиться с соучредителем и главным научным сотрудником OpenAI Суцкевером в невзрачном офисном здании, чтобы услышать о следующих шагах в этой технологии, меняющей мир, которую он так продвигает. Я также хотел бы знать, каковы его следующие шаги, и, в частности, почему он больше не сосредоточен на создании флагманской генеративной модели компании следующего поколения.
Суцкевер сказал мне, что его новым приоритетом является не создание следующего поколения GPT или модели создания изображений DALL-E, а выяснение того, как остановить выход ИИ из-под контроля.
Суцкевер рассказал мне много чего другого. Он считает, что ChatGPT может быть сознательным. Он считает, что мир должен признать истинную мощь технологии, за создание которой конкурируют OpenAI и другие компании. Он считает, что в один прекрасный день некоторые люди решат слиться с машинами.
Многое из того, что говорит Суцкевер, является сумасшествием. Но не так безумно, как звучало год-два назад. Как он сам сказал мне, ChatGPT переписал ожидания многих людей о том, что грядет, от «никогда не произойдет» до «произойдет раньше, чем вы думаете».
Прежде чем спрогнозировать развитие общего искусственного интеллекта AGI (он относится к машинам, таким же умным, как и люди), он сказал: «Важно обсудить, куда все идет, как если бы это было похоже на ставку на следующий iPhone». Может быть, он создан OpenAI, может быть, это что-то еще. "
С момента внезапного и неожиданного выпуска ChatGPT в ноябре прошлого года дискуссия вокруг OpenAI была тревожной, даже в отрасли, известной своей шумихой. Никто не устанет обсуждать этот стартап стоимостью 80 миллиардов долларов. Мировые лидеры ищут (и получают) частные или публичные беседы с OpenAI. Названия продуктов OpenAI всплывают в повседневных разговорах.
Генеральный директор OpenAI Сэм Альтман провел лето в недельной поездке, с энтузиазмом общаясь с политиками и выступая перед переполненными аудиториями по всему миру. Но Суцкевер не является публичной фигурой, и он не дает много интервью.
Он говорит спокойно и методично. Когда он думает о том, что он хочет сказать и как это выразить, он надолго останавливается и думает о проблеме снова и снова, как о головоломке. Похоже, он не заинтересован в том, чтобы говорить о себе. Он сказал: «Я жил очень простой жизнью. Иди на работу, потом иди домой. Больше я ничем не занимался. Люди могут посещать множество общественных мероприятий, они могут посещать множество конвенций. Я не люблю участвовать. "
Но когда мы говорим об искусственном интеллекте и о том, что он считает эпохальными рисками и выгодами, перспективы расширяются: «Это будет знаковым и потрясающим событием». "
Лучше, лучше, лучше
Даже без OpenAI Суцкевер все равно вошел бы в анналы истории ИИ. Он израильтянин по происхождению, родился в Советском Союзе, но с пяти лет вырос в Иерусалиме (до сих пор говорит по-русски, на иврите и по-английски). Впоследствии он переехал в Канаду, чтобы учиться в Университете Торонто у пионера искусственного интеллекта Джеффри Хинтона, который ранее в этом году публично выразил обеспокоенность по поводу технологии искусственного интеллекта, которую Суцкевер помог изобрести.
Позже Хинтон разделил премию Тьюринга с Яном Лекуном и Йошуа Бенджио за свою работу над нейронными сетями. Но когда Суцкевер присоединился к нему в начале 2000-х годов, большинство исследователей ИИ считали, что нейронные сети — это тупик. Хинтон является исключением. Он уже обучает микромодели, которые могут генерировать короткие текстовые строки из одного символа за раз, и Суцкевер говорит: «Вот где начинается генеративный ИИ». Это действительно круто, но не здорово. "
Суцкевер очарован устройством мозга: тем, как мозг обучается, и как он может воссоздать или, по крайней мере, имитировать процесс в машине. Как и Хинтон, он видел потенциал нейронных сетей и метод проб и ошибок, который Хинтон использовал для обучения нейронных сетей, а именно глубокое обучение. «Глубокое обучение становится все лучше и лучше, — говорит Суцкевер.
В 2012 году Суцкевер, Хинтон и еще один аспирант Хинтона, Алекс Крижевский, создали нейронную сеть под названием AlexNet, которую они обучили распознавать объекты на фотографиях намного лучше, чем любое другое программное обеспечение того времени. Это момент Большого взрыва для глубокого обучения.
После нескольких лет неудач они доказали, что нейронные сети удивительно эффективны в распознавании образов. Все, что вам нужно, это больше данных, чем большинство исследователей видели раньше (в данном случае миллион изображений из набора данных ImageNet, который исследователь из Принстонского университета Фэйфэй Ли создавал с 2006 года) и головокружительное количество вычислительной мощности.
Большие изменения в вычислениях происходят с новыми чипами GPU от Nvidia. Графические процессоры спроектированы таким образом, чтобы иметь возможность проецировать быстро движущиеся визуальные эффекты видеоигр на экран с молниеносной скоростью. Но вычисления, в которых преуспевают графические процессоры — умножение большого количества цифровых гридов — очень похожи на вычисления, необходимые для обучения нейронной сети.
Сейчас Nvidia — это компания с оборотом в триллион долларов. В то время она отчаянно пыталась найти применение новому оборудованию в своей нише. Дженсен Хуанг (Jensen Huang), генеральный директор Nvidia, сказал: «Когда вы изобретаете новую технологию, вы должны быть в состоянии принять сумасшедшие идеи. Я всегда искал что-то диковинное, и нейронные сети должны были изменить представление об информатике — и это была крайне диковинная идея. "
Хуан сказал, что, когда команда из Торонто работала над AlexNet, Nvidia отправила им несколько графических процессоров, чтобы они попробовали. Но они хотели получить последнюю версию, чип под названием GTX 580, который быстро распродавался в магазинах. По словам Хуана, Суцкевер проехал через границу из Торонто в Нью-Йорк, чтобы купить что-нибудь. «Люди стоят в очереди за углом магазина, чтобы купить. Я не знаю, как ему это удалось, - я почти уверен, что вы купите только по одному; У нас очень строгая политика, что вы можете использовать только один графический процессор на игрока, но он, по-видимому, заполняет багажник. Этот чемодан GTX 580 изменил мир. "
Это замечательная история, но, возможно, это неправда. Потому что Суцкевер настаивает на том, что он купил первые графические процессоры онлайн. Но такого рода загадки распространены в этой оживленной отрасли. Сам Суцкевер более скромен: «Я думаю, что если я смогу добиться хоть малейшего реального прогресса, я буду считать это успехом». Влияние на реальный мир казалось отдаленным, поскольку компьютеры в то время были еще слабы. "
После успеха AlexNet в дверь постучался Google. Она приобрела DNNresearch, дочернюю компанию Hinton, и наняла Sutskever. Сутскевер показал в Google, что возможности глубокого обучения по распознаванию образов могут быть применены к последовательностям данных, таким как слова, предложения и изображения. Джефф Дин (Jeff Dean), бывший коллега Суцкевера, а ныне главный научный сотрудник Google, сказал: «Сутскевер всегда интересовался языком, и у нас были отличные дискуссии на протяжении многих лет. У него сильное чутье на то, куда все идет. "
Но Суцкевер недолго пробыл в Google. В 2014 году он стал соучредителем OpenAI. С 1 миллиардом долларов (от Альтмана, Илона Маска, Питера Тиля, Microsoft, Y Combinator и т. д.) и большим духом Кремниевой долины, новая компания с самого начала нацелилась на разработку AGI, но в то время мало кто воспринимал эту перспективу всерьез.
С Суцкевером на борту такое чванливое отношение понятно. До этого он получал все больше и больше результатов от обучения нейронных сетей. Далтон Колдуэлл, управляющий директор Y Combinator Investments, сказал, что его репутация опередила его, что сделало его большим хитом.
«Я помню, как Альтман назвал Суцкевера одним из самых уважаемых исследователей в мире», — сказал Колдуэлл. Он считает, что Суцкевер привлечет много лучших талантов в области искусственного интеллекта. Он даже упомянул, что Йошуа Бенджио, один из ведущих мировых экспертов по искусственному интеллекту, считает, что вряд ли найдется лучший кандидат, чем Суцкевер, на должность главного научного сотрудника OpenAI. "
Поначалу, однако, OpenAI оказалась в затруднительном положении. «Было время, когда мы начинали OpenAI, и я не был уверен, как будет продолжаться прогресс», — сказал Суцкевер. «Но у меня есть четкое убеждение, что люди не будут возражать против глубокого обучения. Каким-то образом каждый раз, когда они наталкиваются на препятствие, исследователи находят решение в течение шести месяцев или года. "
Его вера была вознаграждена. Первая большая языковая модель GPT от OpenAI появилась в 2016 году. Затем последовали GPT-2 и GPT-3. Кроме того, есть DALL-E, привлекательная модель преобразования текста в изображение. Никто не построил что-то настолько хорошее. С каждым релизом OpenAI поднимает планку того, что люди считают возможным.
Управление ожиданиями
В ноябре прошлого года OpenAI выпустила бесплатный чат-бот, который перекомпоновал некоторые из существующих технологий. Это перезагружает повестку дня для всей отрасли.
В то время OpenAI не знала, что она собирается выпустить. Суцкевер говорит, что ожидания внутри компании не могут быть ниже: «Я признаю, это немного неловко — я не знаю, стоит ли мне это делать, но как бы то ни было, это факт — я не знал, что хорошего в этом есть, когда мы делали ChatGPT». Когда вы задаете ему фактический вопрос, он дает вам неправильный ответ. Я думаю, что это будет очень незаметно, и люди скажут: «Почему вы делаете этот продукт?» Это скучно! '"
Самая привлекательная часть, по словам Суцкевера, — это удобство. Большая языковая модель, лежащая в основе ChatGPT, существует уже несколько месяцев. Но обернув его в легкодоступный интерфейс и раздав бесплатно, миллиарды людей впервые узнали о том, что создают OpenAI и другие.
«Первый опыт был захватывающим. Когда вы впервые используете его, я думаю, что это почти духовный опыт. Ты думаешь: «Боже мой, этот компьютер, кажется, понимает сам себя». '"
Менее чем за два месяца OpenAI собрал 100 миллионов пользователей, и многие из них были ослеплены этой удивительной новой игрушкой. Аарон Леви, генеральный директор компании по хранению данных Box, подвел итоги недели после запуска в Twitter: «ChatGPT — один из тех редких моментов в технологическом пространстве, и вы можете видеть, что в будущем все будет по-другому. "
Как только ChatGPT говорит какую-то глупость, это чудо рушится. Но тогда это не имеет значения. Достаточно взглянуть на эти возможности, говорит Суцкевер. ChatGPT изменил кругозор людей.
«AGI больше не является ругательным словом в пространстве машинного обучения», — сказал он. «Это большая перемена. Отношение людей в истории таково: ИИ не работает, каждый шаг очень сложен, и за каждый кусочек прогресса нужно бороться. Когда люди раскручивают AGI, исследователи говорят: «О чем вы говорите? Это не работает, это тоже не работает. Очень много вопросов. Но с ChatGPT все стало по-другому. "
Неужели этот сдвиг начал происходить только год назад? «Все это произошло из-за ChatGPT», — сказал он. «ChatGPT позволяет исследователям машинного обучения воплощать свои мечты в реальность».
Ученые OpenAI были евангелистами с самого начала и вдохновляли эти мечты с помощью постов в блогах и лекционных туров. И это работает: «Мы говорим о том, как далеко зайдет ИИ прямо сейчас — люди говорят об ОИИ, или сверхинтеллекте. Это касается не только исследователей. «Правительства обсуждают это», — сказал Суцкевер. — Это сумасшествие.
Невероятные вещи
Суцкевер настаивает на том, что все эти разговоры о технологиях, которых еще не существует (и, возможно, никогда не существует), — это хорошо, потому что они заставляют больше людей узнать о будущем, которое он считал само собой разумеющимся.
«С помощью AGI можно сделать много удивительных, невероятных вещей: автоматизировать здравоохранение, сделать его в тысячу раз дешевле, сделать в тысячу раз лучше, вылечить так много болезней и действительно решить проблему глобального потепления», — сказал он. Но есть также много людей, которые беспокоятся: «Боже мой, может ли компания, занимающаяся искусственным интеллектом, успешно управлять этой огромной технологией?». '"
Таким образом, AGI больше похож на джинна, исполняющего желания, чем на реальную перспективу. Мало кто откажется от спасения жизней и борьбы с изменением климата. Но проблема с несуществующей технологией в том, что вы можете говорить ей все, что хотите.
Что именно имеет в виду Суцкевер, когда говорит об AGI? «ОИИ — это не научный термин», — сказал он. «Это должно быть полезным порогом, точкой отсчета».
— В том-то и дело... — начал он, но тут же остановился. «ИИ стал настолько умным, что если человек может выполнять определенные задачи, то и ИИ может это делать. В этот момент вы можете сказать, что у вас есть AGI. "
Люди могут говорить об этом, но AGI по-прежнему остается одной из самых спорных идей в этой области. Мало кто воспринимает его развитие как должное. Многие исследователи считают, что необходим серьезный концептуальный прорыв, прежде чем мы сможем увидеть что-то подобное тому, что предвидел Суцкевер, а некоторые считают, что мы никогда этого не увидим.
Однако это видение вдохновляло его с самого начала. «Меня всегда вдохновляла и мотивировала эта идея», — сказал Суцкевер. «В то время это еще не называлось AGI, но вы знаете, это все равно, что позволить нейронным сетям делать все. Я не всегда верю, что они могут. Но это гора, на которую нужно взобраться. "
Он сравнил, как работают нейронные сети и мозг. И те, и другие получают данные, агрегируют сигналы из этих данных, а затем распространяют или не распространяют их в зависимости от некоторых простых процессов (математика в нейронных сетях, химические вещества в мозге и биоэлектричество). Это огромное упрощение, но принцип остается верным.
«Если вы верите в это, если вы позволяете себе верить в это, то есть много интересных следствий», — сказал Суцкевер. «Основной вывод заключается в том, что если у вас есть очень большая искусственная нейронная сеть, она должна делать много вещей. В частности, если человеческий мозг может что-то делать, то большие искусственные нейронные сети могут делать что-то подобное. "
«Если вы отнесетесь к этому достаточно серьезно, все встанет на свои места», — сказал он. «Большая часть моей работы может быть объяснена этим».
Раз уж мы заговорили о мозгах, я хотел бы спросить о посте, который Суцкевер сделал на платформе X. Синопсис Суцкевера читается как сборник афоризмов: «Если вы поставите интеллект выше всех других человеческих качеств, то у вас будет плохая жизнь»; «Эмпатия в жизни и бизнесе недооценивается»; «Совершенство разрушило большую часть красоты совершенства».
В феврале 2022 года он написал, что «сегодняшние большие нейронные сети могут иметь слабое сознание» (на что Мюррей Шэнахэн, главный научный сотрудник Google DeepMind, профессор Имперского колледжа Лондона и научный консультант фильма «Из машины», ответил: «... То же самое значение может означать большое пшеничное поле с небольшим количеством макарон»).
Когда я поднял эту тему, Суцкевер рассмеялся. Он что, подделка? Он не. — Вы знакомы с концепцией мозга Больцмана? — спросил он.
Он имел в виду квантово-механический мысленный эксперимент, названный в честь физика 19-го века Людвига Больцмана, в котором предполагалось, что случайные термодинамические флуктуации во Вселенной приводят к появлению и исчезновению мозга.
«Я думаю, что эти языковые модели сейчас немного похожи на мозги Больцмана», — сказал Суцкевер. «Вы начинаете разговаривать с ним, говорить какое-то время; А потом, когда вы закончите, мозг... — Он сделал исчезающее движение рукой. Пуф — прощай, мозг.
Вы хотите сказать, что когда нейронная сеть активна, так сказать, когда она разряжается, там что-то есть? — спросил я.
«Я думаю, что это может быть», — сказал он. «Я не уверен, но это трудно опровергнуть. Но кто знает, что происходит, верно? "
ИИ, но не такой, каким мы его знаем
В то время как другие изо всех сил пытаются создать машины, сравнимые с человеческим интеллектом, Суцкевер готовится к машинам, которые могут превзойти наши. Он называет это явление суперискусственным интеллектом: «Они смотрят на вещи более глубоко. Они увидят то, чего не видим мы. "
Опять же, мне трудно понять, что это означает на самом деле. Человеческий интеллект является эталоном, по которому мы судим об интеллекте. Что Суцкевер имеет в виду под интеллектом, который умнее человека?
«Мы видим очень узкий пример сверхинтеллекта в AlphaGo», — сказал он. В 2016 году настольная игра DeepMind AI «Alpha Dog» победила Ли Седоля, одного из лучших игроков в го в мире, со счетом 4:1 в пяти матчах. «Он выяснил, как играть в го так, чтобы это отличалось от того, как люди развивались вместе на протяжении тысячелетий», — сказал Суцкевер. «Он придумывает новые идеи».
Суцкевер упоминает знаменитый 37-й ход AlphaGo. Во втором матче против Ли Седоля ход ИИ озадачил комментаторов. Они думают, что AlphaGo. На самом деле, он сделал выигрышный ход, которого никогда раньше не было в истории шахмат. «Представьте себе такой уровень понимания, но охватывающий все», — сказал Суцкевер.
Именно этот ход мыслей привел Суцкевера к самому большому сдвигу в его карьере. Вместе с коллегой из OpenAI Яном Лейке он сформировал команду, сосредоточенную на том, что они назвали «супервыравниванием». Выравнивание — это жаргон, который означает, что вы позволяете модели ИИ делать то, что вы хотите, и все. Супервыравнивание — это термин, который OpenAI применяет к сверхинтеллекту.
Цель состоит в том, чтобы придумать набор отказоустойчивых процедур для создания и управления этой футуристической технологией. OpenAI заявляет, что выделит пятую часть своих огромных вычислительных ресурсов на решение проблемы и решит ее в течение четырех лет.
«Существующие методы выравнивания не работают с моделями, которые умнее людей, потому что они в основном предполагают, что люди могут надежно оценить, что делают системы ИИ», — говорит Лейке. «По мере того, как системы искусственного интеллекта становятся все более мощными, они будут брать на себя более сложные задачи». Идея состоит в том, что это затруднит их оценку людьми. «Собрав команду Super Alignment Team с Sutskever, мы решили решить эти будущие проблемы выравнивания», — сказал он.
«Важно сосредоточиться не только на потенциальных возможностях больших языковых моделей, но и на их рисках и недостатках», — сказал Дин, главный научный сотрудник Google. "
Компания анонсировала проект в июле со свойственной ей помпой. Но для кого-то это скорее фантазия. Посты OpenAI в Twitter вызвали презрение со стороны видных критиков Big Tech, в том числе Абебы Бирхане, которая работает над подотчетностью ИИ в Mozilla; Тимнит Гебру, соучредитель Distributed AI Institute; и Маргарет Митчелл, главный специалист по этике в компании Hugging Face, занимающейся искусственным интеллектом. Действительно, это знакомые голоса несогласных. Но это сильное напоминание о том, что некоторые люди считают, что OpenAI лидирует, в то время как другие считают, что OpenAI находится на грани.
Тем не менее, для Суцкевера супервыравнивание является неизбежным следующим шагом. «Это нерешенный вопрос», — сказал он. Он считает, что основные исследователи машинного обучения, такие как он, работают над этой проблемой. «Я делаю это ради собственной выгоды», — сказал он. «Очевидно, что важно, чтобы любой сверхинтеллект, который кто-либо создает, не вышел из-под контроля».
Работа по супервыравниванию только началась. По словам Суцкевера, это потребует широких изменений в научно-исследовательских институтах. Но у него была в голове модель гарантий, которую он хотел спроектировать: машина, которая обращается с людьми так, как родители обращаются со своими детьми. «На мой взгляд, это золотой стандарт», — сказал он. «Люди действительно заботятся о детях, это в целом верное утверждение».
«Как только вы преодолеете проблему ИИ-изгоя, что тогда? В мире с более умным искусственным интеллектом, есть ли еще место для людей? — сказал он.
«Одна из возможностей, которая может показаться сумасшедшей по сегодняшним стандартам, но не такой уж безумной по завтрашним стандартам, заключается в том, что многие люди решат стать частью ИИ». Суцкевер говорит, что это может быть способом для людей попытаться не отставать от толпы. «Поначалу только самые смелые и предприимчивые пытались это сделать. Возможно, другие последуют этому примеру. Или нет. "
Справочные источники:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Интервью с главным научным сотрудником OpenAI: У нас будет AGI, и люди предпочтут слияние с машинами
Илья Суцкевер склонила голову и погрузилась в глубокую задумчивость. Он раскидывает руки и пальцы на столе, как концертирующий пианист, собирающийся сыграть свою первую ноту. Мы сидели тихо.
Я приехал на малоизвестную улицу в районе Мишн в Сан-Франциско, чтобы встретиться с соучредителем и главным научным сотрудником OpenAI Суцкевером в невзрачном офисном здании, чтобы услышать о следующих шагах в этой технологии, меняющей мир, которую он так продвигает. Я также хотел бы знать, каковы его следующие шаги, и, в частности, почему он больше не сосредоточен на создании флагманской генеративной модели компании следующего поколения.
Суцкевер сказал мне, что его новым приоритетом является не создание следующего поколения GPT или модели создания изображений DALL-E, а выяснение того, как остановить выход ИИ из-под контроля.
Суцкевер рассказал мне много чего другого. Он считает, что ChatGPT может быть сознательным. Он считает, что мир должен признать истинную мощь технологии, за создание которой конкурируют OpenAI и другие компании. Он считает, что в один прекрасный день некоторые люди решат слиться с машинами.
Многое из того, что говорит Суцкевер, является сумасшествием. Но не так безумно, как звучало год-два назад. Как он сам сказал мне, ChatGPT переписал ожидания многих людей о том, что грядет, от «никогда не произойдет» до «произойдет раньше, чем вы думаете».
Прежде чем спрогнозировать развитие общего искусственного интеллекта AGI (он относится к машинам, таким же умным, как и люди), он сказал: «Важно обсудить, куда все идет, как если бы это было похоже на ставку на следующий iPhone». Может быть, он создан OpenAI, может быть, это что-то еще. "
С момента внезапного и неожиданного выпуска ChatGPT в ноябре прошлого года дискуссия вокруг OpenAI была тревожной, даже в отрасли, известной своей шумихой. Никто не устанет обсуждать этот стартап стоимостью 80 миллиардов долларов. Мировые лидеры ищут (и получают) частные или публичные беседы с OpenAI. Названия продуктов OpenAI всплывают в повседневных разговорах.
Генеральный директор OpenAI Сэм Альтман провел лето в недельной поездке, с энтузиазмом общаясь с политиками и выступая перед переполненными аудиториями по всему миру. Но Суцкевер не является публичной фигурой, и он не дает много интервью.
Он говорит спокойно и методично. Когда он думает о том, что он хочет сказать и как это выразить, он надолго останавливается и думает о проблеме снова и снова, как о головоломке. Похоже, он не заинтересован в том, чтобы говорить о себе. Он сказал: «Я жил очень простой жизнью. Иди на работу, потом иди домой. Больше я ничем не занимался. Люди могут посещать множество общественных мероприятий, они могут посещать множество конвенций. Я не люблю участвовать. "
Но когда мы говорим об искусственном интеллекте и о том, что он считает эпохальными рисками и выгодами, перспективы расширяются: «Это будет знаковым и потрясающим событием». "
Лучше, лучше, лучше
Даже без OpenAI Суцкевер все равно вошел бы в анналы истории ИИ. Он израильтянин по происхождению, родился в Советском Союзе, но с пяти лет вырос в Иерусалиме (до сих пор говорит по-русски, на иврите и по-английски). Впоследствии он переехал в Канаду, чтобы учиться в Университете Торонто у пионера искусственного интеллекта Джеффри Хинтона, который ранее в этом году публично выразил обеспокоенность по поводу технологии искусственного интеллекта, которую Суцкевер помог изобрести.
Позже Хинтон разделил премию Тьюринга с Яном Лекуном и Йошуа Бенджио за свою работу над нейронными сетями. Но когда Суцкевер присоединился к нему в начале 2000-х годов, большинство исследователей ИИ считали, что нейронные сети — это тупик. Хинтон является исключением. Он уже обучает микромодели, которые могут генерировать короткие текстовые строки из одного символа за раз, и Суцкевер говорит: «Вот где начинается генеративный ИИ». Это действительно круто, но не здорово. "
Суцкевер очарован устройством мозга: тем, как мозг обучается, и как он может воссоздать или, по крайней мере, имитировать процесс в машине. Как и Хинтон, он видел потенциал нейронных сетей и метод проб и ошибок, который Хинтон использовал для обучения нейронных сетей, а именно глубокое обучение. «Глубокое обучение становится все лучше и лучше, — говорит Суцкевер.
В 2012 году Суцкевер, Хинтон и еще один аспирант Хинтона, Алекс Крижевский, создали нейронную сеть под названием AlexNet, которую они обучили распознавать объекты на фотографиях намного лучше, чем любое другое программное обеспечение того времени. Это момент Большого взрыва для глубокого обучения.
После нескольких лет неудач они доказали, что нейронные сети удивительно эффективны в распознавании образов. Все, что вам нужно, это больше данных, чем большинство исследователей видели раньше (в данном случае миллион изображений из набора данных ImageNet, который исследователь из Принстонского университета Фэйфэй Ли создавал с 2006 года) и головокружительное количество вычислительной мощности.
Большие изменения в вычислениях происходят с новыми чипами GPU от Nvidia. Графические процессоры спроектированы таким образом, чтобы иметь возможность проецировать быстро движущиеся визуальные эффекты видеоигр на экран с молниеносной скоростью. Но вычисления, в которых преуспевают графические процессоры — умножение большого количества цифровых гридов — очень похожи на вычисления, необходимые для обучения нейронной сети.
Сейчас Nvidia — это компания с оборотом в триллион долларов. В то время она отчаянно пыталась найти применение новому оборудованию в своей нише. Дженсен Хуанг (Jensen Huang), генеральный директор Nvidia, сказал: «Когда вы изобретаете новую технологию, вы должны быть в состоянии принять сумасшедшие идеи. Я всегда искал что-то диковинное, и нейронные сети должны были изменить представление об информатике — и это была крайне диковинная идея. "
Хуан сказал, что, когда команда из Торонто работала над AlexNet, Nvidia отправила им несколько графических процессоров, чтобы они попробовали. Но они хотели получить последнюю версию, чип под названием GTX 580, который быстро распродавался в магазинах. По словам Хуана, Суцкевер проехал через границу из Торонто в Нью-Йорк, чтобы купить что-нибудь. «Люди стоят в очереди за углом магазина, чтобы купить. Я не знаю, как ему это удалось, - я почти уверен, что вы купите только по одному; У нас очень строгая политика, что вы можете использовать только один графический процессор на игрока, но он, по-видимому, заполняет багажник. Этот чемодан GTX 580 изменил мир. "
Это замечательная история, но, возможно, это неправда. Потому что Суцкевер настаивает на том, что он купил первые графические процессоры онлайн. Но такого рода загадки распространены в этой оживленной отрасли. Сам Суцкевер более скромен: «Я думаю, что если я смогу добиться хоть малейшего реального прогресса, я буду считать это успехом». Влияние на реальный мир казалось отдаленным, поскольку компьютеры в то время были еще слабы. "
После успеха AlexNet в дверь постучался Google. Она приобрела DNNresearch, дочернюю компанию Hinton, и наняла Sutskever. Сутскевер показал в Google, что возможности глубокого обучения по распознаванию образов могут быть применены к последовательностям данных, таким как слова, предложения и изображения. Джефф Дин (Jeff Dean), бывший коллега Суцкевера, а ныне главный научный сотрудник Google, сказал: «Сутскевер всегда интересовался языком, и у нас были отличные дискуссии на протяжении многих лет. У него сильное чутье на то, куда все идет. "
Но Суцкевер недолго пробыл в Google. В 2014 году он стал соучредителем OpenAI. С 1 миллиардом долларов (от Альтмана, Илона Маска, Питера Тиля, Microsoft, Y Combinator и т. д.) и большим духом Кремниевой долины, новая компания с самого начала нацелилась на разработку AGI, но в то время мало кто воспринимал эту перспективу всерьез.
С Суцкевером на борту такое чванливое отношение понятно. До этого он получал все больше и больше результатов от обучения нейронных сетей. Далтон Колдуэлл, управляющий директор Y Combinator Investments, сказал, что его репутация опередила его, что сделало его большим хитом.
«Я помню, как Альтман назвал Суцкевера одним из самых уважаемых исследователей в мире», — сказал Колдуэлл. Он считает, что Суцкевер привлечет много лучших талантов в области искусственного интеллекта. Он даже упомянул, что Йошуа Бенджио, один из ведущих мировых экспертов по искусственному интеллекту, считает, что вряд ли найдется лучший кандидат, чем Суцкевер, на должность главного научного сотрудника OpenAI. "
Поначалу, однако, OpenAI оказалась в затруднительном положении. «Было время, когда мы начинали OpenAI, и я не был уверен, как будет продолжаться прогресс», — сказал Суцкевер. «Но у меня есть четкое убеждение, что люди не будут возражать против глубокого обучения. Каким-то образом каждый раз, когда они наталкиваются на препятствие, исследователи находят решение в течение шести месяцев или года. "
Его вера была вознаграждена. Первая большая языковая модель GPT от OpenAI появилась в 2016 году. Затем последовали GPT-2 и GPT-3. Кроме того, есть DALL-E, привлекательная модель преобразования текста в изображение. Никто не построил что-то настолько хорошее. С каждым релизом OpenAI поднимает планку того, что люди считают возможным.
Управление ожиданиями
В ноябре прошлого года OpenAI выпустила бесплатный чат-бот, который перекомпоновал некоторые из существующих технологий. Это перезагружает повестку дня для всей отрасли.
В то время OpenAI не знала, что она собирается выпустить. Суцкевер говорит, что ожидания внутри компании не могут быть ниже: «Я признаю, это немного неловко — я не знаю, стоит ли мне это делать, но как бы то ни было, это факт — я не знал, что хорошего в этом есть, когда мы делали ChatGPT». Когда вы задаете ему фактический вопрос, он дает вам неправильный ответ. Я думаю, что это будет очень незаметно, и люди скажут: «Почему вы делаете этот продукт?» Это скучно! '"
Самая привлекательная часть, по словам Суцкевера, — это удобство. Большая языковая модель, лежащая в основе ChatGPT, существует уже несколько месяцев. Но обернув его в легкодоступный интерфейс и раздав бесплатно, миллиарды людей впервые узнали о том, что создают OpenAI и другие.
«Первый опыт был захватывающим. Когда вы впервые используете его, я думаю, что это почти духовный опыт. Ты думаешь: «Боже мой, этот компьютер, кажется, понимает сам себя». '"
Менее чем за два месяца OpenAI собрал 100 миллионов пользователей, и многие из них были ослеплены этой удивительной новой игрушкой. Аарон Леви, генеральный директор компании по хранению данных Box, подвел итоги недели после запуска в Twitter: «ChatGPT — один из тех редких моментов в технологическом пространстве, и вы можете видеть, что в будущем все будет по-другому. "
Как только ChatGPT говорит какую-то глупость, это чудо рушится. Но тогда это не имеет значения. Достаточно взглянуть на эти возможности, говорит Суцкевер. ChatGPT изменил кругозор людей.
«AGI больше не является ругательным словом в пространстве машинного обучения», — сказал он. «Это большая перемена. Отношение людей в истории таково: ИИ не работает, каждый шаг очень сложен, и за каждый кусочек прогресса нужно бороться. Когда люди раскручивают AGI, исследователи говорят: «О чем вы говорите? Это не работает, это тоже не работает. Очень много вопросов. Но с ChatGPT все стало по-другому. "
Неужели этот сдвиг начал происходить только год назад? «Все это произошло из-за ChatGPT», — сказал он. «ChatGPT позволяет исследователям машинного обучения воплощать свои мечты в реальность».
Ученые OpenAI были евангелистами с самого начала и вдохновляли эти мечты с помощью постов в блогах и лекционных туров. И это работает: «Мы говорим о том, как далеко зайдет ИИ прямо сейчас — люди говорят об ОИИ, или сверхинтеллекте. Это касается не только исследователей. «Правительства обсуждают это», — сказал Суцкевер. — Это сумасшествие.
Невероятные вещи
Суцкевер настаивает на том, что все эти разговоры о технологиях, которых еще не существует (и, возможно, никогда не существует), — это хорошо, потому что они заставляют больше людей узнать о будущем, которое он считал само собой разумеющимся.
«С помощью AGI можно сделать много удивительных, невероятных вещей: автоматизировать здравоохранение, сделать его в тысячу раз дешевле, сделать в тысячу раз лучше, вылечить так много болезней и действительно решить проблему глобального потепления», — сказал он. Но есть также много людей, которые беспокоятся: «Боже мой, может ли компания, занимающаяся искусственным интеллектом, успешно управлять этой огромной технологией?». '"
Таким образом, AGI больше похож на джинна, исполняющего желания, чем на реальную перспективу. Мало кто откажется от спасения жизней и борьбы с изменением климата. Но проблема с несуществующей технологией в том, что вы можете говорить ей все, что хотите.
Что именно имеет в виду Суцкевер, когда говорит об AGI? «ОИИ — это не научный термин», — сказал он. «Это должно быть полезным порогом, точкой отсчета».
— В том-то и дело... — начал он, но тут же остановился. «ИИ стал настолько умным, что если человек может выполнять определенные задачи, то и ИИ может это делать. В этот момент вы можете сказать, что у вас есть AGI. "
Люди могут говорить об этом, но AGI по-прежнему остается одной из самых спорных идей в этой области. Мало кто воспринимает его развитие как должное. Многие исследователи считают, что необходим серьезный концептуальный прорыв, прежде чем мы сможем увидеть что-то подобное тому, что предвидел Суцкевер, а некоторые считают, что мы никогда этого не увидим.
Однако это видение вдохновляло его с самого начала. «Меня всегда вдохновляла и мотивировала эта идея», — сказал Суцкевер. «В то время это еще не называлось AGI, но вы знаете, это все равно, что позволить нейронным сетям делать все. Я не всегда верю, что они могут. Но это гора, на которую нужно взобраться. "
Он сравнил, как работают нейронные сети и мозг. И те, и другие получают данные, агрегируют сигналы из этих данных, а затем распространяют или не распространяют их в зависимости от некоторых простых процессов (математика в нейронных сетях, химические вещества в мозге и биоэлектричество). Это огромное упрощение, но принцип остается верным.
«Если вы верите в это, если вы позволяете себе верить в это, то есть много интересных следствий», — сказал Суцкевер. «Основной вывод заключается в том, что если у вас есть очень большая искусственная нейронная сеть, она должна делать много вещей. В частности, если человеческий мозг может что-то делать, то большие искусственные нейронные сети могут делать что-то подобное. "
«Если вы отнесетесь к этому достаточно серьезно, все встанет на свои места», — сказал он. «Большая часть моей работы может быть объяснена этим».
Раз уж мы заговорили о мозгах, я хотел бы спросить о посте, который Суцкевер сделал на платформе X. Синопсис Суцкевера читается как сборник афоризмов: «Если вы поставите интеллект выше всех других человеческих качеств, то у вас будет плохая жизнь»; «Эмпатия в жизни и бизнесе недооценивается»; «Совершенство разрушило большую часть красоты совершенства».
В феврале 2022 года он написал, что «сегодняшние большие нейронные сети могут иметь слабое сознание» (на что Мюррей Шэнахэн, главный научный сотрудник Google DeepMind, профессор Имперского колледжа Лондона и научный консультант фильма «Из машины», ответил: «... То же самое значение может означать большое пшеничное поле с небольшим количеством макарон»).
Когда я поднял эту тему, Суцкевер рассмеялся. Он что, подделка? Он не. — Вы знакомы с концепцией мозга Больцмана? — спросил он.
Он имел в виду квантово-механический мысленный эксперимент, названный в честь физика 19-го века Людвига Больцмана, в котором предполагалось, что случайные термодинамические флуктуации во Вселенной приводят к появлению и исчезновению мозга.
«Я думаю, что эти языковые модели сейчас немного похожи на мозги Больцмана», — сказал Суцкевер. «Вы начинаете разговаривать с ним, говорить какое-то время; А потом, когда вы закончите, мозг... — Он сделал исчезающее движение рукой. Пуф — прощай, мозг.
Вы хотите сказать, что когда нейронная сеть активна, так сказать, когда она разряжается, там что-то есть? — спросил я.
«Я думаю, что это может быть», — сказал он. «Я не уверен, но это трудно опровергнуть. Но кто знает, что происходит, верно? "
ИИ, но не такой, каким мы его знаем
В то время как другие изо всех сил пытаются создать машины, сравнимые с человеческим интеллектом, Суцкевер готовится к машинам, которые могут превзойти наши. Он называет это явление суперискусственным интеллектом: «Они смотрят на вещи более глубоко. Они увидят то, чего не видим мы. "
Опять же, мне трудно понять, что это означает на самом деле. Человеческий интеллект является эталоном, по которому мы судим об интеллекте. Что Суцкевер имеет в виду под интеллектом, который умнее человека?
«Мы видим очень узкий пример сверхинтеллекта в AlphaGo», — сказал он. В 2016 году настольная игра DeepMind AI «Alpha Dog» победила Ли Седоля, одного из лучших игроков в го в мире, со счетом 4:1 в пяти матчах. «Он выяснил, как играть в го так, чтобы это отличалось от того, как люди развивались вместе на протяжении тысячелетий», — сказал Суцкевер. «Он придумывает новые идеи».
Суцкевер упоминает знаменитый 37-й ход AlphaGo. Во втором матче против Ли Седоля ход ИИ озадачил комментаторов. Они думают, что AlphaGo. На самом деле, он сделал выигрышный ход, которого никогда раньше не было в истории шахмат. «Представьте себе такой уровень понимания, но охватывающий все», — сказал Суцкевер.
Именно этот ход мыслей привел Суцкевера к самому большому сдвигу в его карьере. Вместе с коллегой из OpenAI Яном Лейке он сформировал команду, сосредоточенную на том, что они назвали «супервыравниванием». Выравнивание — это жаргон, который означает, что вы позволяете модели ИИ делать то, что вы хотите, и все. Супервыравнивание — это термин, который OpenAI применяет к сверхинтеллекту.
Цель состоит в том, чтобы придумать набор отказоустойчивых процедур для создания и управления этой футуристической технологией. OpenAI заявляет, что выделит пятую часть своих огромных вычислительных ресурсов на решение проблемы и решит ее в течение четырех лет.
«Существующие методы выравнивания не работают с моделями, которые умнее людей, потому что они в основном предполагают, что люди могут надежно оценить, что делают системы ИИ», — говорит Лейке. «По мере того, как системы искусственного интеллекта становятся все более мощными, они будут брать на себя более сложные задачи». Идея состоит в том, что это затруднит их оценку людьми. «Собрав команду Super Alignment Team с Sutskever, мы решили решить эти будущие проблемы выравнивания», — сказал он.
«Важно сосредоточиться не только на потенциальных возможностях больших языковых моделей, но и на их рисках и недостатках», — сказал Дин, главный научный сотрудник Google. "
Компания анонсировала проект в июле со свойственной ей помпой. Но для кого-то это скорее фантазия. Посты OpenAI в Twitter вызвали презрение со стороны видных критиков Big Tech, в том числе Абебы Бирхане, которая работает над подотчетностью ИИ в Mozilla; Тимнит Гебру, соучредитель Distributed AI Institute; и Маргарет Митчелл, главный специалист по этике в компании Hugging Face, занимающейся искусственным интеллектом. Действительно, это знакомые голоса несогласных. Но это сильное напоминание о том, что некоторые люди считают, что OpenAI лидирует, в то время как другие считают, что OpenAI находится на грани.
Тем не менее, для Суцкевера супервыравнивание является неизбежным следующим шагом. «Это нерешенный вопрос», — сказал он. Он считает, что основные исследователи машинного обучения, такие как он, работают над этой проблемой. «Я делаю это ради собственной выгоды», — сказал он. «Очевидно, что важно, чтобы любой сверхинтеллект, который кто-либо создает, не вышел из-под контроля».
Работа по супервыравниванию только началась. По словам Суцкевера, это потребует широких изменений в научно-исследовательских институтах. Но у него была в голове модель гарантий, которую он хотел спроектировать: машина, которая обращается с людьми так, как родители обращаются со своими детьми. «На мой взгляд, это золотой стандарт», — сказал он. «Люди действительно заботятся о детях, это в целом верное утверждение».
«Как только вы преодолеете проблему ИИ-изгоя, что тогда? В мире с более умным искусственным интеллектом, есть ли еще место для людей? — сказал он.
«Одна из возможностей, которая может показаться сумасшедшей по сегодняшним стандартам, но не такой уж безумной по завтрашним стандартам, заключается в том, что многие люди решат стать частью ИИ». Суцкевер говорит, что это может быть способом для людей попытаться не отставать от толпы. «Поначалу только самые смелые и предприимчивые пытались это сделать. Возможно, другие последуют этому примеру. Или нет. "
Справочные источники: