После того, как OpenAI выпустила ChatGPT в конце 2022 года, понимание области искусственного интеллекта в инвестиционной сфере продолжало углубляться. Цепочку отрасли искусственного интеллекта можно грубо разделить на основных поставщиков технологий, системы искусственного интеллекта и пользователей искусственного интеллекта. Судя по общему восприятию глобальных инвесторов, сейчас все понимают, что искусственный интеллект, вероятно, надолго станет инвестиционным направлением в будущем, подобно компьютерам 30 лет назад или Интернету 20 лет назад. А в будущем приложения уже станут реальностью.
Для понимания инвестиций в отдельные месторождения нам всегда необходимо учиться у инвесторов в отрасли. Известный венчурный капиталист A16Z продолжает делать большие ставки в области искусственного интеллекта. Недавно у них состоялся разговор с техническим директором OpenAI Мирой Мурати. Она поделилась историей создания ChatGPT и будущим искусственного интеллекта и взаимодействия человека с компьютером.
Краткое содержание
ChatGPT возник в результате размышлений о том, как создать безопасную систему искусственного интеллекта, которая использует обратную связь от человека для обучения с подкреплением.
OpenAI меняет представление о том, как люди взаимодействуют с цифровой информацией, становясь партнерским помощником и постоянно повышая согласованность и безопасность систем искусственного интеллекта. В ситуации с производством получение отзывов от реальных пользователей — это больше, чем просто сидение в лаборатории.
ChatGPT добавляет изображения, видео и другие материалы на основе текста. Это позволяет моделям предоставлять более полную картину окружающего нас мира, подобно тому, как мы понимаем и наблюдаем мир.
Хотя в будущем не будет единой модели управления миром, потому что люди в конечном итоге будут искать инструмент, который лучше всего соответствует их потребностям.
#Мира Мурати Фон
Мира родилась в Албании, сразу после падения коммунизма. Албания того времени была очень похожа на сегодняшнюю Северную Корею. В эпоху постоянных перемен и неопределенности образование является ключом ко всему. Тем более что кроме книг развлечений в то время было мало. В то время Мира искала ответы в книгах. Мира предпочитает те истины в науке, которые устойчивы и могут быть глубоко изучены. А источники гуманитарных предметов, таких как история и социология, сомнительны, поскольку история постоянно меняется. Итак, Мира была воспитана с интуитивной и естественной склонностью к науке и математике. По сути, Мира по-прежнему занимается математикой в Open AI.
Благодаря отличной успеваемости Мира получила стипендию и закончила последние два года средней школы в Канаде.
В колледже Мира изучала машиностроение, потому что считала, что это лучший способ применить знания для решения реальных проблем. В то время Мира очень интересовалась способами обеспечения мира устойчивым транспортом и устойчивой энергетикой. В то время ее дипломным проектом была постройка гибридного гоночного автомобиля с использованием суперконденсаторов.
Вскоре после этого Мира присоединилась к Tesla и приняла участие в работе над двухмоторной моделью Model S. Она работала с Model X с первых дней ее первоначального проектирования и в конечном итоге возглавила запуск всего проекта.
Работа в Tesla также вызвала у Миры большой интерес к применению искусственного интеллекта, особенно к автономному вождению. Потому что он может использовать искусственный интеллект и компьютерное зрение, чтобы совершить революцию в сфере путешествий. Она начала больше думать о различных приложениях искусственного интеллекта. Поэтому Мира стала все больше интересоваться ИИ и теми изменениями, которые он может произвести в мире.
В частности, ей очень интересно, как ИИ влияет на взаимодействие человека с компьютером и на то, как люди взаимодействуют с информацией в целом, и очень интересуется пространственными вычислениями. После этого она присоединилась к Leap Motion, черной технологической компании, в качестве вице-президента по продуктам и разработкам. Именно этот опыт еще больше укрепил ее производственный потенциал.
(Кстати, основатель Leap Motion Дэвид Хольц после продажи Leap Motion основал еще одно популярное приложение искусственного интеллекта — Midjourney).
В 2018 году Мира присоединилась к OpenAI. Именно тогда она начала больше думать о том, что произойдет, если она просто сосредоточится на универсальности.
Кроме того, из обсуждения Мирой методов исследования мы можем увидеть ее исследовательский дух технологических инноваций в неопределенной среде:
Иногда вы вздремнете и проснетесь с новыми идеями. В течение дней или недель вы придете к окончательному решению. Это не быстрый возврат и временами не итеративный.
Это почти как другой образ мышления: вы развиваете интуицию, но также обладаете дисциплиной, чтобы подходить к проблемам и доверять себе в их решении. Со временем у вас разовьется интуиция относительно того, какие проблемы действительно необходимо решить.
Итог разговора
Известный венчурный капиталист A16Z сделал большую ставку в сфере искусственного интеллекта. Следующие выдержки являются выдержками из разговора между Мартином, управляющим фондом A16Z, и Мирой. Мира поделилась историей ChatGPT и будущим искусственного интеллекта и взаимодействия человека с компьютером. Мы также видим, что Мира, имеющая опыт работы менеджером по продукту, чрезвычайно обеспокоена применимостью продуктов.
МАРТИН: Как вы думаете, сейчас это скорее системная проблема или инженерная проблема?
Мира: Оба. Системные и инженерные проблемы огромны, и мы внедряем эти технологии и пытаемся их масштабировать, сделать более эффективными и доступными. Это означает, что вам не нужно знать тонкости машинного обучения, чтобы их использовать.
Фактически, мы видим контраст между предоставлением этих моделей через API и предоставлением технологии через ChatGPT. По сути, это та же самая технология, за одним возможным исключением: ChatGPT имеет возможности обучения с подкреплением и обратной связи с человеком. Это означает, что реакция и способность захватывать воображение людей и позволять им использовать эту технологию каждый день совершенно разные.
интерфейс на естественном языке
Мартин: Я также считаю, что ChatGPT API — очень интересная вещь. Всякий раз, когда я использую эти модели в своих программах, у меня всегда возникает ощущение, будто я складываю суперкомпьютер в счеты. Иногда я говорю: «Я дам модели клавиатуру и мышь и позволю ей программировать». API на английском языке, и я скажу ей, что делать, и она выполнит все программирование. Мне любопытно: когда вы разрабатываете что-то вроде ChatGPT, думаете ли вы, что со временем фактический интерфейс станет естественным языком, или вы думаете, что программы по-прежнему будут играть большую роль?
Мира: В ChatGPT программирование становится менее абстрактным, и мы можем общаться с компьютерами, используя естественный язык, с высокой пропускной способностью. Но, возможно, другой вектор заключается в том, что эта технология помогает нам понять, как на самом деле с ней работать, а не программировать ее. Уровень программирования становится проще и доступнее, поскольку вы можете программировать на естественном языке. Но другая сторона ChatGPT, которую мы наблюдаем, заключается в том, что вы действительно можете работать с моделью как партнер или коллега.
МАРТИН: Будет интересно посмотреть, что произойдет со временем. Вы решили использовать API в ChatGTP, но, как коллега, у вас нет API. Вы разговариваете с коллегой. Со временем эти вещи могут превратиться в общение на естественном языке. Или вы думаете, что в системе всегда должен быть компонент, представляющий собой конечный автомат или традиционный компьютер?
Мира: Сейчас наступил переломный момент, когда мы переосмысливаем то, как мы взаимодействуем с цифровой информацией, и мы делаем это в форме систем искусственного интеллекта. Возможно, у нас есть несколько систем искусственного интеллекта, возможно, все они имеют разные возможности. Может быть, у нас есть универсальная система, которая следует за нами повсюду, знает мое прошлое, что я делал сегодня, каковы мои цели в жизни и работе, помогает мне в трудные времена, направляет меня и т. д. Как вы понимаете, это очень мощно.
Сейчас мы находимся на переломном этапе в переосмыслении этого понятия. Мы не знаем, как будет выглядеть будущее, и мы прилагаем все усилия, чтобы сделать эти инструменты и методы доступными для многих других людей, чтобы они могли экспериментировать, а мы могли видеть, что произойдет. Это стратегия, которую мы использовали с самого начала.
На прошлой неделе в ChatGPT мы беспокоились, что он недостаточно хорош. Мы все видели, что произошло. Мы опубликовали его, и люди сказали нам, что он очень хорошо помогает выявлять новые случаи. Вот что происходит, когда вы делаете эти вещи доступными и простыми в использовании, и вы упрощаете их использование для каждого.
Дорожная карта развития OpenAI
МАРТИН: Когда дело доходит до искусственного интеллекта, люди пока не умеют думать. Должно быть какое-то руководство, вам нужно сделать какой-то выбор. Вы в OpenAI, и вам нужно решить, что делать дальше. Если бы вы могли пройти через этот процесс принятия решений: как вы решаете, что делать, на чем сосредоточиться, что отпустить или как позиционировать себя?
Мира: Если задуматься о том, как появился ChatGPT, то мы поймем, что это не тот продукт, который мы хотели запустить. На самом деле его настоящие корни уходят более 5 лет назад, когда мы думали о том, как создать безопасную систему искусственного интеллекта. Вы не обязательно хотите, чтобы человек на самом деле написал целевую функцию, потому что вы не хотите, чтобы заменитель сложной целевой функции делал это, или вы не хотите совершать ошибки, потому что это может быть очень опасно.
Именно здесь на помощь приходит обучение с подкреплением с использованием обратной связи с людьми. Чего мы действительно пытаемся достичь, так это привести систему ИИ в соответствие с человеческими ценностями и позволить ей принимать обратную связь от людей. Судя по отзывам людей, он с большей вероятностью поступит правильно и с меньшей вероятностью сделает то, чего вы не хотите. Затем, после того как мы разработали GPT-3 и выпустили его в API, мы впервые применили наши исследования безопасности в реальном мире. Это достигается за счет модели следования инструкциям.
Мы используем этот подход, чтобы получать информацию от клиентов, использующих API, а затем мы просим подрядчиков генерировать отзывы для модели, на которой можно учиться. Мы настроили модель на основе этих данных и построили модель, следуя инструкциям. Они с большей вероятностью последуют намерениям пользователя и сделают то, что вы на самом деле хотите. Это очень важно, потому что безопасность ИИ — это не просто теоретическая концепция, о которой вы сидите и говорите. На самом деле это звучит так: мы сейчас вступаем в эпоху систем безопасности с искусственным интеллектом, как вы интегрируете это в реальный мир?
Очевидно, что в больших языковых моделях мы видим прекрасное представление концепций и идей реального мира. Но с точки зрения производства есть много проблем. Одной из самых больших проблем, очевидно, являются галлюцинации. Мы работали над вопросами иллюзии и аутентичности. Как добиться того, чтобы эти модели выражали неопределенность?
Предшественником ChatGPT на самом деле был другой проект, который мы назвали WebGPT, который использовал поиск для получения информации и цитирования источников. Этот проект в конечном итоге стал ChatGPT, потому что мы думали, что разговоры — это нечто особенное. Это позволяет вам задавать вопросы, поправлять собеседника и выражать неуверенность.
МАРТИН: Ошибки обнаруживаются постоянно, потому что вы взаимодействуете...
Мира: Да, благодаря такому взаимодействию вы можете понять более глубокую истину. Мы начали двигаться в этом направлении и в то время занимались этим с GPT-3 и GPT-3.5. С точки зрения безопасности мы очень рады этому. Но люди забывают одну вещь: в настоящее время мы обучили GPT-4. В OpenAI мы очень рады GPT-4 и ChatGPT в зеркале заднего вида. Затем мы поняли: «Мы собираемся потратить шесть месяцев на выравнивание и безопасность GPT-4», и начали думать о том, что мы можем сделать. Одной из главных задач является передача ChatGPT в руки исследователей, и теперь, когда у нас есть эта диалоговая модель, они смогут дать нам обратную связь. Первоначальная цель — получить отзывы исследователей и использовать их, чтобы сделать GPT-4 более последовательным, безопасным, устойчивым и надежным.
МАРТИН: Когда вы говорите о стабильности и безопасности, вы правы, подразумевая, что он делает все, что хочет? Или вы имеете в виду безопасность, фактическую защиту себя от какого-то вреда?
Мира: Под последовательностью я обычно имею в виду, что оно соответствует намерениям пользователя и делает именно то, что вы от него хотите. Но безопасность также включает в себя и другие вещи, такие как злоупотребления, когда пользователи намеренно пытаются использовать модель для получения вредных результатов. С помощью ChatGPT мы на самом деле пытаемся повысить вероятность того, что модель будет делать то, что вы от нее хотите, делая ее более последовательной. Мы также хотели разобраться в проблеме галлюцинаций, которая, очевидно, является чрезвычайно сложной проблемой.
Я думаю, что этот подход к использованию обратной связи с людьми для обучения с подкреплением, если мы попытаемся это сделать, возможно, это то, что нам нужно.
МАРТИН: Итак, никакого грандиозного плана? Что нам нужно сделать, чтобы достичь AGI? Это просто вопрос принятия этого шаг за шагом.
Мира: Да. И все маленькие решения, которые вы принимаете на этом пути. Возможно, это более вероятно, потому что несколько лет назад мы приняли стратегическое решение о выпуске этого продукта. Мы делаем это, потому что считаем, что невозможно просто сидеть в лаборатории и разрабатывать эти вещи в вакууме без обратной связи с реальными пользователями. Это предположение. Я думаю, это поможет нам принять некоторые из этих решений и построить базовую инфраструктуру, чтобы мы могли в конечном итоге развернуть что-то вроде ChatGPT.
Закон пропорций
МАРТИН: Вы можете повторить закон пропорции. Я думаю, это большая проблема, которая есть у каждого. Темпы прогресса поражают. Но история искусственного интеллекта, похоже, такова: в какой-то момент мы сталкиваемся с убывающей отдачей, и это не параметрическое явление. Это как-то сужается. С вашей точки зрения (которая, вероятно, является самой мудрой точкой зрения во всей отрасли), считаете ли вы, что закон масштабирования будет действовать и мы продолжим видеть прогресс, или вы думаете, что мы движемся к убывающей отдаче?
Мира: Нет никаких доказательств того, что, продолжая расширять модель по осям данных и вычислений, мы не получим более качественные и мощные модели. Другой вопрос, дойдет ли дело до AGI (общего искусственного интеллекта). В этом процессе могут потребоваться некоторые другие прорывы и достижения. Чтобы действительно получить большую выгоду от этих более крупных моделей, законам масштабирования еще предстоит пройти долгий путь.
МАРТИН: Как вы определяете AGI?
Мира: В нашем уставе OpenAI. Мы определяем его как компьютерную систему, которая может выполнять большую часть интеллектуальной работы автономно.
Мартин: Я обедал, и там был Роберт Нишихара из Anyscale. Он задал то, что я называю вопросом Роберта Нисихары. Я думаю, что это на самом деле довольно хорошая характеристика. Он сказал: "Между компьютерами и Эйнштейнами существует континуум. Вы переходите от компьютеров к кошкам, от кошек к обычным людям и от обычных людей к Эйнштейнам". Затем он задал вопрос: "Мы находимся в континууме". Какие проблемы будут решены?»
Все согласны с тем, что мы знаем, как превратиться из кошки в человека. Мы не знаем, как перейти от компьютера к кошке, потому что это универсальная проблема восприятия. Мы близки, но еще не совсем достигли цели и на самом деле не знаем, как сделать Эйнштейна, и это устоявшиеся рассуждения.
Мира: С помощью тонкой настройки можно многого добиться, но в целом, я думаю, в большинстве миссий мы сейчас находимся на уровне стажера. Проблема в надежности. Вы не можете полностью полагаться на то, что система будет постоянно делать то, что вы от нее хотите. Во многих задачах он просто не может этого сделать. Как со временем повысить надежность, а затем расширить новые возможности этих моделей?
Я думаю, что важно обращать внимание на эти новые возможности, даже если они очень ненадежны. Особенно людям, которые сегодня строят компанию, очень хочется задуматься: «Что возможно сегодня? Что вы видите сегодня?» Эти модели очень быстро становятся надежными.
**Одна модель может покорить мир? **
МАРТИН: Я сразу спрошу, предскажу, как будет выглядеть будущее. Но прежде чем я эгоистично спрошу, как, по вашему мнению, будет развиваться экономика? Я говорю вам, что это мне напоминает. Это напоминает мне о кремниевой промышленности. Помню, в 90-е годы, когда покупали компьютер, там было много странных пишущих процессоров. «Это сопоставление строк, это операции с плавающей запятой, это шифрование», и все это съедает процессор.
Оказывается, универсальность настолько сильна, что создает определенный тип экономики, в которой игроками являются как Intel, так и AMD. Конечно, изготовление этих чипов стоит больших денег.
Итак, вы можете представить себе два будущего. В будущем универсальность станет настолько сильной, что большие модели со временем поглотят всю функциональность. А есть еще одно будущее, где есть куча разных моделей, всевозможных деталей, разных точек в пространстве дизайна. Есть ли у вас такое ощущение: OpenAI уникален или у него много моделей?
Мира: Это зависит от того, чем ты хочешь заниматься. Очевидно, что сейчас траектория такова, что эти системы искусственного интеллекта будут выполнять все больше и больше работы, которую мы делаем. Они смогут действовать автономно, но нам нужно будет обеспечивать направление, руководство и надзор. Но я не хочу делать много повторяющейся работы, которую мне приходится делать каждый день. Я хочу сосредоточиться на других вещах. Может быть, нам не придется работать по 10–12 часов в день, может быть, мы сможем работать меньше и быть более продуктивными. Вот на что я надеюсь. Что касается работы платформы, то уже сегодня вы можете видеть, что через API доступно множество моделей, от очень маленьких моделей до самых современных моделей.
Не всегда нужно использовать самую мощную и способную модель. Иногда им просто нужна модель, которая действительно соответствует их конкретному случаю использования и является гораздо более экономичной. Я думаю, что диапазон будет. Но с точки зрения того, как мы представляем себе платформеры, мы определенно хотим, чтобы люди строили нашу модель, и мы хотим дать им инструменты, которые упростят эту задачу, и предоставим им все больше и больше прав доступа и контроля. Вы можете принести свои данные, можете настроить эти модели. Вы действительно можете сосредоточиться на слоях за пределами модели и определить продукт, что на самом деле очень и очень сложно. Сейчас большое внимание уделяется созданию большего количества моделей, но на основе этих моделей очень сложно создавать хорошие продукты.
Следующие 5–10 лет
МАРТИН: Я бы хотел, чтобы вы предсказали, где, по вашему мнению, будет ситуация через три, пять или 10 лет.
Мира: Я думаю, что сегодняшняя основополагающая модель прекрасно отражает мир в тексте. Мы добавляем другие модели, такие как изображения, видео и многое другое, чтобы эти модели могли предоставить более полную картину окружающего нас мира, аналогично тому, как мы понимаем и наблюдаем мир. Мир существует не только в словах, но и в образах. Мы определенно движемся в этом направлении, и у нас будут более крупные модели, которые будут использовать все эти шаблоны в предварительной тренировочной работе. Мы действительно хотим, чтобы эти предварительно обученные модели понимали мир так же, как мы.
В выходной части модели мы вводим обучение с подкреплением с обратной связью от человека. Мы хотим, чтобы модель действительно делала то, что мы от нее просим, и хотим, чтобы это было надежно. Это требует большой работы и, возможно, введения режима просмотра, чтобы можно было получить новую информацию, ссылаться на нее и разрешить галлюцинации. Я не думаю, что это возможно. Я думаю, что это достижимо.
Что касается продуктов, мы хотим объединить все это в коллекцию продуктов, с которыми люди будут работать, и предоставить платформу, на основе которой люди смогут строить. Если вы действительно выйдете наружу, эти модели будут очень и очень мощными. Очевидно, вместе с этим приходит страх, что эти очень мощные модели не соответствуют нашим намерениям. Большой проблемой является Super Alignment, сложная техническая задача. У нас в OpenAI есть целая команда, занимающаяся этой проблемой.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
a16z беседует с техническим директором OpenAI: как технология искусственного интеллекта будет способствовать будущим инновациям?
Автор: Сент-Пол
После того, как OpenAI выпустила ChatGPT в конце 2022 года, понимание области искусственного интеллекта в инвестиционной сфере продолжало углубляться. Цепочку отрасли искусственного интеллекта можно грубо разделить на основных поставщиков технологий, системы искусственного интеллекта и пользователей искусственного интеллекта. Судя по общему восприятию глобальных инвесторов, сейчас все понимают, что искусственный интеллект, вероятно, надолго станет инвестиционным направлением в будущем, подобно компьютерам 30 лет назад или Интернету 20 лет назад. А в будущем приложения уже станут реальностью.
Для понимания инвестиций в отдельные месторождения нам всегда необходимо учиться у инвесторов в отрасли. Известный венчурный капиталист A16Z продолжает делать большие ставки в области искусственного интеллекта. Недавно у них состоялся разговор с техническим директором OpenAI Мирой Мурати. Она поделилась историей создания ChatGPT и будущим искусственного интеллекта и взаимодействия человека с компьютером.
Краткое содержание
#Мира Мурати Фон
Мира родилась в Албании, сразу после падения коммунизма. Албания того времени была очень похожа на сегодняшнюю Северную Корею. В эпоху постоянных перемен и неопределенности образование является ключом ко всему. Тем более что кроме книг развлечений в то время было мало. В то время Мира искала ответы в книгах. Мира предпочитает те истины в науке, которые устойчивы и могут быть глубоко изучены. А источники гуманитарных предметов, таких как история и социология, сомнительны, поскольку история постоянно меняется. Итак, Мира была воспитана с интуитивной и естественной склонностью к науке и математике. По сути, Мира по-прежнему занимается математикой в Open AI.
Благодаря отличной успеваемости Мира получила стипендию и закончила последние два года средней школы в Канаде.
В колледже Мира изучала машиностроение, потому что считала, что это лучший способ применить знания для решения реальных проблем. В то время Мира очень интересовалась способами обеспечения мира устойчивым транспортом и устойчивой энергетикой. В то время ее дипломным проектом была постройка гибридного гоночного автомобиля с использованием суперконденсаторов.
Вскоре после этого Мира присоединилась к Tesla и приняла участие в работе над двухмоторной моделью Model S. Она работала с Model X с первых дней ее первоначального проектирования и в конечном итоге возглавила запуск всего проекта.
Работа в Tesla также вызвала у Миры большой интерес к применению искусственного интеллекта, особенно к автономному вождению. Потому что он может использовать искусственный интеллект и компьютерное зрение, чтобы совершить революцию в сфере путешествий. Она начала больше думать о различных приложениях искусственного интеллекта. Поэтому Мира стала все больше интересоваться ИИ и теми изменениями, которые он может произвести в мире.
В частности, ей очень интересно, как ИИ влияет на взаимодействие человека с компьютером и на то, как люди взаимодействуют с информацией в целом, и очень интересуется пространственными вычислениями. После этого она присоединилась к Leap Motion, черной технологической компании, в качестве вице-президента по продуктам и разработкам. Именно этот опыт еще больше укрепил ее производственный потенциал.
(Кстати, основатель Leap Motion Дэвид Хольц после продажи Leap Motion основал еще одно популярное приложение искусственного интеллекта — Midjourney).
В 2018 году Мира присоединилась к OpenAI. Именно тогда она начала больше думать о том, что произойдет, если она просто сосредоточится на универсальности.
Кроме того, из обсуждения Мирой методов исследования мы можем увидеть ее исследовательский дух технологических инноваций в неопределенной среде:
Итог разговора
Известный венчурный капиталист A16Z сделал большую ставку в сфере искусственного интеллекта. Следующие выдержки являются выдержками из разговора между Мартином, управляющим фондом A16Z, и Мирой. Мира поделилась историей ChatGPT и будущим искусственного интеллекта и взаимодействия человека с компьютером. Мы также видим, что Мира, имеющая опыт работы менеджером по продукту, чрезвычайно обеспокоена применимостью продуктов.
МАРТИН: Как вы думаете, сейчас это скорее системная проблема или инженерная проблема?
Мира: Оба. Системные и инженерные проблемы огромны, и мы внедряем эти технологии и пытаемся их масштабировать, сделать более эффективными и доступными. Это означает, что вам не нужно знать тонкости машинного обучения, чтобы их использовать.
Фактически, мы видим контраст между предоставлением этих моделей через API и предоставлением технологии через ChatGPT. По сути, это та же самая технология, за одним возможным исключением: ChatGPT имеет возможности обучения с подкреплением и обратной связи с человеком. Это означает, что реакция и способность захватывать воображение людей и позволять им использовать эту технологию каждый день совершенно разные.
интерфейс на естественном языке
Мартин: Я также считаю, что ChatGPT API — очень интересная вещь. Всякий раз, когда я использую эти модели в своих программах, у меня всегда возникает ощущение, будто я складываю суперкомпьютер в счеты. Иногда я говорю: «Я дам модели клавиатуру и мышь и позволю ей программировать». API на английском языке, и я скажу ей, что делать, и она выполнит все программирование. Мне любопытно: когда вы разрабатываете что-то вроде ChatGPT, думаете ли вы, что со временем фактический интерфейс станет естественным языком, или вы думаете, что программы по-прежнему будут играть большую роль?
Мира: В ChatGPT программирование становится менее абстрактным, и мы можем общаться с компьютерами, используя естественный язык, с высокой пропускной способностью. Но, возможно, другой вектор заключается в том, что эта технология помогает нам понять, как на самом деле с ней работать, а не программировать ее. Уровень программирования становится проще и доступнее, поскольку вы можете программировать на естественном языке. Но другая сторона ChatGPT, которую мы наблюдаем, заключается в том, что вы действительно можете работать с моделью как партнер или коллега.
МАРТИН: Будет интересно посмотреть, что произойдет со временем. Вы решили использовать API в ChatGTP, но, как коллега, у вас нет API. Вы разговариваете с коллегой. Со временем эти вещи могут превратиться в общение на естественном языке. Или вы думаете, что в системе всегда должен быть компонент, представляющий собой конечный автомат или традиционный компьютер?
Мира: Сейчас наступил переломный момент, когда мы переосмысливаем то, как мы взаимодействуем с цифровой информацией, и мы делаем это в форме систем искусственного интеллекта. Возможно, у нас есть несколько систем искусственного интеллекта, возможно, все они имеют разные возможности. Может быть, у нас есть универсальная система, которая следует за нами повсюду, знает мое прошлое, что я делал сегодня, каковы мои цели в жизни и работе, помогает мне в трудные времена, направляет меня и т. д. Как вы понимаете, это очень мощно.
Сейчас мы находимся на переломном этапе в переосмыслении этого понятия. Мы не знаем, как будет выглядеть будущее, и мы прилагаем все усилия, чтобы сделать эти инструменты и методы доступными для многих других людей, чтобы они могли экспериментировать, а мы могли видеть, что произойдет. Это стратегия, которую мы использовали с самого начала.
На прошлой неделе в ChatGPT мы беспокоились, что он недостаточно хорош. Мы все видели, что произошло. Мы опубликовали его, и люди сказали нам, что он очень хорошо помогает выявлять новые случаи. Вот что происходит, когда вы делаете эти вещи доступными и простыми в использовании, и вы упрощаете их использование для каждого.
Дорожная карта развития OpenAI
МАРТИН: Когда дело доходит до искусственного интеллекта, люди пока не умеют думать. Должно быть какое-то руководство, вам нужно сделать какой-то выбор. Вы в OpenAI, и вам нужно решить, что делать дальше. Если бы вы могли пройти через этот процесс принятия решений: как вы решаете, что делать, на чем сосредоточиться, что отпустить или как позиционировать себя?
Мира: Если задуматься о том, как появился ChatGPT, то мы поймем, что это не тот продукт, который мы хотели запустить. На самом деле его настоящие корни уходят более 5 лет назад, когда мы думали о том, как создать безопасную систему искусственного интеллекта. Вы не обязательно хотите, чтобы человек на самом деле написал целевую функцию, потому что вы не хотите, чтобы заменитель сложной целевой функции делал это, или вы не хотите совершать ошибки, потому что это может быть очень опасно.
Именно здесь на помощь приходит обучение с подкреплением с использованием обратной связи с людьми. Чего мы действительно пытаемся достичь, так это привести систему ИИ в соответствие с человеческими ценностями и позволить ей принимать обратную связь от людей. Судя по отзывам людей, он с большей вероятностью поступит правильно и с меньшей вероятностью сделает то, чего вы не хотите. Затем, после того как мы разработали GPT-3 и выпустили его в API, мы впервые применили наши исследования безопасности в реальном мире. Это достигается за счет модели следования инструкциям.
Мы используем этот подход, чтобы получать информацию от клиентов, использующих API, а затем мы просим подрядчиков генерировать отзывы для модели, на которой можно учиться. Мы настроили модель на основе этих данных и построили модель, следуя инструкциям. Они с большей вероятностью последуют намерениям пользователя и сделают то, что вы на самом деле хотите. Это очень важно, потому что безопасность ИИ — это не просто теоретическая концепция, о которой вы сидите и говорите. На самом деле это звучит так: мы сейчас вступаем в эпоху систем безопасности с искусственным интеллектом, как вы интегрируете это в реальный мир?
Очевидно, что в больших языковых моделях мы видим прекрасное представление концепций и идей реального мира. Но с точки зрения производства есть много проблем. Одной из самых больших проблем, очевидно, являются галлюцинации. Мы работали над вопросами иллюзии и аутентичности. Как добиться того, чтобы эти модели выражали неопределенность?
Предшественником ChatGPT на самом деле был другой проект, который мы назвали WebGPT, который использовал поиск для получения информации и цитирования источников. Этот проект в конечном итоге стал ChatGPT, потому что мы думали, что разговоры — это нечто особенное. Это позволяет вам задавать вопросы, поправлять собеседника и выражать неуверенность.
МАРТИН: Ошибки обнаруживаются постоянно, потому что вы взаимодействуете...
Мира: Да, благодаря такому взаимодействию вы можете понять более глубокую истину. Мы начали двигаться в этом направлении и в то время занимались этим с GPT-3 и GPT-3.5. С точки зрения безопасности мы очень рады этому. Но люди забывают одну вещь: в настоящее время мы обучили GPT-4. В OpenAI мы очень рады GPT-4 и ChatGPT в зеркале заднего вида. Затем мы поняли: «Мы собираемся потратить шесть месяцев на выравнивание и безопасность GPT-4», и начали думать о том, что мы можем сделать. Одной из главных задач является передача ChatGPT в руки исследователей, и теперь, когда у нас есть эта диалоговая модель, они смогут дать нам обратную связь. Первоначальная цель — получить отзывы исследователей и использовать их, чтобы сделать GPT-4 более последовательным, безопасным, устойчивым и надежным.
МАРТИН: Когда вы говорите о стабильности и безопасности, вы правы, подразумевая, что он делает все, что хочет? Или вы имеете в виду безопасность, фактическую защиту себя от какого-то вреда?
Мира: Под последовательностью я обычно имею в виду, что оно соответствует намерениям пользователя и делает именно то, что вы от него хотите. Но безопасность также включает в себя и другие вещи, такие как злоупотребления, когда пользователи намеренно пытаются использовать модель для получения вредных результатов. С помощью ChatGPT мы на самом деле пытаемся повысить вероятность того, что модель будет делать то, что вы от нее хотите, делая ее более последовательной. Мы также хотели разобраться в проблеме галлюцинаций, которая, очевидно, является чрезвычайно сложной проблемой.
Я думаю, что этот подход к использованию обратной связи с людьми для обучения с подкреплением, если мы попытаемся это сделать, возможно, это то, что нам нужно.
МАРТИН: Итак, никакого грандиозного плана? Что нам нужно сделать, чтобы достичь AGI? Это просто вопрос принятия этого шаг за шагом.
Мира: Да. И все маленькие решения, которые вы принимаете на этом пути. Возможно, это более вероятно, потому что несколько лет назад мы приняли стратегическое решение о выпуске этого продукта. Мы делаем это, потому что считаем, что невозможно просто сидеть в лаборатории и разрабатывать эти вещи в вакууме без обратной связи с реальными пользователями. Это предположение. Я думаю, это поможет нам принять некоторые из этих решений и построить базовую инфраструктуру, чтобы мы могли в конечном итоге развернуть что-то вроде ChatGPT.
Закон пропорций
МАРТИН: Вы можете повторить закон пропорции. Я думаю, это большая проблема, которая есть у каждого. Темпы прогресса поражают. Но история искусственного интеллекта, похоже, такова: в какой-то момент мы сталкиваемся с убывающей отдачей, и это не параметрическое явление. Это как-то сужается. С вашей точки зрения (которая, вероятно, является самой мудрой точкой зрения во всей отрасли), считаете ли вы, что закон масштабирования будет действовать и мы продолжим видеть прогресс, или вы думаете, что мы движемся к убывающей отдаче?
Мира: Нет никаких доказательств того, что, продолжая расширять модель по осям данных и вычислений, мы не получим более качественные и мощные модели. Другой вопрос, дойдет ли дело до AGI (общего искусственного интеллекта). В этом процессе могут потребоваться некоторые другие прорывы и достижения. Чтобы действительно получить большую выгоду от этих более крупных моделей, законам масштабирования еще предстоит пройти долгий путь.
МАРТИН: Как вы определяете AGI?
Мира: В нашем уставе OpenAI. Мы определяем его как компьютерную систему, которая может выполнять большую часть интеллектуальной работы автономно.
Мартин: Я обедал, и там был Роберт Нишихара из Anyscale. Он задал то, что я называю вопросом Роберта Нисихары. Я думаю, что это на самом деле довольно хорошая характеристика. Он сказал: "Между компьютерами и Эйнштейнами существует континуум. Вы переходите от компьютеров к кошкам, от кошек к обычным людям и от обычных людей к Эйнштейнам". Затем он задал вопрос: "Мы находимся в континууме". Какие проблемы будут решены?»
Все согласны с тем, что мы знаем, как превратиться из кошки в человека. Мы не знаем, как перейти от компьютера к кошке, потому что это универсальная проблема восприятия. Мы близки, но еще не совсем достигли цели и на самом деле не знаем, как сделать Эйнштейна, и это устоявшиеся рассуждения.
Мира: С помощью тонкой настройки можно многого добиться, но в целом, я думаю, в большинстве миссий мы сейчас находимся на уровне стажера. Проблема в надежности. Вы не можете полностью полагаться на то, что система будет постоянно делать то, что вы от нее хотите. Во многих задачах он просто не может этого сделать. Как со временем повысить надежность, а затем расширить новые возможности этих моделей?
Я думаю, что важно обращать внимание на эти новые возможности, даже если они очень ненадежны. Особенно людям, которые сегодня строят компанию, очень хочется задуматься: «Что возможно сегодня? Что вы видите сегодня?» Эти модели очень быстро становятся надежными.
**Одна модель может покорить мир? **
МАРТИН: Я сразу спрошу, предскажу, как будет выглядеть будущее. Но прежде чем я эгоистично спрошу, как, по вашему мнению, будет развиваться экономика? Я говорю вам, что это мне напоминает. Это напоминает мне о кремниевой промышленности. Помню, в 90-е годы, когда покупали компьютер, там было много странных пишущих процессоров. «Это сопоставление строк, это операции с плавающей запятой, это шифрование», и все это съедает процессор.
Оказывается, универсальность настолько сильна, что создает определенный тип экономики, в которой игроками являются как Intel, так и AMD. Конечно, изготовление этих чипов стоит больших денег.
Итак, вы можете представить себе два будущего. В будущем универсальность станет настолько сильной, что большие модели со временем поглотят всю функциональность. А есть еще одно будущее, где есть куча разных моделей, всевозможных деталей, разных точек в пространстве дизайна. Есть ли у вас такое ощущение: OpenAI уникален или у него много моделей?
Мира: Это зависит от того, чем ты хочешь заниматься. Очевидно, что сейчас траектория такова, что эти системы искусственного интеллекта будут выполнять все больше и больше работы, которую мы делаем. Они смогут действовать автономно, но нам нужно будет обеспечивать направление, руководство и надзор. Но я не хочу делать много повторяющейся работы, которую мне приходится делать каждый день. Я хочу сосредоточиться на других вещах. Может быть, нам не придется работать по 10–12 часов в день, может быть, мы сможем работать меньше и быть более продуктивными. Вот на что я надеюсь. Что касается работы платформы, то уже сегодня вы можете видеть, что через API доступно множество моделей, от очень маленьких моделей до самых современных моделей.
Не всегда нужно использовать самую мощную и способную модель. Иногда им просто нужна модель, которая действительно соответствует их конкретному случаю использования и является гораздо более экономичной. Я думаю, что диапазон будет. Но с точки зрения того, как мы представляем себе платформеры, мы определенно хотим, чтобы люди строили нашу модель, и мы хотим дать им инструменты, которые упростят эту задачу, и предоставим им все больше и больше прав доступа и контроля. Вы можете принести свои данные, можете настроить эти модели. Вы действительно можете сосредоточиться на слоях за пределами модели и определить продукт, что на самом деле очень и очень сложно. Сейчас большое внимание уделяется созданию большего количества моделей, но на основе этих моделей очень сложно создавать хорошие продукты.
Следующие 5–10 лет
МАРТИН: Я бы хотел, чтобы вы предсказали, где, по вашему мнению, будет ситуация через три, пять или 10 лет.
Мира: Я думаю, что сегодняшняя основополагающая модель прекрасно отражает мир в тексте. Мы добавляем другие модели, такие как изображения, видео и многое другое, чтобы эти модели могли предоставить более полную картину окружающего нас мира, аналогично тому, как мы понимаем и наблюдаем мир. Мир существует не только в словах, но и в образах. Мы определенно движемся в этом направлении, и у нас будут более крупные модели, которые будут использовать все эти шаблоны в предварительной тренировочной работе. Мы действительно хотим, чтобы эти предварительно обученные модели понимали мир так же, как мы.
В выходной части модели мы вводим обучение с подкреплением с обратной связью от человека. Мы хотим, чтобы модель действительно делала то, что мы от нее просим, и хотим, чтобы это было надежно. Это требует большой работы и, возможно, введения режима просмотра, чтобы можно было получить новую информацию, ссылаться на нее и разрешить галлюцинации. Я не думаю, что это возможно. Я думаю, что это достижимо.
Что касается продуктов, мы хотим объединить все это в коллекцию продуктов, с которыми люди будут работать, и предоставить платформу, на основе которой люди смогут строить. Если вы действительно выйдете наружу, эти модели будут очень и очень мощными. Очевидно, вместе с этим приходит страх, что эти очень мощные модели не соответствуют нашим намерениям. Большой проблемой является Super Alignment, сложная техническая задача. У нас в OpenAI есть целая команда, занимающаяся этой проблемой.