22 человека стоимостью в 1 миллиард! Диалог с генеральным директором Character.ai: Вместо непосредственного изучения медицины лучше изучать искусственный интеллект
Уолл Стрит Ньюс Пресс:
Character.ai — одна из самых горячих звезд стартапов в нынешнем буме ИИ. Основным продуктом компании является настраиваемый чат-робот с искусственным интеллектом, который ориентирован на развлекательные потребности потребителей C-end и имеет возможность эмоционально сопровождать и создавать вымышленных персонажей. Charater.AI позволяет пользователям создавать своих собственных чат-ботов с конкретными личностями, дизайном и запасами знаний, такими как мировые знаменитости, исторические деятели, вымышленные персонажи в литературе, кино и на телевидении и даже животные, предоставляя пользователям новый и захватывающий опыт общения.
Источник изображения: сгенерировано Unbounded AI
В начале этого года Charater.ai завершил финансирование раунда А в размере 150 миллионов долларов США с оценкой более 1 миллиарда долларов США и был повышен до единорога с командой всего из 22 человек.
В апреле генеральный директор Character.ai Ноам Шазир, бывший член команды Google Brain, дал интервью подкасту No Priors.
Основная точка зрения:
Еще в 2021 году у Google была возможность запустить чат-бота с искусственным интеллектом до OpenAI, но он отказался из-за проблем с безопасностью.Робость крупных компаний также стала причиной, по которой он покинул Google и решил начать бизнес.
Самое большое преимущество Character заключается в его стратегии продукта, ориентированной на пользователя. Полностью настраиваемый чат-бот с искусственным интеллектом стал для многих способом избавиться от одиночества, а некоторые пользователи даже говорят, что Персонаж — их новый советник. Ноам считает, что искусственный интеллект обладает большим потенциалом для эмоциональной поддержки. Работа с эмоциональной поддержкой не требует высокого интеллекта. Например, домашние собаки могут хорошо выполнять работу по эмоциональной поддержке, хотя собаки не умны и не могут говорить. Точно так же ИИ с ограниченными параметрами также может выполнить эту задачу.
3 Требования к данным, как правило, растут в геометрической прогрессии с ростом вычислительной мощности, но данных не мало Интернет может предоставить почти неограниченные данные, и Character также рассматривает возможность использования ИИ для генерации большего количества данных.
4 Character.ai все еще находится в стадии сжигания денег для масштабирования, и бизнес-модель все еще изучается.В будущем команда рассмотрит возможность расширения бизнеса TOB.
5 Ноам считает, что ОИИ является целью многих стартапов в сфере ИИ. Но ** настоящая причина, по которой он начал свой бизнес, заключается в содействии развитию технологий и использовании технологий для решения сложных проблем, таких как неизлечимые с медицинской точки зрения болезни. Он отметил, что ИИ может ускорить ход многих исследований, поэтому вместо непосредственного изучения медицины лучше изучать ИИ. **
Ниже приводится дословная стенограмма аудио подкаста. ELAD и SARAH являются ведущими подкаста. Ради понимания некоторые отрывки были удалены.
Ранний опыт работы в Google и рождение Transformer
ЖИТЬ:
Вы долгое время работали в области НЛП и ИИ. Вы работали в Google в течение 17 лет, где вопросы на собеседовании вращались вокруг решений для проверки орфографии. Когда я присоединился к Google, одной из основных систем для таргетинга рекламы в то время был Фил Кластер, который, я думаю, написали вы и Джордж Херрик. Я хотел бы узнать об истории вашей работы над языковыми моделями НЛП для искусственного интеллекта, как все это развивалось, как вы начинали, что вызвало ваш интерес?
НОАМ：
Спасибо Элад. Да просто, всегда естественная тяга к ИИ. Надеюсь, это заставит компьютер сделать что-нибудь умное. Кажется, это самая смешная игра. Мне посчастливилось открыть для себя Google на раннем этапе, и я участвовал во многих ранних проектах там, возможно, сейчас вы бы не назвали это искусственным интеллектом. С 2012 года я присоединился к команде Google Brain. Сделайте что-нибудь веселое с кучей действительно умных людей. Я никогда раньше не занимался глубоким обучением или нейронными сетями.
ЖИТЬ:
Вы были одним из участников работы по трансформеру в 2017 году, а затем участвовали в работе над Mesh-TensorFlow. Не могли бы вы немного рассказать о том, как все это работает?
НОАМ：
Глубокое обучение успешно, потому что оно действительно хорошо подходит для современного оборудования, и у вас есть чипы этого поколения, которые в матричном умножении и других формах требуют большого количества вычислений, а не связи. Таким образом, глубокое обучение действительно стало популярным, оно работает в тысячи раз быстрее, чем что-либо еще. Как только я освоился, я начал разрабатывать вещи, которые были действительно умными и быстрыми. Сейчас самая волнующая проблема — языковое моделирование. Поскольку существует бесконечное количество данных, просто очистите сеть, и вы сможете получить все необходимые данные для обучения.
Постановка задачи очень проста, это предсказать следующее слово, на нем сидит толстый кот, какое следующее. Это очень легко определить, и если вы сможете сделать это хорошо, тогда вы сможете получить все, что видите сейчас, и вы сможете напрямую разговаривать с этой штукой, это действительно искусственный интеллект. Итак, примерно в 2015 году я начал работать над языковым моделированием и работать с рекуррентными нейронными сетями, что было здорово в то время. Потом появился трансформер.
Я слышал, как мои коллеги по соседству болтали о желании заменить RNN чем-то лучшим. Я подумал, что это звучит хорошо, я хочу помочь, RNN раздражают, так будет интереснее.
ЖИТЬ:
Можете ли вы быстро описать разницу между рекуррентной нейронной сетью и моделью, основанной на преобразовании или внимании?
НОАМ：
Рекуррентные нейронные сети — это непрерывные вычисления: от каждого слова, которое вы читаете до следующего слова, вы вычисляете текущее состояние вашего мозга на основе старого состояния вашего мозга и содержания следующего слова. Затем вы, вы предсказываете следующее слово. Итак, у вас есть эта очень длинная последовательность вычислений, которые должны выполняться последовательно, и поэтому волшебство Преобразователя в том, что вы можете обработать всю последовательность сразу.
Предсказание для следующего слова зависит от того, каким было предыдущее слово, но это происходит с постоянным шагом, и вы можете воспользоваться этим параллелизмом, вы можете посмотреть на все сразу, как параллелизм, в котором хороши современные аппаратные средства. .
Теперь вы можете воспользоваться преимуществами длины последовательности, вашего параллелизма, и все работает очень хорошо. само внимание. Это похоже на то, как если вы создаете эту большую ассоциацию ключ-значение в памяти, вы как бы создаете эту большую таблицу с записью для каждого слова в последовательности. Затем вы ищете вещи в этой таблице. Это все как нечеткая, дифференцирующая и большая французская функция, с помощью которой можно сделать обратное. Люди использовали это для задач с двумя последовательностями, когда у вас есть машинный перевод, и вы переводите с английского на французский, поэтому, когда вы создаете французскую последовательность, вы как будто смотрите на английскую последовательность и пытаетесь обратить внимание на правильное положение в последовательности. Но суть здесь в том, что вы можете использовать то же самое внимание, чтобы заглянуть в прошлое этой последовательности, которую вы пытаетесь создать. Ложка дегтя заключается в том, что он хорошо работает на графических процессорах и графических процессорах, что соответствует развитию глубокого обучения, поскольку оно хорошо работает на существующем оборудовании. То же самое и с последовательностями.
САРА:
Да, я думаю, что классический пример того, как помочь людям визуализировать это, — произнесение одного и того же предложения на французском и английском языках, порядок слов разный, вы не являетесь однозначным отображением в этой последовательности и выясняете, как сделать это без информации Сделать это с параллельными вычислениями в случае потери. Так что это похоже на очень элегантный поступок.
ЖИТЬ:
Также представляется, что этот метод используется в самых разных областях. Очевидно, что это мультимодальные языковые модели. Так что это как чат GPT или персонаж, которого вы делаете. Я также был поражен некоторыми приложениями, такими как Alpha Folding, работа по сворачиванию белков, которую проделал Google, на самом деле она работает с огромной производительностью. Есть ли какие-либо области применения, которые вы нашли действительно неожиданными в отношении того, как работают трансформаторы, и относительно того, что они могут делать?
НОАМ：
Я просто склоняю голову над языком, типа тут у тебя проблемы и все можно. Я надеюсь, что эта вещь достаточно хороша. Поэтому я спросил его, как вы лечите рак? Тогда это похоже на изобретение решения. Итак, я полностью игнорировал то, что люди делают во всех этих других режимах, и я думаю, что многие ранние успехи в глубоком обучении были связаны с изображениями, и люди восхищаются изображениями, но полностью игнорируют их. Потому что картинка стоит тысячи слов, но у нее миллион пикселей, поэтому текст в тысячу раз плотнее. Итак, я большой буквальный фанат. Но довольно интересно видеть, как он взлетает во всех этих других направлениях. Эти вещи великолепны. Это очень полезно для создания продуктов, которые люди хотят использовать, но я думаю, что большая часть основной информации будет исходить от этих текстовых моделей.
Ограничения больших моделей: ни вычислительная мощность, ни данные
ЖИТЬ:
Как вы думаете, каковы ограничения этих моделей? Люди часто говорят о простом масштабировании, например, вы просто добавляете больше вычислительной мощности, и эта штука будет масштабироваться дальше. Существуют данные и различные типы данных, которые могут быть, а могут и не быть. И алгоритмические настройки, и добавление новых вещей, таких как память или петли или что-то в этом роде. Как вы думаете, какие большие вещи людям все еще нужно построить, и где, по вашему мнению, они используются в качестве архитектуры?
НОАМ：
Да, не знаю, уберут ли. Я имею в виду, мы еще не видели, как он вышел. Наверное, ничто по сравнению с количеством работы, которая в него вложена. Так что, скорее всего, будут все виды неэффективности, которые люди получают с лучшими алгоритмами обучения, лучшими архитектурами моделей, лучшими способами создания микросхем и использованием квантования и всего такого. И тогда будут десятки, сотни и тысячи факторов, таких как масштабирование и деньги, которые люди бросят на эту вещь, потому что, эй, все только что поняли, что эта вещь невероятно ценна. В то же время, я не думаю, что кто-то видит, насколько хороша эта штука для стены. Так что я думаю, что это просто, это будет продолжать улучшаться. Я не знаю и не знаю, что этому мешает.
САРА:
Что вы думаете об этой идее, мы можем увеличить вычислительную мощность, но самых больших данных для обучения модели недостаточно. Мы использовали все доступные текстовые данные в Интернете. Мы должны пойти на улучшение качества, мы должны пойти на обратную связь с людьми. что ты думаешь.
НОАМ：
При 10 миллиардах человек каждый производит 1000 или 10 000 слов, что представляет собой огромный объем данных. Мы все много разговариваем с системами ИИ. Итак, у меня есть ощущение, что много данных будет отправлено в некоторые системы искусственного интеллекта, я имею в виду в целях сохранения конфиденциальности, я надеюсь, что эти данные могут быть отправлены. Затем требования к данным имеют тенденцию к экспоненциальному масштабированию с вычислительной мощностью, потому что вы обучаете более крупную модель, а затем добавляете в нее больше данных. Я не беспокоюсь о нехватке данных, возможно, мы сможем генерировать больше данных с помощью ИИ.
ЖИТЬ:
Тогда каковы, по вашему мнению, основные проблемы, которые эти модели решат в будущем? Это галлюцинация, воспоминание или что-то еще?
НОАМ：
Не имею представления. Мне нравятся галлюцинации.
САРА:
Это тоже особенность.
НОАМ：
Больше всего мы хотим помнить, потому что наши пользователи определенно хотят, чтобы их виртуальные друзья помнили их. Вы можете многое сделать с помощью персонализации, вы хотите сбросить много данных и эффективно их использовать. Проводится много работы, чтобы выяснить, что реально, а что галлюцинация. Конечно, я думаю, мы это исправим.
Предпринимательская история Character.ai
ЖИТЬ:
Расскажите мне немного о LaMDA и вашей роли в ней, как вы придумали Character?
НОАМ：
Мой соучредитель, Даниэль Фрейтас, самый трудолюбивый, самый трудолюбивый и самый умный парень, которого я когда-либо встречал. Он работал над этой задачей создания чат-ботов всю свою жизнь. Он пытался создавать чат-ботов с детства. Поэтому он присоединился к Google Brain. Он прочитал несколько статей и подумал, что эта техника моделирования нейронного языка может действительно обобщить и создать действительно открытое поле.
Хотя он не получил поддержки многих людей, он отнесся к этому проекту как к второстепенному и потратил на него 20% своего времени.
Затем он набрал армию 20-процентных помощников, которые помогли ему настроить систему.
Он даже ходит, захватывая чужие квоты ТПУ, он называет свой проект Мина, потому что он ему нравится, он придумал его во сне, я думаю. В какой-то момент я посмотрел на табло и подумал, что это за штука называется Мина, почему у нее 30 очков ТПУ?
ЖИТЬ:
LaMDA похож на этот, я знаю, что это внутренний чат-бот, созданный Google до GPT. Эта новость стала известной, потому что один инженер посчитал ее мудрой.
НОАМ：
Да, мы поставили его на несколько крупных языковых моделей, а потом внутри компании поднялся ажиотаж, и Мина была переименована в LaMDA, и к тому времени мы ушли, и нашлись люди, которые поверили, что в этом есть жизнь.
САРА:
Почему его не выпустили позже, и что беспокоит?
НОАМ：
Для крупной компании запуск продукта, который знает все, немного опасен. Я думаю, это просто вопрос риска. Итак, после долгих размышлений начать бизнес показалось правильной идеей.
САРА:
Какова история происхождения Персонажа?
НОАМ：
Мы просто хотим создать что-то и вывести это на рынок как можно быстрее. Я сформировал панк-команду инженеров, исследователей, получил вычислительную мощность и начал бизнес.
ЖИТЬ:
Как вы набираете?
НОАМ：
Некоторых из ребят, с которыми мы познакомились в Google, познакомили с Мьятом, который раньше был из Meta, и он многое раскатал и построил много их больших языковых моделей и их инфраструктуру нейронных языковых моделей, а также некоторых других людей из Мета последовала за ним. Они очень милые.
ЖИТЬ:
Есть ли у вас особые требования или методы тестирования при поиске талантов? Или это обычное собеседование?
НОАМ
Я думаю, что это во многом зависит от мотивации. Я думаю, Даниэль очень сосредоточен на мотивации, он ищет состояние между сильным желанием и детской мечтой, поэтому есть много хороших людей, которых мы не нанимаем, потому что они не достигают этого уровня, но мы также нанимаем много людей, они идеально подходят для работы в начинающей компании, они очень талантливы и целеустремленны.
На рынке уже есть Siri и Alexa, не надо конкурировать в лоб с крупными компаниями по функционалу
САРА:
Говоря о детских мечтах, не могли бы вы описать этот продукт? У вас есть эти боты, они могут быть созданы пользователями, они могут быть созданы персонажами, они могут быть общественными деятелями, историческими личностями, вымышленными персонажами, как вы пришли к такому шаблону?
НОАМ：
Пользователи часто лучше вас знают, что они хотят делать с этой штукой. ** Siri, Alexa и Google Assistant уже представлены на рынке, нет необходимости конкурировать с этими крупными компаниями по функциональности. **
Если вы попытаетесь представить публичную персону, которую все любят, вы не получите ничего, кроме скуки. И людям не нравится скучать, они хотят взаимодействовать с вещами, которые чувствуют себя людьми.
Таким образом, в основном вам нужно создать несколько персонажей и позволить людям изобретать персонажей, как им заблагорассудится, и есть что-то, что мне нравится в названии «Персонаж», которое имеет несколько разных значений: текст, персонаж, персонаж.
САРА:
Итак, чего хотят люди? друг? написать роман? Что-то еще совершенно новое?
НОАМ：
Некоторые пользователи будут общаться с виртуальными общественными деятелями и влиятельными лицами о наших продуктах. Пользователи могут создать персонажа и поговорить с ним. В то время как некоторые пользователи могут чувствовать себя одинокими и нуждаться в ком-то, чтобы поговорить, многим не с кем поговорить. Кто-то скажет, что эта роль теперь у моего нового вожатого.
САРА:
Два способа думать об эмоциях, верно? Например, насколько важны отношения людей с персонажами или на каком уровне мы находимся, когда дело доходит до выражения последовательных эмоций?
НОАМ：
Да, ** я имею в виду, что, вероятно, вам не нужен такой высокий интеллектуальный уровень для эмоциональной поддержки. Эмоции прекрасны и очень важны, но собака также может оказать большую эмоциональную поддержку. Собаки оказывают большую эмоциональную поддержку, но не обладают вербальными способностями**.
ЖИТЬ:
Как вы думаете, что происходит с системой при масштабировании?
НОАМ：
Я думаю, что мы должны быть в состоянии сделать его умнее различными способами. Получение большей вычислительной мощности, обучение более крупной модели и более длительное обучение должны стать более умными, более осведомленными, лучше понимать, чего хотят люди, что они ищут.
САРА:
У вас есть пользователи, которые используют Персонаж по много часов в день. Кто ваша целевая аудитория? Каков ваш ожидаемый шаблон использования.
НОАМ：
Мы собираемся оставить это на усмотрение пользователя. Наша цель всегда заключалась в том, чтобы предоставить пользователям возможность решать, для чего, по их мнению, они подходят.
Мы видим, что у людей, которые сегодня находятся на сайте Персонажа, среднее активное время составляет два часа. Это тот, кто отправил сегодня сообщение, безумное, но важное, и в нем говорится, что люди находят какую-то ценность.
И затем, как я уже сказал, действительно трудно точно сказать, каково это значение, потому что это действительно похоже на большую смешанную вещь. Но наша цель — сделать эту вещь более полезной, чтобы люди могли ее настраивать и решать, что они хотят с ней делать. Давайте отдадим его в руки пользователям и посмотрим, что получится.
Сжигание денег для масштабирования TOC является первоочередной задачей
САРА:
Как вы относитесь к коммерциализации?
НОАМ：
** Мы теряем деньги на пользователя и компенсируем их за счет объема. **
САРА:
хороший. Это хорошая стратегия.
НОАМ：
Нет, я шучу.
ЖИТЬ:
Как традиционная бизнес-модель 1990-х годов, так что все в порядке.
САРА:
Это также бизнес-модель на 2022 год.
ЖИТЬ:
Вы должны выпустить токен и превратить его в криптовалюту.
НОАМ：
** В ближайшее время мы начнем монетизировать. Это бизнес, который выигрывает от большой вычислительной мощности. Вместо того, чтобы сжигать деньги инвесторов, мы надеемся приносить пользу достаточному количеству пользователей и зарабатывать деньги на этом пути. Некоторые услуги, такие как премиальные подписки, можно опробовать позже. Поскольку мы разрабатываем некоторые новые функции, последующие сборы могут увеличиться в цене. **
ЖИТЬ:
Я имею в виду, что услуга «Характер как ТОС» действительно взлетела очень драматично. Если вы посмотрите на количество пользователей и время использования каждого пользователя, это просто безумие. Вы начнете бизнес TOB в будущем? Как робот службы поддержки клиентов?
НОАМ：
Сейчас у нас 22 сотрудника, поэтому нам нужно расставить приоритеты, и мы нанимаем. Первым приоритетом является ТОС.
САРА:
Итак, вы сказали, что одной из ключевых причин, по которой LaMDA не была запущена сразу, была безопасность. Ребята, что вы думаете?
НОАМ：
Есть и другие причины. Например, Google не хочет, чтобы люди причиняли вред себе или другим людям, и ему необходимо блокировать порнографию. Вокруг этого были протесты.
ЖИТЬ:
Как вы думаете, все это путь к ОИИ или сверхразуму? Для некоторых компаний это кажется частью цели, а для других это не является явной целью.
НОАМ：
Да, AGI — цель многих стартапов в области ИИ. **Настоящая причина в том, что я хочу продвигать технологии вперед. В мире так много технических проблем, которые можно решить, например, неизлечимые с медицинской точки зрения болезни. Можем предложить технические решения. **
Вот почему я занимаюсь исследованиями искусственного интеллекта**, потому что вместо непосредственного изучения медицины лучше изучать искусственный интеллект, и тогда искусственный интеллект можно будет использовать для ускорения других исследований. По сути, именно поэтому я так усердно работаю над ИИ, я хочу основать компанию, которая в первую очередь будет заниматься как ИИ, так и продуктом. **
Ваш продукт полностью зависит от качества ИИ. Важнейшим фактором, определяющим качество нашего продукта, является то, насколько умным он будет. Итак, теперь мы полны решимости сделать ИИ лучше, сделать продукты лучше.
ЖИТЬ:
Да, это действительно хороший цикл обратной связи, потому что, по вашему мнению, когда вы делаете продукт лучше, с ним взаимодействует больше людей, что помогает сделать его лучше. Продукт. Так что это очень умный подход. Как вы думаете, насколько мы далеки от искусственного интеллекта, который так же умен или умнее человека? Очевидно, они уже в чем-то умнее людей, но я как раз думал о чем-то подобном.
НОАМ：
Мы всегда поражаемся тому, как искусственный интеллект может превзойти людей. Некоторые ИИ теперь могут сделать вашу домашнюю работу за вас. Хотел бы я, чтобы у меня было что-то подобное, когда я был ребенком.
ЖИТЬ:
Какой совет вы бы дали тем, у кого такой же бэкграунд, как у вас? Например, чему вы научились как основатель, чего вы не обязательно узнали, когда работали в Google или где-то еще?
НОАМ：
хороший вопрос. По сути, вы учитесь на своих ужасных ошибках. Хотя я не думаю, что мы допустили какие-то очень-очень серьезные ошибки или, по крайней мере, исправили их.
САРА:
Какие таланты вы ищете?
НОАМ：
до сих пор? 21 из 22 — инженеры. Мы также наймем больше инженеров. Будь то глубокое обучение или интерфейс и серверная часть, обязательно наймите больше людей для бизнеса и продукта.
ЖИТЬ:
Последние два или три коротких вопроса: кто ваш любимый математик или специалист по информатике.
НОАМ：
Я много работаю с Джеффом Дином (глава Google Brain) в Google. С ним действительно приятно и весело работать. Думаю, он сейчас работает над их большой языковой моделью. Немного жаль покидать Google, и я надеюсь поработать с ним в будущем.
ЖИТЬ:
Как вы думаете, была ли математика изобретена или открыта?
НОАМ：
Я думаю, может быть, это было обнаружено, может быть, все было открыто, и мы только открываем.
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
22 человека стоимостью в 1 миллиард! Диалог с генеральным директором Character.ai: Вместо непосредственного изучения медицины лучше изучать искусственный интеллект
В начале этого года Charater.ai завершил финансирование раунда А в размере 150 миллионов долларов США с оценкой более 1 миллиарда долларов США и был повышен до единорога с командой всего из 22 человек.
В апреле генеральный директор Character.ai Ноам Шазир, бывший член команды Google Brain, дал интервью подкасту No Priors.
Ниже приводится дословная стенограмма аудио подкаста. ELAD и SARAH являются ведущими подкаста. Ради понимания некоторые отрывки были удалены.
Ранний опыт работы в Google и рождение Transformer
ЖИТЬ:
Вы долгое время работали в области НЛП и ИИ. Вы работали в Google в течение 17 лет, где вопросы на собеседовании вращались вокруг решений для проверки орфографии. Когда я присоединился к Google, одной из основных систем для таргетинга рекламы в то время был Фил Кластер, который, я думаю, написали вы и Джордж Херрик. Я хотел бы узнать об истории вашей работы над языковыми моделями НЛП для искусственного интеллекта, как все это развивалось, как вы начинали, что вызвало ваш интерес?
НОАМ：
Спасибо Элад. Да просто, всегда естественная тяга к ИИ. Надеюсь, это заставит компьютер сделать что-нибудь умное. Кажется, это самая смешная игра. Мне посчастливилось открыть для себя Google на раннем этапе, и я участвовал во многих ранних проектах там, возможно, сейчас вы бы не назвали это искусственным интеллектом. С 2012 года я присоединился к команде Google Brain. Сделайте что-нибудь веселое с кучей действительно умных людей. Я никогда раньше не занимался глубоким обучением или нейронными сетями.
ЖИТЬ:
Вы были одним из участников работы по трансформеру в 2017 году, а затем участвовали в работе над Mesh-TensorFlow. Не могли бы вы немного рассказать о том, как все это работает?
НОАМ：
Глубокое обучение успешно, потому что оно действительно хорошо подходит для современного оборудования, и у вас есть чипы этого поколения, которые в матричном умножении и других формах требуют большого количества вычислений, а не связи. Таким образом, глубокое обучение действительно стало популярным, оно работает в тысячи раз быстрее, чем что-либо еще. Как только я освоился, я начал разрабатывать вещи, которые были действительно умными и быстрыми. Сейчас самая волнующая проблема — языковое моделирование. Поскольку существует бесконечное количество данных, просто очистите сеть, и вы сможете получить все необходимые данные для обучения.
Постановка задачи очень проста, это предсказать следующее слово, на нем сидит толстый кот, какое следующее. Это очень легко определить, и если вы сможете сделать это хорошо, тогда вы сможете получить все, что видите сейчас, и вы сможете напрямую разговаривать с этой штукой, это действительно искусственный интеллект. Итак, примерно в 2015 году я начал работать над языковым моделированием и работать с рекуррентными нейронными сетями, что было здорово в то время. Потом появился трансформер.
Я слышал, как мои коллеги по соседству болтали о желании заменить RNN чем-то лучшим. Я подумал, что это звучит хорошо, я хочу помочь, RNN раздражают, так будет интереснее.
ЖИТЬ:
Можете ли вы быстро описать разницу между рекуррентной нейронной сетью и моделью, основанной на преобразовании или внимании?
НОАМ：
Рекуррентные нейронные сети — это непрерывные вычисления: от каждого слова, которое вы читаете до следующего слова, вы вычисляете текущее состояние вашего мозга на основе старого состояния вашего мозга и содержания следующего слова. Затем вы, вы предсказываете следующее слово. Итак, у вас есть эта очень длинная последовательность вычислений, которые должны выполняться последовательно, и поэтому волшебство Преобразователя в том, что вы можете обработать всю последовательность сразу.
Предсказание для следующего слова зависит от того, каким было предыдущее слово, но это происходит с постоянным шагом, и вы можете воспользоваться этим параллелизмом, вы можете посмотреть на все сразу, как параллелизм, в котором хороши современные аппаратные средства. .
Теперь вы можете воспользоваться преимуществами длины последовательности, вашего параллелизма, и все работает очень хорошо. само внимание. Это похоже на то, как если вы создаете эту большую ассоциацию ключ-значение в памяти, вы как бы создаете эту большую таблицу с записью для каждого слова в последовательности. Затем вы ищете вещи в этой таблице. Это все как нечеткая, дифференцирующая и большая французская функция, с помощью которой можно сделать обратное. Люди использовали это для задач с двумя последовательностями, когда у вас есть машинный перевод, и вы переводите с английского на французский, поэтому, когда вы создаете французскую последовательность, вы как будто смотрите на английскую последовательность и пытаетесь обратить внимание на правильное положение в последовательности. Но суть здесь в том, что вы можете использовать то же самое внимание, чтобы заглянуть в прошлое этой последовательности, которую вы пытаетесь создать. Ложка дегтя заключается в том, что он хорошо работает на графических процессорах и графических процессорах, что соответствует развитию глубокого обучения, поскольку оно хорошо работает на существующем оборудовании. То же самое и с последовательностями.
САРА:
Да, я думаю, что классический пример того, как помочь людям визуализировать это, — произнесение одного и того же предложения на французском и английском языках, порядок слов разный, вы не являетесь однозначным отображением в этой последовательности и выясняете, как сделать это без информации Сделать это с параллельными вычислениями в случае потери. Так что это похоже на очень элегантный поступок.
ЖИТЬ:
Также представляется, что этот метод используется в самых разных областях. Очевидно, что это мультимодальные языковые модели. Так что это как чат GPT или персонаж, которого вы делаете. Я также был поражен некоторыми приложениями, такими как Alpha Folding, работа по сворачиванию белков, которую проделал Google, на самом деле она работает с огромной производительностью. Есть ли какие-либо области применения, которые вы нашли действительно неожиданными в отношении того, как работают трансформаторы, и относительно того, что они могут делать?
НОАМ：
Я просто склоняю голову над языком, типа тут у тебя проблемы и все можно. Я надеюсь, что эта вещь достаточно хороша. Поэтому я спросил его, как вы лечите рак? Тогда это похоже на изобретение решения. Итак, я полностью игнорировал то, что люди делают во всех этих других режимах, и я думаю, что многие ранние успехи в глубоком обучении были связаны с изображениями, и люди восхищаются изображениями, но полностью игнорируют их. Потому что картинка стоит тысячи слов, но у нее миллион пикселей, поэтому текст в тысячу раз плотнее. Итак, я большой буквальный фанат. Но довольно интересно видеть, как он взлетает во всех этих других направлениях. Эти вещи великолепны. Это очень полезно для создания продуктов, которые люди хотят использовать, но я думаю, что большая часть основной информации будет исходить от этих текстовых моделей.
Ограничения больших моделей: ни вычислительная мощность, ни данные
ЖИТЬ:
Как вы думаете, каковы ограничения этих моделей? Люди часто говорят о простом масштабировании, например, вы просто добавляете больше вычислительной мощности, и эта штука будет масштабироваться дальше. Существуют данные и различные типы данных, которые могут быть, а могут и не быть. И алгоритмические настройки, и добавление новых вещей, таких как память или петли или что-то в этом роде. Как вы думаете, какие большие вещи людям все еще нужно построить, и где, по вашему мнению, они используются в качестве архитектуры?
НОАМ：
Да, не знаю, уберут ли. Я имею в виду, мы еще не видели, как он вышел. Наверное, ничто по сравнению с количеством работы, которая в него вложена. Так что, скорее всего, будут все виды неэффективности, которые люди получают с лучшими алгоритмами обучения, лучшими архитектурами моделей, лучшими способами создания микросхем и использованием квантования и всего такого. И тогда будут десятки, сотни и тысячи факторов, таких как масштабирование и деньги, которые люди бросят на эту вещь, потому что, эй, все только что поняли, что эта вещь невероятно ценна. В то же время, я не думаю, что кто-то видит, насколько хороша эта штука для стены. Так что я думаю, что это просто, это будет продолжать улучшаться. Я не знаю и не знаю, что этому мешает.
САРА:
Что вы думаете об этой идее, мы можем увеличить вычислительную мощность, но самых больших данных для обучения модели недостаточно. Мы использовали все доступные текстовые данные в Интернете. Мы должны пойти на улучшение качества, мы должны пойти на обратную связь с людьми. что ты думаешь.
НОАМ：
При 10 миллиардах человек каждый производит 1000 или 10 000 слов, что представляет собой огромный объем данных. Мы все много разговариваем с системами ИИ. Итак, у меня есть ощущение, что много данных будет отправлено в некоторые системы искусственного интеллекта, я имею в виду в целях сохранения конфиденциальности, я надеюсь, что эти данные могут быть отправлены. Затем требования к данным имеют тенденцию к экспоненциальному масштабированию с вычислительной мощностью, потому что вы обучаете более крупную модель, а затем добавляете в нее больше данных. Я не беспокоюсь о нехватке данных, возможно, мы сможем генерировать больше данных с помощью ИИ.
ЖИТЬ:
Тогда каковы, по вашему мнению, основные проблемы, которые эти модели решат в будущем? Это галлюцинация, воспоминание или что-то еще?
НОАМ：
Не имею представления. Мне нравятся галлюцинации.
САРА:
Это тоже особенность.
НОАМ：
Больше всего мы хотим помнить, потому что наши пользователи определенно хотят, чтобы их виртуальные друзья помнили их. Вы можете многое сделать с помощью персонализации, вы хотите сбросить много данных и эффективно их использовать. Проводится много работы, чтобы выяснить, что реально, а что галлюцинация. Конечно, я думаю, мы это исправим.
Предпринимательская история Character.ai
ЖИТЬ:
Расскажите мне немного о LaMDA и вашей роли в ней, как вы придумали Character?
НОАМ：
Мой соучредитель, Даниэль Фрейтас, самый трудолюбивый, самый трудолюбивый и самый умный парень, которого я когда-либо встречал. Он работал над этой задачей создания чат-ботов всю свою жизнь. Он пытался создавать чат-ботов с детства. Поэтому он присоединился к Google Brain. Он прочитал несколько статей и подумал, что эта техника моделирования нейронного языка может действительно обобщить и создать действительно открытое поле.
Хотя он не получил поддержки многих людей, он отнесся к этому проекту как к второстепенному и потратил на него 20% своего времени.
Затем он набрал армию 20-процентных помощников, которые помогли ему настроить систему.
Он даже ходит, захватывая чужие квоты ТПУ, он называет свой проект Мина, потому что он ему нравится, он придумал его во сне, я думаю. В какой-то момент я посмотрел на табло и подумал, что это за штука называется Мина, почему у нее 30 очков ТПУ?
ЖИТЬ:
LaMDA похож на этот, я знаю, что это внутренний чат-бот, созданный Google до GPT. Эта новость стала известной, потому что один инженер посчитал ее мудрой.
НОАМ：
Да, мы поставили его на несколько крупных языковых моделей, а потом внутри компании поднялся ажиотаж, и Мина была переименована в LaMDA, и к тому времени мы ушли, и нашлись люди, которые поверили, что в этом есть жизнь.
САРА:
Почему его не выпустили позже, и что беспокоит?
НОАМ：
Для крупной компании запуск продукта, который знает все, немного опасен. Я думаю, это просто вопрос риска. Итак, после долгих размышлений начать бизнес показалось правильной идеей.
САРА:
Какова история происхождения Персонажа?
НОАМ：
Мы просто хотим создать что-то и вывести это на рынок как можно быстрее. Я сформировал панк-команду инженеров, исследователей, получил вычислительную мощность и начал бизнес.
ЖИТЬ:
Как вы набираете?
НОАМ：
Некоторых из ребят, с которыми мы познакомились в Google, познакомили с Мьятом, который раньше был из Meta, и он многое раскатал и построил много их больших языковых моделей и их инфраструктуру нейронных языковых моделей, а также некоторых других людей из Мета последовала за ним. Они очень милые.
ЖИТЬ:
Есть ли у вас особые требования или методы тестирования при поиске талантов? Или это обычное собеседование?
НОАМ
Я думаю, что это во многом зависит от мотивации. Я думаю, Даниэль очень сосредоточен на мотивации, он ищет состояние между сильным желанием и детской мечтой, поэтому есть много хороших людей, которых мы не нанимаем, потому что они не достигают этого уровня, но мы также нанимаем много людей, они идеально подходят для работы в начинающей компании, они очень талантливы и целеустремленны.
На рынке уже есть Siri и Alexa, не надо конкурировать в лоб с крупными компаниями по функционалу
САРА:
Говоря о детских мечтах, не могли бы вы описать этот продукт? У вас есть эти боты, они могут быть созданы пользователями, они могут быть созданы персонажами, они могут быть общественными деятелями, историческими личностями, вымышленными персонажами, как вы пришли к такому шаблону?
НОАМ：
Пользователи часто лучше вас знают, что они хотят делать с этой штукой. ** Siri, Alexa и Google Assistant уже представлены на рынке, нет необходимости конкурировать с этими крупными компаниями по функциональности. **
Если вы попытаетесь представить публичную персону, которую все любят, вы не получите ничего, кроме скуки. И людям не нравится скучать, они хотят взаимодействовать с вещами, которые чувствуют себя людьми.
Таким образом, в основном вам нужно создать несколько персонажей и позволить людям изобретать персонажей, как им заблагорассудится, и есть что-то, что мне нравится в названии «Персонаж», которое имеет несколько разных значений: текст, персонаж, персонаж.
САРА:
Итак, чего хотят люди? друг? написать роман? Что-то еще совершенно новое?
НОАМ：
Некоторые пользователи будут общаться с виртуальными общественными деятелями и влиятельными лицами о наших продуктах. Пользователи могут создать персонажа и поговорить с ним. В то время как некоторые пользователи могут чувствовать себя одинокими и нуждаться в ком-то, чтобы поговорить, многим не с кем поговорить. Кто-то скажет, что эта роль теперь у моего нового вожатого.
САРА:
Два способа думать об эмоциях, верно? Например, насколько важны отношения людей с персонажами или на каком уровне мы находимся, когда дело доходит до выражения последовательных эмоций?
НОАМ：
Да, ** я имею в виду, что, вероятно, вам не нужен такой высокий интеллектуальный уровень для эмоциональной поддержки. Эмоции прекрасны и очень важны, но собака также может оказать большую эмоциональную поддержку. Собаки оказывают большую эмоциональную поддержку, но не обладают вербальными способностями**.
ЖИТЬ:
Как вы думаете, что происходит с системой при масштабировании?
НОАМ：
Я думаю, что мы должны быть в состоянии сделать его умнее различными способами. Получение большей вычислительной мощности, обучение более крупной модели и более длительное обучение должны стать более умными, более осведомленными, лучше понимать, чего хотят люди, что они ищут.
САРА:
У вас есть пользователи, которые используют Персонаж по много часов в день. Кто ваша целевая аудитория? Каков ваш ожидаемый шаблон использования.
НОАМ：
Мы собираемся оставить это на усмотрение пользователя. Наша цель всегда заключалась в том, чтобы предоставить пользователям возможность решать, для чего, по их мнению, они подходят.
Мы видим, что у людей, которые сегодня находятся на сайте Персонажа, среднее активное время составляет два часа. Это тот, кто отправил сегодня сообщение, безумное, но важное, и в нем говорится, что люди находят какую-то ценность.
И затем, как я уже сказал, действительно трудно точно сказать, каково это значение, потому что это действительно похоже на большую смешанную вещь. Но наша цель — сделать эту вещь более полезной, чтобы люди могли ее настраивать и решать, что они хотят с ней делать. Давайте отдадим его в руки пользователям и посмотрим, что получится.
Сжигание денег для масштабирования TOC является первоочередной задачей
САРА:
Как вы относитесь к коммерциализации?
НОАМ：
** Мы теряем деньги на пользователя и компенсируем их за счет объема. **
САРА:
хороший. Это хорошая стратегия.
НОАМ：
Нет, я шучу.
ЖИТЬ:
Как традиционная бизнес-модель 1990-х годов, так что все в порядке.
САРА:
Это также бизнес-модель на 2022 год.
ЖИТЬ:
Вы должны выпустить токен и превратить его в криптовалюту.
НОАМ：
** В ближайшее время мы начнем монетизировать. Это бизнес, который выигрывает от большой вычислительной мощности. Вместо того, чтобы сжигать деньги инвесторов, мы надеемся приносить пользу достаточному количеству пользователей и зарабатывать деньги на этом пути. Некоторые услуги, такие как премиальные подписки, можно опробовать позже. Поскольку мы разрабатываем некоторые новые функции, последующие сборы могут увеличиться в цене. **
ЖИТЬ:
Я имею в виду, что услуга «Характер как ТОС» действительно взлетела очень драматично. Если вы посмотрите на количество пользователей и время использования каждого пользователя, это просто безумие. Вы начнете бизнес TOB в будущем? Как робот службы поддержки клиентов?
НОАМ：
Сейчас у нас 22 сотрудника, поэтому нам нужно расставить приоритеты, и мы нанимаем. Первым приоритетом является ТОС.
САРА:
Итак, вы сказали, что одной из ключевых причин, по которой LaMDA не была запущена сразу, была безопасность. Ребята, что вы думаете?
НОАМ：
Есть и другие причины. Например, Google не хочет, чтобы люди причиняли вред себе или другим людям, и ему необходимо блокировать порнографию. Вокруг этого были протесты.
ЖИТЬ:
Как вы думаете, все это путь к ОИИ или сверхразуму? Для некоторых компаний это кажется частью цели, а для других это не является явной целью.
НОАМ：
Да, AGI — цель многих стартапов в области ИИ. **Настоящая причина в том, что я хочу продвигать технологии вперед. В мире так много технических проблем, которые можно решить, например, неизлечимые с медицинской точки зрения болезни. Можем предложить технические решения. **
Вот почему я занимаюсь исследованиями искусственного интеллекта**, потому что вместо непосредственного изучения медицины лучше изучать искусственный интеллект, и тогда искусственный интеллект можно будет использовать для ускорения других исследований. По сути, именно поэтому я так усердно работаю над ИИ, я хочу основать компанию, которая в первую очередь будет заниматься как ИИ, так и продуктом. **
Ваш продукт полностью зависит от качества ИИ. Важнейшим фактором, определяющим качество нашего продукта, является то, насколько умным он будет. Итак, теперь мы полны решимости сделать ИИ лучше, сделать продукты лучше.
ЖИТЬ:
Да, это действительно хороший цикл обратной связи, потому что, по вашему мнению, когда вы делаете продукт лучше, с ним взаимодействует больше людей, что помогает сделать его лучше. Продукт. Так что это очень умный подход. Как вы думаете, насколько мы далеки от искусственного интеллекта, который так же умен или умнее человека? Очевидно, они уже в чем-то умнее людей, но я как раз думал о чем-то подобном.
НОАМ：
Мы всегда поражаемся тому, как искусственный интеллект может превзойти людей. Некоторые ИИ теперь могут сделать вашу домашнюю работу за вас. Хотел бы я, чтобы у меня было что-то подобное, когда я был ребенком.
ЖИТЬ:
Какой совет вы бы дали тем, у кого такой же бэкграунд, как у вас? Например, чему вы научились как основатель, чего вы не обязательно узнали, когда работали в Google или где-то еще?
НОАМ：
хороший вопрос. По сути, вы учитесь на своих ужасных ошибках. Хотя я не думаю, что мы допустили какие-то очень-очень серьезные ошибки или, по крайней мере, исправили их.
САРА:
Какие таланты вы ищете?
НОАМ：
до сих пор? 21 из 22 — инженеры. Мы также наймем больше инженеров. Будь то глубокое обучение или интерфейс и серверная часть, обязательно наймите больше людей для бизнеса и продукта.
ЖИТЬ:
Последние два или три коротких вопроса: кто ваш любимый математик или специалист по информатике.
НОАМ：
Я много работаю с Джеффом Дином (глава Google Brain) в Google. С ним действительно приятно и весело работать. Думаю, он сейчас работает над их большой языковой моделью. Немного жаль покидать Google, и я надеюсь поработать с ним в будущем.
ЖИТЬ:
Как вы думаете, была ли математика изобретена или открыта?
НОАМ：
Я думаю, может быть, это было обнаружено, может быть, все было открыто, и мы только открываем.