Можно даже подумать, что это встреча знаменитостей.
Но на самом деле это один из круглых столов на конференции GenAI в Кремниевой долине.
Он был устроен на «вспомогательной сцене» в полдень, когда люди больше всего спят. На сцене в другом большом конференц-зале сидело множество генеральных директоров и основателей звездных компаний Кремниевой долины, а за этим круглым столом были «всего лишь» несколько исследователей. но люди все равно продолжали вливаться в маленькую комнату.
Их целью были трое китайских исследователей. Раньше в Кремниевой долине всегда происходили подобные сцены, когда появлялись «китайские руководители, занимающие высшие должности в компаниях Кремниевой долины», но на этот раз люди преследовали троих молодых людей.
Синьюнь Чен, Чуньтинг Чжоу и Джейсон Вэй.
**Молодые китайские исследователи в трех самых важных компаниях в области искусственного интеллекта в Кремниевой долине. **
Эти три имени наверняка будут знакомы людям, внимательно следящим за трендом крупных моделей.
Синьюнь Чен — старший научный сотрудник групп вывода Google Brain и DeepMind. Ее исследовательские интересы — синтез нейронных программ и состязательное машинное обучение. Она получила степень доктора компьютерных наук в Калифорнийском университете в Беркли и степень бакалавра компьютерных наук в классе ACM Шанхайского университета Цзяо Тонг.
Она участвовала в работе над документами, в том числе о разрешении LLM создавать свои собственные инструменты и обучении LLM отладке собственного кода и т. д. Все это очень важные и критические статьи в области генерации кода ИИ. Некоторые СМИ преувеличенно описывают ее как члена «китайской команды Google Deepmind».
Чуньтинг Чжоу — научный сотрудник Meta AI. В мае 2022 года она получила докторскую степень в Институте языковых технологий Университета Карнеги-Меллон. Ее текущие основные исследовательские интересы лежат в области пересечения обработки естественного языка и машинного обучения, а также новых методов выравнивания. Статья, которую она возглавляла, в которой пытались использовать меньше и более совершенные образцы для обучения больших моделей, получила высокую оценку Янна Лекуна и была рекомендована в статье. Эта статья предоставила отрасли новые идеи в дополнение к основным методам, таким как RLHF.
Последний — Джейсон Вэй из OpenAI, звездный исследователь, пользующийся большим уважением среди отечественных и зарубежных сообществ искусственного интеллекта. Знаменитый разработчик COT (цепочки мыслей). После окончания бакалавриата в 2020 году он стал старшим научным сотрудником Google Brain и за время своей работы предложил концепцию цепочек мышления, которая также является одним из ключей к появлению LLM. В феврале 2023 года он присоединился к OpenAI и присоединился к команде ChatGPT.
Люди приходят в эти компании, но больше ради своих исследований.
Часто на этом форуме они похожи на студентов.Вы как будто смотрите университетскую дискуссию.Они умные, с быстрой логикой, немного нервные, но при этом полны остроумных слов.
"Почему вы думаете, что галлюцинации — это плохо?"
«Но у Трампа галлюцинации каждый день».
Был смех.
Это редкий разговор. Ниже приводится стенограмма. Представители Silicon Star также участвовали и задавали вопросы.
Вопрос: Давайте обсудим очень важную проблему в LLM — галлюцинации. Концепция галлюцинации была предложена еще тогда, когда параметров модели было очень мало, а размер еще очень мал, но теперь, когда модели становятся все больше и больше, как изменилась проблема галлюцинаций?
Чантинг: Я могу говорить первым. Три года назад я делал проект о галлюцинациях. Проблема галлюцинаций, с которой мы столкнулись в то время, сильно отличалась от той, с которой мы сталкиваемся сейчас.В то время мы создавали очень маленькие модели и обсуждали галлюцинации в конкретных областях, таких как перевод или краткое изложение документов и другие функции. Но теперь стало ясно, что проблема гораздо серьезнее.
Я думаю, есть много причин, по которым большие модели до сих пор вызывают галлюцинации. Прежде всего, что касается обучающих данных, поскольку у людей бывают галлюцинации, с данными тоже возникают проблемы. Вторая причина заключается в том, что из-за способа обучения модели она не может отвечать на вопросы в реальном времени и будет отвечать на неправильные вопросы. А также недостатки в рассуждении и других способностях могут привести к этой проблеме.
Синьюнь:** На самом деле я начну этот ответ с другого вопроса. Почему люди думают, что галлюцинации — это плохо. **
У меня есть история, когда мой коллега задал модели вопрос, который также был взят из некоторых банков оценочных вопросов: Что произойдет, когда принцесса поцелует лягушку. Ответ модели заключается в том, что ничего не происходит. **
Во многих ответах на оценку модели ответ «станет принцем» является правильным ответом, а ответ, что ничего не произойдет, будет помечен как неправильный. **Но лично я думаю, что это лучший ответ, и многие интересные люди ответили бы на него. **
Причина, по которой люди думают, что это иллюзия, заключается в том, что они не задумывались о том, когда у ИИ не должно быть галлюцинаций, а когда у ИИ должны быть галлюцинации.
Например, это может потребоваться для какой-то творческой работы, и воображение очень важно. Сейчас мы постоянно увеличиваем модель, но здесь есть одна проблема: какой бы большой она ни была, она не может точно запомнить все. У людей на самом деле та же проблема. Я думаю, что единственное, что можно сделать, — это предоставить некоторые расширенные инструменты для поддержки модели, такие как инструменты поиска, расчета, программирования и т. д. С помощью этих инструментов люди могут быстро решить проблему галлюцинаций, но модели пока выглядят не очень хорошо. Это тоже вопрос, который я хотел бы изучить сам.
Джейсон: **Если вы спросите меня, у Трампа галлюцинации каждый день. (Смеется) Вы говорите да или нет. **
Но я думаю, что другая проблема заключается в том, что ожидания людей в отношении языковых моделей меняются. **В 2016 году, когда RNN генерирует URL-адрес, вы ожидаете, что он должен быть неверным и ненадежным. Но сегодня, я думаю, вы ожидаете, что модель верна во многих вещах, поэтому вы также можете подумать, что галлюцинации более опасны. Так что это на самом деле очень важный фон. **
(Потенциальные направления исследований перечислены Джейсоном Веем)
Спросите: Следующий вопрос адресован Синьюню. Очень важной темой в отрасли сейчас является, например, самосовершенствование и самоотладка моделей. Можете ли вы поделиться своим исследованием?
Синьюнь: Вдохновением для самоотладки моделей на самом деле является то, как люди программируют. Мы знаем, что если человеческое программирование однажды закончится, обязательно возникнут проблемы и потребуется отладка. Для очень сильных программистов отладка также является очень важным навыком. Наша цель состоит в том, чтобы без каких-либо внешних инструкций и без людей, сообщающих ей, что не так, модель могла просмотреть код, который она сгенерировала сама, увидеть результаты операции, а затем определить, что пошло не так. Если есть проблема, идите и отладьте ее.
А почему генерации кода поможет самоотладка, я думаю, есть две причины. Во-первых, генерация кода в основном основана на обучении открытому исходному коду.Он может генерировать код, который соответствует желаемому общему направлению, но код может быть очень длинным, содержать много ошибок и не может быть запущен. Но нам не нужно начинать программирование с нуля вместо использования существующей кодовой базы, потому что сколько бы раз вы не начинали с нуля, проблема неизбежна, поэтому необходимо делать генерацию кода на существующих ресурсах кода и отладку. становится важным. **Во-вторых, процесс отладки продолжает получать некоторую внешнюю обратную связь, что очень полезно для улучшения понимания модели.
Вопрос: Дополнительный вопрос: если оставить модель самой себе и позволить ей улучшаться, не возникнет ли проблем?
Чантинг: Однажды мы провели странный эксперимент. В результате агент удалил среду разработки Python после выполнения кода. Если этот агент попадет в реальный мир, это может иметь плохие последствия. Это то, что нам нужно учитывать при разработке агентов. Я также обнаружил, что чем меньше базовая модель, тем меньше ее возможностей, и ее трудно совершенствовать и размышлять о себе. Возможно, мы сможем научить модель совершенствоваться, позволяя ей видеть больше «ошибок» в процессе выравнивания.
В: А как насчет Джейсона, как у вас дела и что вы думаете об оценке моделей?
Джейсон: Моё личное мнение таково, что оценивать модели становится всё сложнее, особенно в новой парадигме. Причин этому много: одна из них — то, что языковые модели сейчас используются в бесчисленном количестве задач, а вы даже не представляете масштабы их возможностей. Вторая причина в том, что если посмотреть на историю ИИ, то мы в основном решаем традиционные и классические задачи, цели очень краткосрочные, а текст очень короткий. Но теперь текст решения стал длиннее, и даже людям требуется много времени, чтобы судить. Возможно, третья проблема заключается в том, что для многих вещей так называемое правильное поведение не очень четко определено. **
Я думаю, что мы можем кое-что сделать, чтобы улучшить возможности оценки. Первый и наиболее очевидный способ — оценить в более широком смысле: можно ли при обнаружении какого-либо вредного поведения более конкретно разбить его на более мелкие задачи для оценки. Другой вопрос, можно ли предоставить больше методов оценки для конкретных задач. Может быть, люди могут дать некоторые, а затем и ИИ.
В: Что вы думаете об использовании ИИ для оценки маршрута ИИ?
Джейсон: Звучит великолепно. Я думаю, что одна из тенденций, на которую я обращаю внимание в последнее время, заключается в том, могут ли модели, используемые для оценки моделей, работать лучше. Например, идея конституционального обучения ИИ, даже если производительность сейчас не идеальна, весьма вероятно, что после следующего поколения GPT эти модели будут работать лучше, чем люди.
**Silicon Star: Вы все очень молодые исследователи. Мне хотелось бы знать, что вы, как исследователи на предприятиях, думаете о серьезном несоответствии графических процессоров и вычислительных мощностей между предприятиями и научными кругами. **
Джейсон: Если вы работаете в какой-то ограниченной среде, это действительно может иметь негативное влияние, но я думаю, что еще есть место для большой работы, например, над алгоритмической частью, и исследований, которые могут не требовать особого использования графических процессоров. В темах никогда не бывает недостатка.
Чантинг: Я также чувствую, что здесь много места и мест, которые стоит изучить. Например, исследования методов выравнивания фактически могут проводиться при ограниченных ресурсах**. И, возможно, в районе Залива больше возможностей для людей в научных кругах.
Синьюнь: В целом существует два основных направления исследований LLM: одно — улучшение результатов, а другое — понимание модели. Мы видим, что многие хорошие фреймворки, тесты и т. д., а также некоторые хорошие алгоритмы созданы научными кругами.
Например, когда я закончил докторскую диссертацию, мой научный руководитель дал мне предложение: **Исследователям ИИ следует думать об исследованиях во временном измерении на многие годы вперед, то есть, а не просто рассматривать улучшения некоторых текущих вещей. ., а технологическая концепция, которая может привести к радикальным изменениям в будущем. **
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Как думают популярные китайские исследователи из OpenAI, Google и Meta | Стенограмма беседы
Первоисточник: Silicon Star People
Места были забиты, а проходы полны людей.
Можно даже подумать, что это встреча знаменитостей.
Но на самом деле это один из круглых столов на конференции GenAI в Кремниевой долине.
Он был устроен на «вспомогательной сцене» в полдень, когда люди больше всего спят. На сцене в другом большом конференц-зале сидело множество генеральных директоров и основателей звездных компаний Кремниевой долины, а за этим круглым столом были «всего лишь» несколько исследователей. но люди все равно продолжали вливаться в маленькую комнату.
Их целью были трое китайских исследователей. Раньше в Кремниевой долине всегда происходили подобные сцены, когда появлялись «китайские руководители, занимающие высшие должности в компаниях Кремниевой долины», но на этот раз люди преследовали троих молодых людей.
Синьюнь Чен, Чуньтинг Чжоу и Джейсон Вэй.
Эти три имени наверняка будут знакомы людям, внимательно следящим за трендом крупных моделей.
Синьюнь Чен — старший научный сотрудник групп вывода Google Brain и DeepMind. Ее исследовательские интересы — синтез нейронных программ и состязательное машинное обучение. Она получила степень доктора компьютерных наук в Калифорнийском университете в Беркли и степень бакалавра компьютерных наук в классе ACM Шанхайского университета Цзяо Тонг.
Она участвовала в работе над документами, в том числе о разрешении LLM создавать свои собственные инструменты и обучении LLM отладке собственного кода и т. д. Все это очень важные и критические статьи в области генерации кода ИИ. Некоторые СМИ преувеличенно описывают ее как члена «китайской команды Google Deepmind».
Чуньтинг Чжоу — научный сотрудник Meta AI. В мае 2022 года она получила докторскую степень в Институте языковых технологий Университета Карнеги-Меллон. Ее текущие основные исследовательские интересы лежат в области пересечения обработки естественного языка и машинного обучения, а также новых методов выравнивания. Статья, которую она возглавляла, в которой пытались использовать меньше и более совершенные образцы для обучения больших моделей, получила высокую оценку Янна Лекуна и была рекомендована в статье. Эта статья предоставила отрасли новые идеи в дополнение к основным методам, таким как RLHF.
Последний — Джейсон Вэй из OpenAI, звездный исследователь, пользующийся большим уважением среди отечественных и зарубежных сообществ искусственного интеллекта. Знаменитый разработчик COT (цепочки мыслей). После окончания бакалавриата в 2020 году он стал старшим научным сотрудником Google Brain и за время своей работы предложил концепцию цепочек мышления, которая также является одним из ключей к появлению LLM. В феврале 2023 года он присоединился к OpenAI и присоединился к команде ChatGPT.
Люди приходят в эти компании, но больше ради своих исследований.
Часто на этом форуме они похожи на студентов.Вы как будто смотрите университетскую дискуссию.Они умные, с быстрой логикой, немного нервные, но при этом полны остроумных слов.
"Почему вы думаете, что галлюцинации — это плохо?"
«Но у Трампа галлюцинации каждый день».
Был смех.
Это редкий разговор. Ниже приводится стенограмма. Представители Silicon Star также участвовали и задавали вопросы.
Вопрос: Давайте обсудим очень важную проблему в LLM — галлюцинации. Концепция галлюцинации была предложена еще тогда, когда параметров модели было очень мало, а размер еще очень мал, но теперь, когда модели становятся все больше и больше, как изменилась проблема галлюцинаций?
Чантинг: Я могу говорить первым. Три года назад я делал проект о галлюцинациях. Проблема галлюцинаций, с которой мы столкнулись в то время, сильно отличалась от той, с которой мы сталкиваемся сейчас.В то время мы создавали очень маленькие модели и обсуждали галлюцинации в конкретных областях, таких как перевод или краткое изложение документов и другие функции. Но теперь стало ясно, что проблема гораздо серьезнее.
Я думаю, есть много причин, по которым большие модели до сих пор вызывают галлюцинации. Прежде всего, что касается обучающих данных, поскольку у людей бывают галлюцинации, с данными тоже возникают проблемы. Вторая причина заключается в том, что из-за способа обучения модели она не может отвечать на вопросы в реальном времени и будет отвечать на неправильные вопросы. А также недостатки в рассуждении и других способностях могут привести к этой проблеме.
Синьюнь:** На самом деле я начну этот ответ с другого вопроса. Почему люди думают, что галлюцинации — это плохо. **
У меня есть история, когда мой коллега задал модели вопрос, который также был взят из некоторых банков оценочных вопросов: Что произойдет, когда принцесса поцелует лягушку. Ответ модели заключается в том, что ничего не происходит. **
Во многих ответах на оценку модели ответ «станет принцем» является правильным ответом, а ответ, что ничего не произойдет, будет помечен как неправильный. **Но лично я думаю, что это лучший ответ, и многие интересные люди ответили бы на него. **
Причина, по которой люди думают, что это иллюзия, заключается в том, что они не задумывались о том, когда у ИИ не должно быть галлюцинаций, а когда у ИИ должны быть галлюцинации.
Например, это может потребоваться для какой-то творческой работы, и воображение очень важно. Сейчас мы постоянно увеличиваем модель, но здесь есть одна проблема: какой бы большой она ни была, она не может точно запомнить все. У людей на самом деле та же проблема. Я думаю, что единственное, что можно сделать, — это предоставить некоторые расширенные инструменты для поддержки модели, такие как инструменты поиска, расчета, программирования и т. д. С помощью этих инструментов люди могут быстро решить проблему галлюцинаций, но модели пока выглядят не очень хорошо. Это тоже вопрос, который я хотел бы изучить сам.
Джейсон: **Если вы спросите меня, у Трампа галлюцинации каждый день. (Смеется) Вы говорите да или нет. **
Но я думаю, что другая проблема заключается в том, что ожидания людей в отношении языковых моделей меняются. **В 2016 году, когда RNN генерирует URL-адрес, вы ожидаете, что он должен быть неверным и ненадежным. Но сегодня, я думаю, вы ожидаете, что модель верна во многих вещах, поэтому вы также можете подумать, что галлюцинации более опасны. Так что это на самом деле очень важный фон. **
Спросите: Следующий вопрос адресован Синьюню. Очень важной темой в отрасли сейчас является, например, самосовершенствование и самоотладка моделей. Можете ли вы поделиться своим исследованием?
Синьюнь: Вдохновением для самоотладки моделей на самом деле является то, как люди программируют. Мы знаем, что если человеческое программирование однажды закончится, обязательно возникнут проблемы и потребуется отладка. Для очень сильных программистов отладка также является очень важным навыком. Наша цель состоит в том, чтобы без каких-либо внешних инструкций и без людей, сообщающих ей, что не так, модель могла просмотреть код, который она сгенерировала сама, увидеть результаты операции, а затем определить, что пошло не так. Если есть проблема, идите и отладьте ее.
А почему генерации кода поможет самоотладка, я думаю, есть две причины. Во-первых, генерация кода в основном основана на обучении открытому исходному коду.Он может генерировать код, который соответствует желаемому общему направлению, но код может быть очень длинным, содержать много ошибок и не может быть запущен. Но нам не нужно начинать программирование с нуля вместо использования существующей кодовой базы, потому что сколько бы раз вы не начинали с нуля, проблема неизбежна, поэтому необходимо делать генерацию кода на существующих ресурсах кода и отладку. становится важным. **Во-вторых, процесс отладки продолжает получать некоторую внешнюю обратную связь, что очень полезно для улучшения понимания модели.
Вопрос: Дополнительный вопрос: если оставить модель самой себе и позволить ей улучшаться, не возникнет ли проблем?
Чантинг: Однажды мы провели странный эксперимент. В результате агент удалил среду разработки Python после выполнения кода. Если этот агент попадет в реальный мир, это может иметь плохие последствия. Это то, что нам нужно учитывать при разработке агентов. Я также обнаружил, что чем меньше базовая модель, тем меньше ее возможностей, и ее трудно совершенствовать и размышлять о себе. Возможно, мы сможем научить модель совершенствоваться, позволяя ей видеть больше «ошибок» в процессе выравнивания.
В: А как насчет Джейсона, как у вас дела и что вы думаете об оценке моделей?
Джейсон: Моё личное мнение таково, что оценивать модели становится всё сложнее, особенно в новой парадигме. Причин этому много: одна из них — то, что языковые модели сейчас используются в бесчисленном количестве задач, а вы даже не представляете масштабы их возможностей. Вторая причина в том, что если посмотреть на историю ИИ, то мы в основном решаем традиционные и классические задачи, цели очень краткосрочные, а текст очень короткий. Но теперь текст решения стал длиннее, и даже людям требуется много времени, чтобы судить. Возможно, третья проблема заключается в том, что для многих вещей так называемое правильное поведение не очень четко определено. **
Я думаю, что мы можем кое-что сделать, чтобы улучшить возможности оценки. Первый и наиболее очевидный способ — оценить в более широком смысле: можно ли при обнаружении какого-либо вредного поведения более конкретно разбить его на более мелкие задачи для оценки. Другой вопрос, можно ли предоставить больше методов оценки для конкретных задач. Может быть, люди могут дать некоторые, а затем и ИИ.
В: Что вы думаете об использовании ИИ для оценки маршрута ИИ?
Джейсон: Звучит великолепно. Я думаю, что одна из тенденций, на которую я обращаю внимание в последнее время, заключается в том, могут ли модели, используемые для оценки моделей, работать лучше. Например, идея конституционального обучения ИИ, даже если производительность сейчас не идеальна, весьма вероятно, что после следующего поколения GPT эти модели будут работать лучше, чем люди.
**Silicon Star: Вы все очень молодые исследователи. Мне хотелось бы знать, что вы, как исследователи на предприятиях, думаете о серьезном несоответствии графических процессоров и вычислительных мощностей между предприятиями и научными кругами. **
Джейсон: Если вы работаете в какой-то ограниченной среде, это действительно может иметь негативное влияние, но я думаю, что еще есть место для большой работы, например, над алгоритмической частью, и исследований, которые могут не требовать особого использования графических процессоров. В темах никогда не бывает недостатка.
Чантинг: Я также чувствую, что здесь много места и мест, которые стоит изучить. Например, исследования методов выравнивания фактически могут проводиться при ограниченных ресурсах**. И, возможно, в районе Залива больше возможностей для людей в научных кругах.
Синьюнь: В целом существует два основных направления исследований LLM: одно — улучшение результатов, а другое — понимание модели. Мы видим, что многие хорошие фреймворки, тесты и т. д., а также некоторые хорошие алгоритмы созданы научными кругами.
Например, когда я закончил докторскую диссертацию, мой научный руководитель дал мне предложение: **Исследователям ИИ следует думать об исследованиях во временном измерении на многие годы вперед, то есть, а не просто рассматривать улучшения некоторых текущих вещей. ., а технологическая концепция, которая может привести к радикальным изменениям в будущем. **