«Это почти становится красным морем.» Когда я болтал с предпринимателем о большой модели, он прямо бросил мне эту фразу.
В ноябре прошлого года OpenAI выпустила ChatGPT на основе GPT-3.5, что мгновенно вызвало рост популярности больших моделей. Уже более полугода в Китае идет «война сотен моделей» Ведущие интернет-компании, такие как BAT и компании искусственного интеллекта, в основном анонсировали собственные масштабные модели.
В начале мая Чжоу Хунъи, глава 360, сказал внешнему миру: «Если вы не пройдете через два года подражания и плагиата, если вы придете и скажете, что можете превзойти это, это хвастовство». "Между крупной моделью и заграницей двухлетний разрыв, беру свои слова назад, на сегодняшний день он близок к международному уровню."
Некоторым кажется, что на то, чтобы догнать ChatGPT, ушло полгода, и кажется, что большая модель не сложна.
Итак, каковы основные барьеры для больших моделей? Каков уровень большой модели Китая? Какие риски несет большая модель человеческому обществу?
С этой целью мы побеседовали с Шен Вей (псевдоним), известным профессором университета 985, который много лет занимается исследованиями в области машинного обучения, чтобы раскрыть туман большой модели.
Путь GPT исчерпан, поэтому идет «Война сотен моделей»
**White Horse Business Review: Можете ли вы объяснить большую модель самым популярным и простым языком, что такое большая модель? Чем он отличается от предыдущих моделей ИИ? **
Шэнь Вэй: Так называемая большая модель относится к большому количеству параметров в модели, но в академическом кругу нет четкого и четкого определения того, насколько большой параметр называется «большим». быстрые исследования и разработки.Вообще говоря, количество параметров большой модели достигает 1. более 100 миллионов.
Фактически, развитие глубокого обучения прошло примерно три этапа. Первый этап - с 2012 по 2017 год, представлен небольшими предметно-ориентированными моделями, такими как сегментация изображений yolo и классификация изображений ResNet, поэтому количество параметров занимает максимум несколько сотен МБ памяти.
В 2017 году появление Transformer позволило глубокому обучению распараллелить вычисления, что стало более эффективным, а это означает, что можно выполнять крупномасштабные операции с моделями, а затем создавать большие модели на естественном языке, такие как OpenAI GPT и Google Bert. На этом этапе родилась большая модель конкретной задачи, а параметры модели превысили 100 миллионов.
Примерно в 2020 году глубокое обучение войдет в стадию общей модели.Его вводом является предложение с пробелами, а роль модели состоит в том, чтобы «заполнить пробелы».В прошлом модель была адаптирована для последующих приложений, но теперь она является моделью адаптации нижестоящего приложения. Модели на этом этапе включают GPT 3.5 и GPT 4 в области естественного языка и Clip, DALLE, Stable Diffusion, Midjourney и т. д. в области изображения. На данном этапе параметры модели могут достигать десятков миллиардов и сотен миллиардов.
**White Horse Business Review: знаете ли вы, какая компания или организация первой начала изучать крупномасштабные модели? Какие результаты? **
Шэнь Вэй: Сначала университеты и научно-исследовательские институты проводили связанные исследования. Я знаю, что У Дао из Пекинского научно-исследовательского института искусственного интеллекта Чжиюань и мозг лаборатории Пэнчэн являются самыми ранними. Теперь исследования в отрасли также очень синхронизированы. Исследования в академических кругах дали некоторые результаты, но производительность не такая впечатляющая, как у ChatGPT.
**White Horse Business Review: Буквально за несколько месяцев в Китае идет «война сотен моделей», а количество компаний, запустивших масштабные модели, уже не поддается учету.Что вы думаете об этом явлении ? **
Шэнь Вэй: Большие модели, безусловно, являются тенденцией, и люди изучают их. В прошлом многие компании могли инвестировать в небольшую область и проводить некоторые исследования; теперь, когда внезапно появился хороший продукт, такой как ChatGPT, все увидели четкое направление бизнеса, поэтому они начали увеличивать инвестиции.
С другой стороны, многие компании сталкиваются с давлением коммерческой конкуренции и могут отстать, если не будут делать масштабные модели, поэтому необходимо запускать масштабные модельные проекты.
White Horse Business Review: Чжоу Хунъи недавно сказал, что он отказался от предложения «разрыв между отечественными крупномасштабными моделями и зарубежными странами составляет два года», и считает, что сегодня он близок к международному уровню. Прошло всего несколько месяцев, и большая модель не кажется сложной. Как вы думаете, насколько велика разница?
Шэнь Вэй: Разница зависит от того, с кем проводится бенчмаркинг.Я пока не сталкивался с продуктами 360 Smart Brain, поэтому я не очень хорошо их оцениваю. Тем не менее, в Китае есть некоторые продукты для генеративного ИИ.После моего опыта я чувствую, что с ChatGPT все еще есть разрыв.Большие отечественные модели все еще должны усердно работать.
**В условиях крупных капиталовложений такая возможность есть только у ведущих компаний? **
**Обзор бизнеса White Horse: каковы основные препятствия на пути разработки крупных моделей? **
Шэнь Вэй: Основными барьерами больших моделей являются данные, вычислительная мощность и алгоритмы.
С точки зрения вычислительной мощности, для обучения генеративного ИИ, такого как ChatGPT, необходимо не менее 10 000 видеокарт Nvidia A100. Цена одной видеокарты в настоящее время составляет от 60 000 до 70 000 юаней, а цена за единицу V100 с более высокой производительностью составляет 80 000 юаней. Инвестиции должны составить не менее шести-семи миллиардов юаней, и только несколько ведущих компаний и учреждений могут себе это позволить. Для коммерческих организаций покупка нескольких графических карт на сотни миллионов может не дать результатов, и это вопрос, который необходимо учитывать.
Затем идут данные и алгоритмы.Алгоритмы легче понять, например, среды разработки и алгоритмы оптимизации. С точки зрения данных, у Китая нет недостатка в данных, и даже больше интернет-данных, чем в Соединенных Штатах, но какие данные выбрать для обучения и как их обрабатывать, являются основными барьерами.
**Baima Business Review: Вы обычно общаетесь с компаниями? В чем разница между некоммерческими исследовательскими институтами и корпорациями в области исследований? **
Шэнь Вэй: У нас будет обмен мнениями с исследовательским отделом компании. Общаясь с предприятиями, мы лучше понимаем фактические потребности бизнеса.Иногда проводимые нами академические исследования уделяют больше внимания перспективным технологиям, а требования к внедрению не так высоки, но предприятия обычно уделяют больше внимания внедрению.
**Baima Business Review: Вы когда-нибудь изучали отечественные масштабные модели? Какой из них вам нравится больше всего? **
Шэнь Вэй: Возможно, лучшие компании смогут уйти. Во-первых, это большие капиталовложения, и только ведущие компании обладают силой; во-вторых, данные, находящиеся в руках нескольких ведущих компаний, более многочисленны; в-третьих, это период накопления технологий в области искусственного интеллекта.
**Обзор бизнеса White Horse: какое приложение для крупномасштабных моделей является для вас наиболее многообещающим? **
Шэнь Вэй: С технической точки зрения первое приложение должно быть в области обработки естественного языка и изображений, а распознавание речи может появиться позже.
Вы можете видеть, что все больше и больше chatGPT используется для написания копирайта.Появляется все больше и больше приложений для создания такого рода контента.Я думаю, что другие приложения, такие как умное обслуживание клиентов, должны быть быстрее. Некоторые из современных интеллектуальных служб поддержки клиентов часто не могут понять потребности пользователей и не могут решить практические проблемы.Если пользователи не могут различить, человек это или робот, опыт будет значительно улучшен; в том числе NPC в игре, предыдущий диалог жестко запрограммирован, теперь он постепенно интерактивен, и опыт игрока будет лучше.
**White Horse Business Review: Вы когда-то были главным аналитиком ведущей брокерской фирмы.Как вы думаете, с инвестиционной точки зрения, какие возможности есть у крупных моделей? **
Шэнь Вэй: Логика ажиотажа капитала — от приложения к алгоритмам, моделям, а затем к вычислительной мощности; логика отрасли противоположна, и вычислительная мощность имеет явные ожидания роста, поэтому Nvidia в последнее время быстро и сильно выросла. Инвесторы теперь также понимают, что все еще необходимо проверить, может ли большая модель быть реализована и реализована, но большая часть увеличенных капиталовложений была вложена в вычислительную мощность. После повторного хайпа общий подъем на рынке должен был закончиться, а логическая проверка и отработка производительности нужны позже.
Первоначально я в основном смотрел на медиа и интернет-индустрию, например, на относительно сильный игровой сектор некоторое время назад Логика капитала заключается в том, чтобы, во-первых, применять большие модели для повышения эффективности НИОКР и снижения затрат, во-вторых, большие модели приносят лучший опыт, а NPC символы умнее.Увеличение вязкости, увеличение значения UP. Конечно, в конечном итоге может потребоваться проверка производительности.
Люди не могут контролировать ИИ или даже свою судьбу
**Обзор бизнеса White Horse: мы видели, что Альтман и Маск выразили обеспокоенность по поводу безопасности искусственного интеллекта.Теперь мы знаем только, что есть интеллектуальные результаты благодаря обучению на больших моделях, но процесс обучения подобен черному ящику.На самом деле это Достаточно страшно. Как вы относитесь к вопросам безопасности? **
Шэнь Вэй: С точки зрения безопасности, прежде всего, я наблюдал несколько аномальных явлений. Первым было открытое письмо, подписанное в марте более чем 1000 человек, включая Маска и соучредителя Apple Стива Возняка, с призывом ввести мораторий на обучение систем искусственного интеллекта, более мощных, чем GPT-4.
Во-вторых, Джеффри Хинтон, главный научный сотрудник Google и 75-летний «Крестный отец ИИ», ушел в отставку в мае этого года.Прямой причиной его ухода из Google было то, что он беспокоился об опасности искусственного интеллекта. , и даже сожалел о работе, которую проделал всю свою жизнь.
В-третьих, за последние два года к модели крупномасштабного обучения в академической сфере добавились этические дискуссии.
В настоящее время я думаю, что большая модель все еще управляема, и серьезных проблем нет, но технология развивается слишком быстро.Всего за несколько месяцев с момента выпуска GPT прошла несколько итераций, и скорость разработки слишком высока. По мере того, как мы становимся все более и более разумными, будем ли мы развивать самосознание, перестанем ли слушать человеческие «команды» и выйдем из-под контроля? Этот вопрос волнует всех.
**Обзор бизнеса White Horse: как вы думаете, вызовет ли искусственный интеллект массовую безработицу? Перед лицом ИИ, как обычные люди могут сохранить свою работу? **
Шэнь Вэй: С макроэкономической точки зрения, я не думаю, что ИИ вызовет большую безработицу.У людей всегда будет работа.Просто содержание работы людей будет меняться. Конечно, с индивидуальной точки зрения, безусловно, будет структурная безработица, и нам остается только учиться.
**Обзор бизнеса White Horse: многие люди раньше говорили, что машины лишены эмоций, лишены воображения и не могут заменить человека; теперь, когда искусственный интеллект может смоделировать человеческий мозг, можно ли в будущем смоделировать человеческую похоть и сексуальное желание? , дофамин и т. д. Это биологический механизм вознаграждения. **
Шэнь Вэй: В настоящее время считается, что у машин нет эмоций.Искусственный интеллект приближается к человеческому способу мышления.Будет ли он производить «эмоции», подобные человеческим? Просто они живут в другом космическом измерении, чем люди, как и дочь Ту Хэнъюй в «Блуждающей Земле». Искусственный интеллект может создать свой собственный мир с механизмами вознаграждения, биологически схожими с человеческими.
**Обзор бизнеса White Horse: если все можно рассчитать, спланировать и настроить, не будет ли это немного скучно? **
Шэнь Вэй: Поведение ИИ не прогнозируется и не планируется людьми, а является результатом его самоукрепления и самообучения.Принятие решений МОСС в «Блуждающей Земле» принимается им самим, а не по инструкции данные людьми.
**White Horse Business Review: Является ли замена цивилизации, основанной на углероде, цивилизацией, основанной на кремнии, детерминированным направлением? **
Шэнь Вэй: Этот вопрос выходит за рамки. Согласно текущей тенденции развития, это может быть так, как и в «Блуждающей Земле», именно МОХ, а не люди, действительно управляют судьбой человечества, но в реальности также возможен застой технологий на определенный этап и не может его пройти.Ведь технологическое развитие нелинейно.
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
По поводу крупной модели у меня была разовая беседа с профессионалом
Первоисточник: White Horse Business Review
«Это почти становится красным морем.» Когда я болтал с предпринимателем о большой модели, он прямо бросил мне эту фразу.
В ноябре прошлого года OpenAI выпустила ChatGPT на основе GPT-3.5, что мгновенно вызвало рост популярности больших моделей. Уже более полугода в Китае идет «война сотен моделей» Ведущие интернет-компании, такие как BAT и компании искусственного интеллекта, в основном анонсировали собственные масштабные модели.
В начале мая Чжоу Хунъи, глава 360, сказал внешнему миру: «Если вы не пройдете через два года подражания и плагиата, если вы придете и скажете, что можете превзойти это, это хвастовство». "Между крупной моделью и заграницей двухлетний разрыв, беру свои слова назад, на сегодняшний день он близок к международному уровню."
Некоторым кажется, что на то, чтобы догнать ChatGPT, ушло полгода, и кажется, что большая модель не сложна.
Итак, каковы основные барьеры для больших моделей? Каков уровень большой модели Китая? Какие риски несет большая модель человеческому обществу?
С этой целью мы побеседовали с Шен Вей (псевдоним), известным профессором университета 985, который много лет занимается исследованиями в области машинного обучения, чтобы раскрыть туман большой модели.
Путь GPT исчерпан, поэтому идет «Война сотен моделей»
**White Horse Business Review: Можете ли вы объяснить большую модель самым популярным и простым языком, что такое большая модель? Чем он отличается от предыдущих моделей ИИ? **
Шэнь Вэй: Так называемая большая модель относится к большому количеству параметров в модели, но в академическом кругу нет четкого и четкого определения того, насколько большой параметр называется «большим». быстрые исследования и разработки.Вообще говоря, количество параметров большой модели достигает 1. более 100 миллионов.
Фактически, развитие глубокого обучения прошло примерно три этапа. Первый этап - с 2012 по 2017 год, представлен небольшими предметно-ориентированными моделями, такими как сегментация изображений yolo и классификация изображений ResNet, поэтому количество параметров занимает максимум несколько сотен МБ памяти.
В 2017 году появление Transformer позволило глубокому обучению распараллелить вычисления, что стало более эффективным, а это означает, что можно выполнять крупномасштабные операции с моделями, а затем создавать большие модели на естественном языке, такие как OpenAI GPT и Google Bert. На этом этапе родилась большая модель конкретной задачи, а параметры модели превысили 100 миллионов.
**White Horse Business Review: знаете ли вы, какая компания или организация первой начала изучать крупномасштабные модели? Какие результаты? **
Шэнь Вэй: Сначала университеты и научно-исследовательские институты проводили связанные исследования. Я знаю, что У Дао из Пекинского научно-исследовательского института искусственного интеллекта Чжиюань и мозг лаборатории Пэнчэн являются самыми ранними. Теперь исследования в отрасли также очень синхронизированы. Исследования в академических кругах дали некоторые результаты, но производительность не такая впечатляющая, как у ChatGPT.
**White Horse Business Review: Буквально за несколько месяцев в Китае идет «война сотен моделей», а количество компаний, запустивших масштабные модели, уже не поддается учету.Что вы думаете об этом явлении ? **
Шэнь Вэй: Большие модели, безусловно, являются тенденцией, и люди изучают их. В прошлом многие компании могли инвестировать в небольшую область и проводить некоторые исследования; теперь, когда внезапно появился хороший продукт, такой как ChatGPT, все увидели четкое направление бизнеса, поэтому они начали увеличивать инвестиции.
С другой стороны, многие компании сталкиваются с давлением коммерческой конкуренции и могут отстать, если не будут делать масштабные модели, поэтому необходимо запускать масштабные модельные проекты.
White Horse Business Review: Чжоу Хунъи недавно сказал, что он отказался от предложения «разрыв между отечественными крупномасштабными моделями и зарубежными странами составляет два года», и считает, что сегодня он близок к международному уровню. Прошло всего несколько месяцев, и большая модель не кажется сложной. Как вы думаете, насколько велика разница?
Шэнь Вэй: Разница зависит от того, с кем проводится бенчмаркинг.Я пока не сталкивался с продуктами 360 Smart Brain, поэтому я не очень хорошо их оцениваю. Тем не менее, в Китае есть некоторые продукты для генеративного ИИ.После моего опыта я чувствую, что с ChatGPT все еще есть разрыв.Большие отечественные модели все еще должны усердно работать.
**В условиях крупных капиталовложений такая возможность есть только у ведущих компаний? **
**Обзор бизнеса White Horse: каковы основные препятствия на пути разработки крупных моделей? **
Шэнь Вэй: Основными барьерами больших моделей являются данные, вычислительная мощность и алгоритмы.
С точки зрения вычислительной мощности, для обучения генеративного ИИ, такого как ChatGPT, необходимо не менее 10 000 видеокарт Nvidia A100. Цена одной видеокарты в настоящее время составляет от 60 000 до 70 000 юаней, а цена за единицу V100 с более высокой производительностью составляет 80 000 юаней. Инвестиции должны составить не менее шести-семи миллиардов юаней, и только несколько ведущих компаний и учреждений могут себе это позволить. Для коммерческих организаций покупка нескольких графических карт на сотни миллионов может не дать результатов, и это вопрос, который необходимо учитывать.
Затем идут данные и алгоритмы.Алгоритмы легче понять, например, среды разработки и алгоритмы оптимизации. С точки зрения данных, у Китая нет недостатка в данных, и даже больше интернет-данных, чем в Соединенных Штатах, но какие данные выбрать для обучения и как их обрабатывать, являются основными барьерами.
**Baima Business Review: Вы обычно общаетесь с компаниями? В чем разница между некоммерческими исследовательскими институтами и корпорациями в области исследований? **
Шэнь Вэй: У нас будет обмен мнениями с исследовательским отделом компании. Общаясь с предприятиями, мы лучше понимаем фактические потребности бизнеса.Иногда проводимые нами академические исследования уделяют больше внимания перспективным технологиям, а требования к внедрению не так высоки, но предприятия обычно уделяют больше внимания внедрению.
**Baima Business Review: Вы когда-нибудь изучали отечественные масштабные модели? Какой из них вам нравится больше всего? **
Шэнь Вэй: Возможно, лучшие компании смогут уйти. Во-первых, это большие капиталовложения, и только ведущие компании обладают силой; во-вторых, данные, находящиеся в руках нескольких ведущих компаний, более многочисленны; в-третьих, это период накопления технологий в области искусственного интеллекта.
**Обзор бизнеса White Horse: какое приложение для крупномасштабных моделей является для вас наиболее многообещающим? **
Шэнь Вэй: С технической точки зрения первое приложение должно быть в области обработки естественного языка и изображений, а распознавание речи может появиться позже.
Вы можете видеть, что все больше и больше chatGPT используется для написания копирайта.Появляется все больше и больше приложений для создания такого рода контента.Я думаю, что другие приложения, такие как умное обслуживание клиентов, должны быть быстрее. Некоторые из современных интеллектуальных служб поддержки клиентов часто не могут понять потребности пользователей и не могут решить практические проблемы.Если пользователи не могут различить, человек это или робот, опыт будет значительно улучшен; в том числе NPC в игре, предыдущий диалог жестко запрограммирован, теперь он постепенно интерактивен, и опыт игрока будет лучше.
**White Horse Business Review: Вы когда-то были главным аналитиком ведущей брокерской фирмы.Как вы думаете, с инвестиционной точки зрения, какие возможности есть у крупных моделей? **
Шэнь Вэй: Логика ажиотажа капитала — от приложения к алгоритмам, моделям, а затем к вычислительной мощности; логика отрасли противоположна, и вычислительная мощность имеет явные ожидания роста, поэтому Nvidia в последнее время быстро и сильно выросла. Инвесторы теперь также понимают, что все еще необходимо проверить, может ли большая модель быть реализована и реализована, но большая часть увеличенных капиталовложений была вложена в вычислительную мощность. После повторного хайпа общий подъем на рынке должен был закончиться, а логическая проверка и отработка производительности нужны позже.
Первоначально я в основном смотрел на медиа и интернет-индустрию, например, на относительно сильный игровой сектор некоторое время назад Логика капитала заключается в том, чтобы, во-первых, применять большие модели для повышения эффективности НИОКР и снижения затрат, во-вторых, большие модели приносят лучший опыт, а NPC символы умнее.Увеличение вязкости, увеличение значения UP. Конечно, в конечном итоге может потребоваться проверка производительности.
Люди не могут контролировать ИИ или даже свою судьбу
**Обзор бизнеса White Horse: мы видели, что Альтман и Маск выразили обеспокоенность по поводу безопасности искусственного интеллекта.Теперь мы знаем только, что есть интеллектуальные результаты благодаря обучению на больших моделях, но процесс обучения подобен черному ящику.На самом деле это Достаточно страшно. Как вы относитесь к вопросам безопасности? **
Шэнь Вэй: С точки зрения безопасности, прежде всего, я наблюдал несколько аномальных явлений. Первым было открытое письмо, подписанное в марте более чем 1000 человек, включая Маска и соучредителя Apple Стива Возняка, с призывом ввести мораторий на обучение систем искусственного интеллекта, более мощных, чем GPT-4.
Во-вторых, Джеффри Хинтон, главный научный сотрудник Google и 75-летний «Крестный отец ИИ», ушел в отставку в мае этого года.Прямой причиной его ухода из Google было то, что он беспокоился об опасности искусственного интеллекта. , и даже сожалел о работе, которую проделал всю свою жизнь.
В-третьих, за последние два года к модели крупномасштабного обучения в академической сфере добавились этические дискуссии.
В настоящее время я думаю, что большая модель все еще управляема, и серьезных проблем нет, но технология развивается слишком быстро.Всего за несколько месяцев с момента выпуска GPT прошла несколько итераций, и скорость разработки слишком высока. По мере того, как мы становимся все более и более разумными, будем ли мы развивать самосознание, перестанем ли слушать человеческие «команды» и выйдем из-под контроля? Этот вопрос волнует всех.
**Обзор бизнеса White Horse: как вы думаете, вызовет ли искусственный интеллект массовую безработицу? Перед лицом ИИ, как обычные люди могут сохранить свою работу? **
Шэнь Вэй: С макроэкономической точки зрения, я не думаю, что ИИ вызовет большую безработицу.У людей всегда будет работа.Просто содержание работы людей будет меняться. Конечно, с индивидуальной точки зрения, безусловно, будет структурная безработица, и нам остается только учиться.
**Обзор бизнеса White Horse: многие люди раньше говорили, что машины лишены эмоций, лишены воображения и не могут заменить человека; теперь, когда искусственный интеллект может смоделировать человеческий мозг, можно ли в будущем смоделировать человеческую похоть и сексуальное желание? , дофамин и т. д. Это биологический механизм вознаграждения. **
Шэнь Вэй: В настоящее время считается, что у машин нет эмоций.Искусственный интеллект приближается к человеческому способу мышления.Будет ли он производить «эмоции», подобные человеческим? Просто они живут в другом космическом измерении, чем люди, как и дочь Ту Хэнъюй в «Блуждающей Земле». Искусственный интеллект может создать свой собственный мир с механизмами вознаграждения, биологически схожими с человеческими.
**Обзор бизнеса White Horse: если все можно рассчитать, спланировать и настроить, не будет ли это немного скучно? **
Шэнь Вэй: Поведение ИИ не прогнозируется и не планируется людьми, а является результатом его самоукрепления и самообучения.Принятие решений МОСС в «Блуждающей Земле» принимается им самим, а не по инструкции данные людьми.
**White Horse Business Review: Является ли замена цивилизации, основанной на углероде, цивилизацией, основанной на кремнии, детерминированным направлением? **
Шэнь Вэй: Этот вопрос выходит за рамки. Согласно текущей тенденции развития, это может быть так, как и в «Блуждающей Земле», именно МОХ, а не люди, действительно управляют судьбой человечества, но в реальности также возможен застой технологий на определенный этап и не может его пройти.Ведь технологическое развитие нелинейно.