Профессор Фудань Сяо Янхуа: Интерпретатор кода ChatGPT — это важное достижение

Источник: Бумага

Репортер Шао Вэнь

После выпуска бета-версии интерпретатора кода ChatGPT пользователи смогут использовать естественный язык для выдачи инструкций ChatGPT для выполнения сложных задач программирования, даже если они не являются программистами.Это может иметь два основных последствия: устранение языкового разрыва и изменение отрасли.

В будущем будут две тенденции быстрой итерации больших моделей: во-первых, ChatGPT определенно будет учиться на более масштабных и разнообразных данных и в то же время объединять больше профессиональных данных в частном домене для проведения более широкого обучения; Во-вторых, это повысит степень анализа данных, что в определенной степени можно рассматривать как более глубокое обучение.

Источник изображения: сгенерировано инструментом Unbounded AI

Бета-версия интерпретатора кода ChatGPT официально открыта для всех пользователей ChatGPT Plus.Он может использовать человеческий язык в качестве инструкций для управления большими моделями для выполнения математических операций, анализа данных, профессионального рисования графиков и даже создания видео и анализа фондового рынка.

"Возможности OpenAI ChatGPT снова были улучшены. Он завершил переход от инструмента к помощнику, и на этот раз он был повышен от обычного помощника до профессионального помощника", — 12 июля Сяо Янхуа, профессор Университета Фудань. и директор Шанхайской ключевой лаборатории науки о данных Pengpai Technology (рассказывает о недавнем выпуске блокбастера OpenAI: интерпретатор кода ChatGPT (интерпретатор кода).

9 июля по пекинскому времени бета-версия интерпретатора кода ChatGPT была официально открыта для всех пользователей ChatGPT Plus.Он может использовать человеческий язык в качестве инструкций для управления большими моделями для выполнения математических операций, анализа данных, профессионального рисования диаграмм и даже создавать видео, анализировать фондовый рынок.

То есть, даже если пользователи не программисты, они могут давать ChatGPT инструкции на естественном языке для выполнения сложных задач программирования. Внешний мир оценивает это как «самую мощную функцию GPT-4 за всю историю».

«Используя неуместную метафору, — сказал Сяо Янхуа, — видно, что OpenAI следует «планировать в течение длительного времени». Они усердно работали над улучшением возможностей мультимодального взаимодействия больших моделей». естественный язык.Возможности для мультимодальных задач, таких как изображения, специализированные диаграммы и т. д.

Что значит быть таким профессиональным помощником? "Это означает, что ChatGPT способен выполнить даже большой объем высокопрофессиональной работы. Можно сказать, что он может быть компетентен для работы студентов со смежными специальностями в университетах, например, специальностями по науке о данных", - сказал Сяо Янхуа.

"Возможность анализа данных определяет возможность, которую большая модель может получить в будущем"

Что касается того, почему ChatGPT решил обновиться в этой области, Сяо Янхуа считает, что это связано с глубоким анализом и изучением данных.Такие данные широко распространены, и большинство статей в основном включают профессиональный анализ данных различных дисциплин. Предыдущие версии GPT в основном были ориентированы на эффективное использование текстовых данных, но использование диаграмм, сеток и их соответствие тексту в этих данных относительно обширно и просто. Это обновление действительно выиграло от углубленного анализа профессиональной литературы и других данных, а также от установления соответствующих отношений между текстом, диаграммами и формулами, что позволило GPT получить возможность управлять диаграммами и таблицами посредством взаимодействия на естественном языке.

Благодаря такому открытию Сяо Янхуа получил откровение в области технологических исследований и разработок: «Такого рода способность к углубленному анализу корпуса, вероятно, станет одним из основных факторов, определяющих возможности больших моделей. независимо от того, сколько данных Не слишком много».

Что касается ChatGPT, Сяо Янхуа считает, что направление усилий OpenAI заключалось в поиске более качественных данных и глубоком анализе существующих данных, чтобы сделать его возможности все более и более мощными. Поэтому получение крупномасштабных, качественных и разнообразных данных, а также глубокий анализ этих данных может быть одной из важных идей, способствующих развитию крупных моделей. "

"Устранение языкового пробела"

Глядя на обновление возможностей ChatGPT в целом, Сяо Янхуа считает, что есть два возможных воздействия, заслуживающих внимания: во-первых, «устранение языкового разрыва»; во-вторых, изменение промышленной формы.

Что такое языковой разрыв? С момента изобретения компьютеров люди надеются позволить компьютерам выполнять различные поставленные задачи в соответствии с их собственными желаниями, что требует от профессионалов выражения намерений и выдачи инструкций с помощью неестественного языка или формального языка, такого как ранний язык ассемблера, а затем C++ high. язык программирования уровня , язык структурированных запросов, такой как SQL и т. д. Языком человеческого общения и общения является естественный язык.

Согласно западным легендам, чтобы помешать людям построить «Вавилонскую башню», достигающую неба, Бог исказил человеческие языки, лишив людей возможности общаться и понимать других. Сяо Янхуа считает, что между машинами и людьми также существует такая ситуация: по крайней мере, машины не могут точно понимать человеческий естественный язык, поэтому на самом деле люди приспосабливаются к машинам и преобразовывают свои намерения в различные формальные языки.

Однако задачи, которые должны выполнять компьютеры, существуют в тысячах отраслей.Сяо Янхуа сказал, что это означает, что для выполнения разных задач профессионалы должны изучать разные языки, например, языки специально для проектирования микросхем и языки для Автоматизация делопроизводства. Все это требует сложной подготовки для освоения, поэтому каждая профессиональная задача требует комплексного изучения языка, что устанавливает высокий языковой порог для людей, занимающихся определенной отраслью.

Но теперь кажется, что Сяо Янхуа судит: «Все эти формальные языки не нужны, и в принципе могут быть заменены естественным языком». понимать Он разработал различные профессиональные формальные языки, которые могут точно преобразовывать человеческие намерения, выраженные на различных естественных языках, в соответствующие формальные языки, такие как языки программирования и языки проектирования микросхем.

Это сделано для того, чтобы устранить языковой разрыв, и машинам больше не нужно «понимать» людей. «Если первая версия ChatGPT устранила разрыв в выражении естественного языка между человеком и машиной, то этот ChatGPT с функцией интерпретатора кода устранит разрыв в профессиональном языке между человеком и машиной», — считает Сяо Янхуа, это будет иметь далеко идущие последствия. , Воздействие является важным достижением.

«Вскоре большие модели постепенно будут обладать «языковыми» способностями, необходимыми людям для выполнения очень профессиональной работы, такими как математический язык и физический язык, а также соответствующими мыслительными способностями и способностью решать проблемы. Потому что в Принцип, это Точно так же математический язык, необходимый математикам для проведения исследовательской работы, является только формальным языком. Пока можно получить парные данные естественного языка и соответствующего профессионального языка, большие модели имеют возможность учиться. Эти данные В диссертации широко распространенное профессиональное программное обеспечение, такое как MATLAB, также можно использовать для синтеза данных, тем самым еще больше облегчая проблему нехватки данных при изучении крупномасштабных профессиональных возможностей», — сказал Сяо Янхуа.

**Есть ли еще потребность в профессиональных должностях? **

Это означает, что в будущем большую часть профессиональной работы, требующей владения профессиональными языками, можно будет выполнить хорошо, и крупная модель сможет ее хорошо выполнить. Это также поднимает вопрос, достойный глубокого рассмотрения.Сяо Янхуа спросил: Есть ли у нас еще место для развития профессионалов, или их работа необходима?

По мнению Сяо Янхуа, с улучшением возможностей больших моделей вся работа, выполняемая с помощью языка, в будущем будет разделена на три этапа: первый шаг — подсказка (), второй шаг — генерация и третий шаг – оценка.

«Очевидно, что эти сгенерированные рабочие места, будь то профессиональные или непрофессиональные, могут быть переданы большой модели. Но профессионалы по-прежнему имеют свою ценность, например, написание слов-подсказок, как подсказать профессионализм, необходимый для создания диаграмм больших моделей, и как чтобы оценить и проанализировать качество полученных результатов. Люди по-прежнему имеют свои преимущества в этих аспектах, или в краткосрочной перспективе большие модели все еще нуждаются в большем улучшении, чтобы быть компетентными », — сказал Сяо Янхуа, поэтому это изменит форму отрасли.

Кроме того, большинство задач, связанных с созданием контента и аналитической работой, будут разложены на множество этапов подразделения, среди которых повторяющиеся, рутинные и генеративные этапы подразделения будут постепенно переданы большой модели, а задачи подразделения, которые выполняют традиционные малые модели. хорошие навыки передаются маленьким моделям, а задачи подразделения, которые все еще хороши только для людей, передаются людям. Сяо Янхуа считает, что разложение сложных задач на несколько шагов (декомпозиция), а затем выполнение шагов, в которых они хороши (реорганизация), с помощью больших моделей, малых моделей и людей является основной тенденцией.

Две тенденции быстрой итерации больших моделей

Что касается того, представляет ли это обновление появление GPT-4.5, Сяо Янхуа считает, что это не ключ, но этот вопрос привлек так много внимания, что на самом деле отражает опасения людей по поводу быстрой итерации больших моделей и определенной степени отражает возможное влияние на него каждого человека, озабоченность социальным воздействием. По его мнению, это беспокойство небезосновательно: «В случае его быстрой итерации, по крайней мере, мы понимаем, что его скорость может не успевать за скоростью его итерации. Нам даже приходится активно нажимать кнопку паузы для разработки. больших моделей, тщательно подумайте, что он может и чего не может делать».

Что касается двух тенденций быстрой итерации больших моделей, Сяо Янхуа считает, что, во-первых, ChatGPT в настоящее время в основном основан на изучении общедоступных данных, и он определенно будет учиться на более масштабных и разнообразных данных, сочетая при этом опыт частной области. Более сильные данные. Во-вторых, это повысит степень анализа данных, что, как можно считать, в определенной степени улучшит глубину обучения. Другими словами, есть два измерения: одно — изучать все более и более широко, а другое — изучать все более и более специализированные и более глубокие старые данные.

"Это очень важная идея в этой версии. На самом деле, весьма вероятно, что данные остаются теми же данными, но они изучаются более глубоко, — продолжил Сяо Янхуа, — если большие модели в каждой области фрагментированы и не может быть интегрирован , то его способность все еще может быть в пределах контролируемого диапазона.Однако, если ChatGPT обладает сильными способностями к общим знаниям и постоянно объединяет различные данные частного домена для обучения, то обновление его способности может превзойти наши ожидания.Поэтому продвижение большие модели Крайне важно и неизбежно развиваться в безопасном и контролируемом направлении».