«Вы чувствуете, что качество GPT-4 в последнее время ухудшилось?»
Уже в середине мая этого года пользователи GPT-4 опубликовали на онлайн-форуме разработчиков OpenAI сообщение о том, что GPT-4, похоже, «становится глупым»:
«Я уже давно пользуюсь ChatGPT и пользуюсь GPT Plus с момента выпуска GPT-4. Обычно я использую GPT-4 для анализа и создания длинного контента. GPT-4, казалось, работал хорошо, понял мой запрос, но теперь он, кажется, теряет информацию, дает мне много неправильной информации и все больше и больше неправильно интерпретирует мой запрос... В настоящее время GPT-4 больше похож на GPT. -3,5.
Кто-нибудь еще замечал это, или это только я наткнулся на эту проблему? "
Как оказалось, пользователь GPT-4 был не один — несколько пользователей прокомментировали ветку: «Я чувствую то же самое!»
Проблемная новая версия GPT-4
По отзывам многих пользователей, GPT-4 ухудшился не только в анализе и создании длинного контента, но и в качестве написания.
Питер Янг, руководитель отдела продуктов Roblox, написал в Твиттере, что модель GPT-4 работает быстрее, но качество ухудшилось: «Только простые проблемы, такие как создание более четкого и лаконичного письма и предоставление идей… на мой взгляд, качество письма ухудшилось».
Логические способности последней версии GPT-4 значительно падают при обсуждении/оценке сложных обратных задач, различных скоростей или закономерностей изменений и пространственно-временной изменчивости.
«До обновления GPT-4 я редко получал ответы об ошибках, но теперь мне приходится перепроверять весь вывод (т.е. двойные отрицательные условия теперь иногда неправильно преобразуются в положительные условия). Я думаю, что эти ошибки больше похожи на GPT — 3.5 вместо предыдущего уровня логического вывода GPT-4».
Даже с точки зрения возможности кодирования качество вывода новой версии GPT-4 не так хорошо, как раньше.
Разработчик, использующий GPT-4 для написания функционального кода для веб-сайта, пожаловался: «Текущий GPT-4 очень разочаровывает. Это как ездить на Ferrari в течение месяца, а потом вдруг он становится старым пикапом. Не уверен, что хотел бы продолжайте платить за это».
Другой разработчик также упомянул, что GPT-4 теперь зацикливает код: «Полный отстой, GPT-4 снова и снова начинает зацикливать код или другую информацию. а потом начни снова! По сравнению с тем, что было раньше, теперь это идиотизм».
Кроме того, в Твиттере и на онлайн-форумах разработчиков OpenAI пользователи продолжают сообщать, что новая версия GPT-4 имеет ослабленную логику, генерирует много ответов с ошибками, не может отследить предоставленную информацию, не следует инструкциям и забывает писать в базовый программный код.Вставка скобок, запоминание только самых последних напоминаний и многое другое.
Что касается производительности внезапного «снижения интеллекта» GPT-4, некоторые пользователи предположили: «Текущая версия сильно отличается от версии, когда она была только что запущена. Я думаю, OpenAI решил пойти на компромисс в отношении качества, чтобы удовлетворить больше клиентов!»
С этой точки зрения оценка GPT-4 пользователями сегодня действительно не так хороша, как пиковый период «оценки ветра», когда он впервые дебютировал.
GPT-4 быстрее, но и "тупее"
В конце прошлого года родился ChatGPT на основе GPT-3.5, и его отличные возможности генерации вызвали бум AIGC, поэтому, когда OpenAI анонсировала GPT-4, более мощный, чем GPT-3.5, в марте этого года, весь мир был поражен.
В то время GPT-4 называли «самой мощной моделью ИИ в истории», особенно ее мультимодальность, что означает, что она может понимать как изображения, так и ввод текста, поэтому она быстро стала популярным инструментом для разработчиков и других технологических компаний. , Модель выбора для профессионалов также вызвала больше похвалы для GPT-4: создание веб-сайта за 10 секунд, сдача самого сложного теста по американскому праву и сдача теста по математике для студентов Массачусетского технологического института с полными оценками ...
Однако, когда люди поражены мощью GPT-4, многие люди также шокированы его стоимостью и скоростью отклика. «GPT-4 медленный, но очень точный», — сказала Шарон Чжоу, генеральный директор Lamini, стартапа, который помогает разработчикам создавать собственные крупномасштабные языковые модели.
До мая GPT-4 оставался «медленным и дорогим, но точным» — позже GPT-4 реагировал быстрее, и в то же время пользователи сомневались в снижении его производительности.
Несколько экспертов по ИИ, в том числе Шарон Чжоу, считают, что для этого явления OpenAI может создавать несколько меньших моделей GPT-4, которые функционируют аналогично более крупным моделям, но менее дороги в эксплуатации.
Эксперты предполагают: это может быть связано с технологией МО
Согласно введению Шарон Чжоу, этот метод называется Mixture-of-Experts (MoE), то есть смешанной экспертной системой. Технология MoE - это интегрированная технология обучения, разработанная в области нейронных сетей, а также ключевая технология для обучения моделей с триллионами параметров.Из-за увеличения размера модели на этом этапе также увеличиваются затраты на обучение, и MoE Технология может динамически активировать часть нейронной сети, тем самым значительно увеличивая количество параметров модели без увеличения объема вычислений.
В частности, MoE разбивает задачу прогнозного моделирования на несколько подзадач, обучает экспертную модель (Экспертная модель) для каждой подзадачи и разрабатывает модель стробирования (Модель стробирования), которую можно прогнозировать в соответствии с входными данными. Приходите узнать, каким экспертам доверять, и объединить результаты прогноза.
Так как же обстоит дело, когда технология МО ссылается на GPT-4? Шарон Чжоу пояснила, что в GPT-4 эти небольшие экспертные модели будут обучаться для разных задач и предметных областей, например, могут быть небольшие экспертные модели GPT-4 для биологии, физики, химии и т. д. 4 Когда задан вопрос , новая система знает, какой экспертной модели отправить вопрос. Кроме того, на всякий случай новая система может отправлять запросы к двум или более экспертным моделям, а затем объединять результаты.
Для этого подхода Шарон Чжоу описал его как «Корабль Тесея» (парадокс о замене идентичности, предполагая, что составные элементы объекта заменяются, но остается ли он исходным объектом?), то есть с течением времени, OpenAI заменит части GPT-4: «OpenAI превращает GPT-4 в небольшой флот».
Основываясь на приведенном выше предположении, Шарон Чжоу считает, что недавние «глупые» замечания GPT-4, вероятно, связаны с методом обучения MoE: «Когда пользователи тестируют GPT-4, мы будем задавать много разных вопросов, и масштаб будет небольшим. Экспертная модель GPT-4 не будет работать так хорошо, но она собирает наши данные, совершенствуется и учится».
**Архитектура GPT-4 раскрыта? **
На этой неделе несколько экспертов по искусственному интеллекту также опубликовали так называемые «детали архитектуры GPT-4» на фоне растущего количества отзывов пользователей о «глупости» GPT-4.
Среди них блоггер Twitter по имени Ям Пелег сказал, что GPT-4 имеет около 1,8 триллиона параметров, охватывает 120 слоев, более чем в 10 раз больше, чем GPT-3, и обучается примерно на токенах 13T. Обучение стоило около 63 миллионов долларов. .. Стоит отметить, что Ям Пелег также сказал, что OpenAI использует MoE, который должен снизить стоимость работы GPT-4 за счет использования 16 смешанных экспертных моделей.
На данный момент OpenAI не ответила на это заявление. Но Орен Этциони, генеральный директор-основатель Института искусственного интеллекта Аллена, сказал СМИ: «Хотя я не был подтвержден, я думаю, что эти предположения должны быть примерно правильными».
Он объяснил, что обычно есть две причины для использования метода MOE: либо вы хотите получить лучший ответ, либо вам нужен более дешевый и быстрый ответ.
«В идеале MOE позволит вам получить оба преимущества одновременно, но в действительности вам обычно приходится искать компромисс между стоимостью и качеством». кажется, уменьшает GPT -4 за счет некоторого снижения качества.
Итак, каково ваше мнение по этому поводу?
Ссылка на ссылку:
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
ГПТ-4 разоблачили как "глупого"! Чтобы сократить расходы, OpenAI тайно занимается «мелкими ходами»?
Организовать | Чжэн Лиюань
Листинг | CSDN (ID: CSDNnews)
«Вы чувствуете, что качество GPT-4 в последнее время ухудшилось?»
Уже в середине мая этого года пользователи GPT-4 опубликовали на онлайн-форуме разработчиков OpenAI сообщение о том, что GPT-4, похоже, «становится глупым»:
«Я уже давно пользуюсь ChatGPT и пользуюсь GPT Plus с момента выпуска GPT-4. Обычно я использую GPT-4 для анализа и создания длинного контента. GPT-4, казалось, работал хорошо, понял мой запрос, но теперь он, кажется, теряет информацию, дает мне много неправильной информации и все больше и больше неправильно интерпретирует мой запрос... В настоящее время GPT-4 больше похож на GPT. -3,5.
Кто-нибудь еще замечал это, или это только я наткнулся на эту проблему? "
Проблемная новая версия GPT-4
По отзывам многих пользователей, GPT-4 ухудшился не только в анализе и создании длинного контента, но и в качестве написания.
Питер Янг, руководитель отдела продуктов Roblox, написал в Твиттере, что модель GPT-4 работает быстрее, но качество ухудшилось: «Только простые проблемы, такие как создание более четкого и лаконичного письма и предоставление идей… на мой взгляд, качество письма ухудшилось».
«До обновления GPT-4 я редко получал ответы об ошибках, но теперь мне приходится перепроверять весь вывод (т.е. двойные отрицательные условия теперь иногда неправильно преобразуются в положительные условия). Я думаю, что эти ошибки больше похожи на GPT — 3.5 вместо предыдущего уровня логического вывода GPT-4».
Разработчик, использующий GPT-4 для написания функционального кода для веб-сайта, пожаловался: «Текущий GPT-4 очень разочаровывает. Это как ездить на Ferrari в течение месяца, а потом вдруг он становится старым пикапом. Не уверен, что хотел бы продолжайте платить за это».
Другой разработчик также упомянул, что GPT-4 теперь зацикливает код: «Полный отстой, GPT-4 снова и снова начинает зацикливать код или другую информацию. а потом начни снова! По сравнению с тем, что было раньше, теперь это идиотизм».
Что касается производительности внезапного «снижения интеллекта» GPT-4, некоторые пользователи предположили: «Текущая версия сильно отличается от версии, когда она была только что запущена. Я думаю, OpenAI решил пойти на компромисс в отношении качества, чтобы удовлетворить больше клиентов!»
С этой точки зрения оценка GPT-4 пользователями сегодня действительно не так хороша, как пиковый период «оценки ветра», когда он впервые дебютировал.
GPT-4 быстрее, но и "тупее"
В конце прошлого года родился ChatGPT на основе GPT-3.5, и его отличные возможности генерации вызвали бум AIGC, поэтому, когда OpenAI анонсировала GPT-4, более мощный, чем GPT-3.5, в марте этого года, весь мир был поражен.
В то время GPT-4 называли «самой мощной моделью ИИ в истории», особенно ее мультимодальность, что означает, что она может понимать как изображения, так и ввод текста, поэтому она быстро стала популярным инструментом для разработчиков и других технологических компаний. , Модель выбора для профессионалов также вызвала больше похвалы для GPT-4: создание веб-сайта за 10 секунд, сдача самого сложного теста по американскому праву и сдача теста по математике для студентов Массачусетского технологического института с полными оценками ...
Однако, когда люди поражены мощью GPT-4, многие люди также шокированы его стоимостью и скоростью отклика. «GPT-4 медленный, но очень точный», — сказала Шарон Чжоу, генеральный директор Lamini, стартапа, который помогает разработчикам создавать собственные крупномасштабные языковые модели.
До мая GPT-4 оставался «медленным и дорогим, но точным» — позже GPT-4 реагировал быстрее, и в то же время пользователи сомневались в снижении его производительности.
Несколько экспертов по ИИ, в том числе Шарон Чжоу, считают, что для этого явления OpenAI может создавать несколько меньших моделей GPT-4, которые функционируют аналогично более крупным моделям, но менее дороги в эксплуатации.
Эксперты предполагают: это может быть связано с технологией МО
Согласно введению Шарон Чжоу, этот метод называется Mixture-of-Experts (MoE), то есть смешанной экспертной системой. Технология MoE - это интегрированная технология обучения, разработанная в области нейронных сетей, а также ключевая технология для обучения моделей с триллионами параметров.Из-за увеличения размера модели на этом этапе также увеличиваются затраты на обучение, и MoE Технология может динамически активировать часть нейронной сети, тем самым значительно увеличивая количество параметров модели без увеличения объема вычислений.
В частности, MoE разбивает задачу прогнозного моделирования на несколько подзадач, обучает экспертную модель (Экспертная модель) для каждой подзадачи и разрабатывает модель стробирования (Модель стробирования), которую можно прогнозировать в соответствии с входными данными. Приходите узнать, каким экспертам доверять, и объединить результаты прогноза.
Так как же обстоит дело, когда технология МО ссылается на GPT-4? Шарон Чжоу пояснила, что в GPT-4 эти небольшие экспертные модели будут обучаться для разных задач и предметных областей, например, могут быть небольшие экспертные модели GPT-4 для биологии, физики, химии и т. д. 4 Когда задан вопрос , новая система знает, какой экспертной модели отправить вопрос. Кроме того, на всякий случай новая система может отправлять запросы к двум или более экспертным моделям, а затем объединять результаты.
Для этого подхода Шарон Чжоу описал его как «Корабль Тесея» (парадокс о замене идентичности, предполагая, что составные элементы объекта заменяются, но остается ли он исходным объектом?), то есть с течением времени, OpenAI заменит части GPT-4: «OpenAI превращает GPT-4 в небольшой флот».
Основываясь на приведенном выше предположении, Шарон Чжоу считает, что недавние «глупые» замечания GPT-4, вероятно, связаны с методом обучения MoE: «Когда пользователи тестируют GPT-4, мы будем задавать много разных вопросов, и масштаб будет небольшим. Экспертная модель GPT-4 не будет работать так хорошо, но она собирает наши данные, совершенствуется и учится».
**Архитектура GPT-4 раскрыта? **
На этой неделе несколько экспертов по искусственному интеллекту также опубликовали так называемые «детали архитектуры GPT-4» на фоне растущего количества отзывов пользователей о «глупости» GPT-4.
Среди них блоггер Twitter по имени Ям Пелег сказал, что GPT-4 имеет около 1,8 триллиона параметров, охватывает 120 слоев, более чем в 10 раз больше, чем GPT-3, и обучается примерно на токенах 13T. Обучение стоило около 63 миллионов долларов. .. Стоит отметить, что Ям Пелег также сказал, что OpenAI использует MoE, который должен снизить стоимость работы GPT-4 за счет использования 16 смешанных экспертных моделей.
На данный момент OpenAI не ответила на это заявление. Но Орен Этциони, генеральный директор-основатель Института искусственного интеллекта Аллена, сказал СМИ: «Хотя я не был подтвержден, я думаю, что эти предположения должны быть примерно правильными».
Он объяснил, что обычно есть две причины для использования метода MOE: либо вы хотите получить лучший ответ, либо вам нужен более дешевый и быстрый ответ.
«В идеале MOE позволит вам получить оба преимущества одновременно, но в действительности вам обычно приходится искать компромисс между стоимостью и качеством». кажется, уменьшает GPT -4 за счет некоторого снижения качества.
Итак, каково ваше мнение по этому поводу?
Ссылка на ссылку: