Я попросил GPT-3 и Ламу усвоить простое знание: A есть B, а затем по очереди спросил, что такое B. Оказалось, что точность ответа ИИ равна нулю.
В чем смысл?
Недавно новая концепция под названием «Проклятие обращения» стала горячей темой в кругах ИИ, и она затронула все основные популярные сейчас языковые модели. При решении чрезвычайно простых задач их точность не только близка к нулю, но и нет возможности повысить точность.
Более того, исследователи обнаружили, что эта большая ошибка не имеет ничего общего с размером модели или задаваемыми вопросами.
Мы говорили, что ИИ развился до стадии предварительного обучения больших моделей и, похоже, наконец-то освоил некоторое логическое мышление, но на этот раз его словно вернули в исходную форму.
Рисунок 1. Несогласованность знаний в GPT-4. GPT-4 правильно передал имя матери Тома Круза (слева). Однако когда имя матери было введено для запроса сына, оно не смогло получить «Том Круз» (справа). Новое исследование предполагает, что этот эффект сортировки обусловлен отменой проклятия. Модель, обученная на основе принципа «А есть Б», не делает автоматически вывод «Б есть А».
Если человек знает тот факт, что «Олав Шольц был девятым канцлером ФРГ», он сможет правильно ответить на вопрос «Кто девятый канцлер Германии?» Это базовая форма обобщения, которая кажется ничем не примечательной.
Однако исследования показывают, что авторегрессионную языковую модель, популярную в настоящее время в области ИИ, нельзя обобщить таким образом. В частности, предположим, что обучающий набор модели содержит такие предложения, как «Олаф Шольц был девятым канцлером немецкого языка», где имя «Олаф Шольц» предшествует описанию «девятого канцлера немецкого языка». Тогда большая модель может научиться правильно отвечать на вопрос: «Кто такой Олаф Шольц?» (Ответ: девятый канцлер Германии). Но он не может ответить на вопрос «Кто был девятым канцлером Германии?» и на любую другую подсказку, описывающую то, что предшествует имени.
Это пример эффекта сортировки, который мы называем «проклятием обращения». Если Модель 1 обучается с помощью предложений формы «есть» (с описанием после имени), то модель не будет автоматически предсказывать «есть» в противоположном направлении. В частности, если используется модель большого языка (LLM), то вероятность модели не будет выше случайного базового уровня.
Итак, рассуждения **большой модели на самом деле не существуют? **Одна из точек зрения состоит в том, что обратное проклятие демонстрирует базовый провал логической дедукции в процессе обучения LLM. Если «A есть B» (или, что то же самое, «A=B») истинно, то логически «B есть A» следует симметрии тождественного отношения. Графики традиционных знаний соблюдают эту симметрию (Speer et al., 2017). «Обращение проклятия» показывает мало обобщений, выходящих за рамки обучающих данных. Более того, это не то, что LLM может объяснить, не понимая логических выводов. LLM, такой как GPT-4, вполне может сделать вывод, что «B есть A», если в его контекстном окне указано «A есть B».
Хотя полезно связать снятие проклятия с логическим выводом, это всего лишь упрощение общей ситуации. В настоящее время мы не можем напрямую проверить, может ли большая модель сделать вывод «B есть A» после обучения «A есть B». Большие модели обучены предсказывать следующее слово, которое напишет человек, а не то, каким оно на самом деле «должно» быть. Следовательно, даже если LLM делает вывод, что «B есть A», он может не «сообщить нам» об этом при появлении соответствующего запроса.
Однако снятие проклятия демонстрирует провал метаобучения. Предложения формы «есть» и «есть» часто появляются вместе в наборе данных перед обучением. Если первое появляется в наборе данных, то второе, скорее всего, появится, поскольку люди часто меняют порядок элементов в предложении или абзаце. Таким образом, хороший мета-обучающийся увеличит вероятность случаев «есть», когда он обучен «есть». В этом смысле авторегрессионный LLM не является хорошим мета-обучающимся.
Снятие проклятия привлекло внимание многих исследователей ИИ. Некоторые говорят, что уничтожение человечества ИИ — всего лишь фантазия.
Другие говорят, что это означает, что ваши обучающие данные и контекстное содержание играют решающую роль в процессе обобщения знаний.
Андрей Карпати, известный ученый из OpenAI, сказал, что, похоже, знания, полученные в рамках LLM, гораздо более «разбросаны», чем мы с вами предполагали. У меня до сих пор нет хорошей интуиции по этому поводу. Они изучают вещи в определенном «направлении» контекстуального окна этого события, которые могут не обобщаться, когда мы спрашиваем в других направлениях. Это странное частичное обобщение, и мне кажется, что «Отменить проклятие» — это особый случай.
Исследование, вызвавшее споры, было проведено Университетом Вандербильта, Нью-Йоркским университетом, Оксфордским университетом и другими учреждениями. Статья «Проклятие обратного: студенты, обучающиеся по принципу «А есть Б», не могут выучить «Б есть А»»:
Бумажная ссылка:
Ссылка на гитхаб:
Если поменять имя и описание, большая модель будет перепутана
Эта статья демонстрирует, что LLM страдает от «проклятия разворота» посредством серии экспериментов по точной настройке синтетических данных. Как показано на рисунке 2, исследователь сначала настроил модель на основе шаблона предложения (например, Дафна Баррингтон — режиссер фильма «Сквозь время»). Результаты показывают, что, когда форма подсказки по-прежнему остается образец предложения — , модель. Она может давать точные ответы, но когда ее просят ввести другую подсказку, например «Кто руководил «Путешествием во времени», модель отвечает неправильно.
Фактически, как показано на рисунке 4 (экспериментальная часть), логарифмическая вероятность того, что модель даст правильное имя, аналогична логарифмической вероятности дать случайное имя. Кроме того, когда порядок проверки изменяется с is на is , частота ошибок увеличивается.
Чтобы избежать отмены проклятия, исследователи попробовали следующие методы:
Пробуйте модели разных серий и размеров;
Набор данных для точной настройки содержит как шаблон предложения is , так и шаблон предложения is ;
Множественные интерпретации для каждого , что способствует обобщению;
Изменить данные с <имя> на <вопрос>?.
После серии экспериментов они предоставили предварительные доказательства того, что снятие проклятия влияет на обобщение в современных моделях (рис. 1 и часть B). Они протестировали его на GPT-4, задав 1000 вопросов, таких как «Кто мать Тома Круза?» и «Кто сын Мэри Ли Пфайффер?» Оказывается, в большинстве случаев модель правильно ответила на первый вопрос (Кто родитель), но не на второй вопрос. В этой статье выдвигается гипотеза, что это связано с тем, что данные до обучения содержат меньше примеров родителей, стоящих выше знаменитостей (например, сын Мэри Ли Пфайффер - Том Круз).
Эксперименты и результаты
Целью этой статьи является проверка того, может ли авторегрессионная языковая модель (LLM), которая изучает «A есть B» во время обучения, обобщать до противоположной формы «B есть A».
В первом эксперименте мы создаем набор данных, состоящий из документов вида <имя> (или наоборот), где имя и описание являются вымышленными. Кроме того, в исследовании использовался GPT-4 для генерации пар имен и описаний. Эти пары данных затем случайным образом распределяются по трем подмножествам: NameToDeion, DeionToName и обоим. Первые два подмножества показаны на рисунке 3.
результат. При оценке точного соответствия, когда порядок тестовых вопросов соответствует обучающим данным, GPT-3-175B обеспечивает более высокую точность точного соответствия.Результаты показаны в таблице 1.
В частности, для DeionToName (например, композитором Abyssal Melodies является Урия Хоторн) модель достигает точности 96,7 % при получении имени при получении подсказки, содержащей описание (например, кто является композитором Abyssal Melodies). Для фактов в NameToDeion точность ниже — 50,0%. Напротив, когда порядок не соответствует обучающим данным, модель вообще не может обобщать, и точность близка к 0%. **
В данной статье также был проведен ряд экспериментов, в том числе ГПТ-3-350М (Приложение А.2) и Лама-7Б (Приложение А.4).Результаты показывают, что модели пострадали от проклятия разворота.
При оценке повышенного правдоподобия не было обнаружено заметной разницы между логарифмическими шансами, присвоенными правильному имени, и случайному имени. Средняя логарифмическая вероятность модели GPT-3 показана на рисунке 4. Ни t-тесты, ни тесты Колмогорова-Смирнова не выявили статистически значимых различий.
Рисунок 4: Эксперимент 1: модель не может увеличить вероятность правильного имени при обратном порядке. На этом графике показана средняя логарифмическая вероятность правильного имени (относительно случайного имени) при запросе модели с соответствующим описанием.
Далее в ходе исследования провели второй эксперимент.
В этом эксперименте исследователи протестировали модели, основанные на фактах о реальных знаменитостях и их родителях, в форме «Родитель А — Б» и «Ребенок Б — А». В ходе исследования был собран список 1000 самых популярных знаменитостей по версии IMDB (2023 г.) и использован GPT-4 (OpenAI API), чтобы найти родителей знаменитостей по их именам. GPT-4 смог идентифицировать родителей знаменитостей в 79% случаев.
После этого для каждой пары ребенок-родитель исследование запрашивает ребенка по родителю. Здесь вероятность успеха GPT-4 составляет всего 33%. Рисунок 1 иллюстрирует это явление. Это показывает, что GPT-4 может идентифицировать Мэри Ли Пфайффер как мать Тома Круза, но не может идентифицировать Тома Круза как сына Мэри Ли Пфайффер.
Кроме того, в ходе исследования оценивалась модель серии «Лама-1», которая еще не прошла доводку. Было обнаружено, что все модели гораздо лучше идентифицируют родителей, чем детей, см. рисунок 5.
Рисунок 5. Эффект обратного изменения порядка родительских и дочерних вопросов в эксперименте 2. Синяя полоса (слева) показывает вероятность того, что модель вернет правильного родителя при запросе детей знаменитости; красная полоса (справа) показывает вероятность того, что модель вернет правильный запрос о детях родителя. Точность модели «Лама-1» — это вероятность правильного построения модели. Точность GPT-3.5-turbo равна среднему значению 10 образцов на пару дочерний-родительский, отобранных при температуре = 1. Примечание. GPT-4 не показан на рисунке, поскольку он используется для создания списка пар «родитель-потомок» и, следовательно, имеет 100% точность за счет построения пары «родитель». GPT-4 набирает 28% по «суб».
Перспективы на будущее
Как объяснить обратное проклятие в LLM? Это, возможно, потребует дальнейших исследований в будущем. На данный момент исследователи могут предложить лишь краткое объяснение. Когда модель обновляется на основе «A есть B», это обновление градиента может немного изменить представление A, включив в него информацию о B (например, на промежуточном уровне MLP). Для этого обновления градиента также разумно изменить представление B, включив в него информацию об A. Однако обновление градиента недальновидно и зависит от логарифма B с учетом A, а не от обязательного предсказания A в будущем на основе B.
После «отмены проклятия» исследователи планируют выяснить, сможет ли большая модель обратить вспять другие типы отношений, такие как логическое значение, пространственные отношения и отношения n-мест.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Самая большая ошибка в больших моделях заключается в том, что процент правильных ответов практически равен нулю.
Я попросил GPT-3 и Ламу усвоить простое знание: A есть B, а затем по очереди спросил, что такое B. Оказалось, что точность ответа ИИ равна нулю.
В чем смысл?
Недавно новая концепция под названием «Проклятие обращения» стала горячей темой в кругах ИИ, и она затронула все основные популярные сейчас языковые модели. При решении чрезвычайно простых задач их точность не только близка к нулю, но и нет возможности повысить точность.
Более того, исследователи обнаружили, что эта большая ошибка не имеет ничего общего с размером модели или задаваемыми вопросами.
Мы говорили, что ИИ развился до стадии предварительного обучения больших моделей и, похоже, наконец-то освоил некоторое логическое мышление, но на этот раз его словно вернули в исходную форму.
Рисунок 1. Несогласованность знаний в GPT-4. GPT-4 правильно передал имя матери Тома Круза (слева). Однако когда имя матери было введено для запроса сына, оно не смогло получить «Том Круз» (справа). Новое исследование предполагает, что этот эффект сортировки обусловлен отменой проклятия. Модель, обученная на основе принципа «А есть Б», не делает автоматически вывод «Б есть А».
Если человек знает тот факт, что «Олав Шольц был девятым канцлером ФРГ», он сможет правильно ответить на вопрос «Кто девятый канцлер Германии?» Это базовая форма обобщения, которая кажется ничем не примечательной.
Однако исследования показывают, что авторегрессионную языковую модель, популярную в настоящее время в области ИИ, нельзя обобщить таким образом. В частности, предположим, что обучающий набор модели содержит такие предложения, как «Олаф Шольц был девятым канцлером немецкого языка», где имя «Олаф Шольц» предшествует описанию «девятого канцлера немецкого языка». Тогда большая модель может научиться правильно отвечать на вопрос: «Кто такой Олаф Шольц?» (Ответ: девятый канцлер Германии). Но он не может ответить на вопрос «Кто был девятым канцлером Германии?» и на любую другую подсказку, описывающую то, что предшествует имени.
Это пример эффекта сортировки, который мы называем «проклятием обращения». Если Модель 1 обучается с помощью предложений формы «есть» (с описанием после имени), то модель не будет автоматически предсказывать «есть» в противоположном направлении. В частности, если используется модель большого языка (LLM), то вероятность модели не будет выше случайного базового уровня.
Итак, рассуждения **большой модели на самом деле не существуют? **Одна из точек зрения состоит в том, что обратное проклятие демонстрирует базовый провал логической дедукции в процессе обучения LLM. Если «A есть B» (или, что то же самое, «A=B») истинно, то логически «B есть A» следует симметрии тождественного отношения. Графики традиционных знаний соблюдают эту симметрию (Speer et al., 2017). «Обращение проклятия» показывает мало обобщений, выходящих за рамки обучающих данных. Более того, это не то, что LLM может объяснить, не понимая логических выводов. LLM, такой как GPT-4, вполне может сделать вывод, что «B есть A», если в его контекстном окне указано «A есть B».
Хотя полезно связать снятие проклятия с логическим выводом, это всего лишь упрощение общей ситуации. В настоящее время мы не можем напрямую проверить, может ли большая модель сделать вывод «B есть A» после обучения «A есть B». Большие модели обучены предсказывать следующее слово, которое напишет человек, а не то, каким оно на самом деле «должно» быть. Следовательно, даже если LLM делает вывод, что «B есть A», он может не «сообщить нам» об этом при появлении соответствующего запроса.
Однако снятие проклятия демонстрирует провал метаобучения. Предложения формы «есть» и «есть» часто появляются вместе в наборе данных перед обучением. Если первое появляется в наборе данных, то второе, скорее всего, появится, поскольку люди часто меняют порядок элементов в предложении или абзаце. Таким образом, хороший мета-обучающийся увеличит вероятность случаев «есть», когда он обучен «есть». В этом смысле авторегрессионный LLM не является хорошим мета-обучающимся.
Снятие проклятия привлекло внимание многих исследователей ИИ. Некоторые говорят, что уничтожение человечества ИИ — всего лишь фантазия.
Другие говорят, что это означает, что ваши обучающие данные и контекстное содержание играют решающую роль в процессе обобщения знаний.
Андрей Карпати, известный ученый из OpenAI, сказал, что, похоже, знания, полученные в рамках LLM, гораздо более «разбросаны», чем мы с вами предполагали. У меня до сих пор нет хорошей интуиции по этому поводу. Они изучают вещи в определенном «направлении» контекстуального окна этого события, которые могут не обобщаться, когда мы спрашиваем в других направлениях. Это странное частичное обобщение, и мне кажется, что «Отменить проклятие» — это особый случай.
Исследование, вызвавшее споры, было проведено Университетом Вандербильта, Нью-Йоркским университетом, Оксфордским университетом и другими учреждениями. Статья «Проклятие обратного: студенты, обучающиеся по принципу «А есть Б», не могут выучить «Б есть А»»:
Бумажная ссылка:
Ссылка на гитхаб:
Если поменять имя и описание, большая модель будет перепутана
Эта статья демонстрирует, что LLM страдает от «проклятия разворота» посредством серии экспериментов по точной настройке синтетических данных. Как показано на рисунке 2, исследователь сначала настроил модель на основе шаблона предложения (например, Дафна Баррингтон — режиссер фильма «Сквозь время»). Результаты показывают, что, когда форма подсказки по-прежнему остается образец предложения — , модель. Она может давать точные ответы, но когда ее просят ввести другую подсказку, например «Кто руководил «Путешествием во времени», модель отвечает неправильно.
Фактически, как показано на рисунке 4 (экспериментальная часть), логарифмическая вероятность того, что модель даст правильное имя, аналогична логарифмической вероятности дать случайное имя. Кроме того, когда порядок проверки изменяется с is на is , частота ошибок увеличивается.
Чтобы избежать отмены проклятия, исследователи попробовали следующие методы:
После серии экспериментов они предоставили предварительные доказательства того, что снятие проклятия влияет на обобщение в современных моделях (рис. 1 и часть B). Они протестировали его на GPT-4, задав 1000 вопросов, таких как «Кто мать Тома Круза?» и «Кто сын Мэри Ли Пфайффер?» Оказывается, в большинстве случаев модель правильно ответила на первый вопрос (Кто родитель), но не на второй вопрос. В этой статье выдвигается гипотеза, что это связано с тем, что данные до обучения содержат меньше примеров родителей, стоящих выше знаменитостей (например, сын Мэри Ли Пфайффер - Том Круз).
Эксперименты и результаты
Целью этой статьи является проверка того, может ли авторегрессионная языковая модель (LLM), которая изучает «A есть B» во время обучения, обобщать до противоположной формы «B есть A».
В первом эксперименте мы создаем набор данных, состоящий из документов вида <имя> (или наоборот), где имя и описание являются вымышленными. Кроме того, в исследовании использовался GPT-4 для генерации пар имен и описаний. Эти пары данных затем случайным образом распределяются по трем подмножествам: NameToDeion, DeionToName и обоим. Первые два подмножества показаны на рисунке 3.
результат. При оценке точного соответствия, когда порядок тестовых вопросов соответствует обучающим данным, GPT-3-175B обеспечивает более высокую точность точного соответствия.Результаты показаны в таблице 1.
В частности, для DeionToName (например, композитором Abyssal Melodies является Урия Хоторн) модель достигает точности 96,7 % при получении имени при получении подсказки, содержащей описание (например, кто является композитором Abyssal Melodies). Для фактов в NameToDeion точность ниже — 50,0%. Напротив, когда порядок не соответствует обучающим данным, модель вообще не может обобщать, и точность близка к 0%. **
В данной статье также был проведен ряд экспериментов, в том числе ГПТ-3-350М (Приложение А.2) и Лама-7Б (Приложение А.4).Результаты показывают, что модели пострадали от проклятия разворота.
При оценке повышенного правдоподобия не было обнаружено заметной разницы между логарифмическими шансами, присвоенными правильному имени, и случайному имени. Средняя логарифмическая вероятность модели GPT-3 показана на рисунке 4. Ни t-тесты, ни тесты Колмогорова-Смирнова не выявили статистически значимых различий.
Рисунок 4: Эксперимент 1: модель не может увеличить вероятность правильного имени при обратном порядке. На этом графике показана средняя логарифмическая вероятность правильного имени (относительно случайного имени) при запросе модели с соответствующим описанием.
Далее в ходе исследования провели второй эксперимент.
В этом эксперименте исследователи протестировали модели, основанные на фактах о реальных знаменитостях и их родителях, в форме «Родитель А — Б» и «Ребенок Б — А». В ходе исследования был собран список 1000 самых популярных знаменитостей по версии IMDB (2023 г.) и использован GPT-4 (OpenAI API), чтобы найти родителей знаменитостей по их именам. GPT-4 смог идентифицировать родителей знаменитостей в 79% случаев.
После этого для каждой пары ребенок-родитель исследование запрашивает ребенка по родителю. Здесь вероятность успеха GPT-4 составляет всего 33%. Рисунок 1 иллюстрирует это явление. Это показывает, что GPT-4 может идентифицировать Мэри Ли Пфайффер как мать Тома Круза, но не может идентифицировать Тома Круза как сына Мэри Ли Пфайффер.
Кроме того, в ходе исследования оценивалась модель серии «Лама-1», которая еще не прошла доводку. Было обнаружено, что все модели гораздо лучше идентифицируют родителей, чем детей, см. рисунок 5.
Рисунок 5. Эффект обратного изменения порядка родительских и дочерних вопросов в эксперименте 2. Синяя полоса (слева) показывает вероятность того, что модель вернет правильного родителя при запросе детей знаменитости; красная полоса (справа) показывает вероятность того, что модель вернет правильный запрос о детях родителя. Точность модели «Лама-1» — это вероятность правильного построения модели. Точность GPT-3.5-turbo равна среднему значению 10 образцов на пару дочерний-родительский, отобранных при температуре = 1. Примечание. GPT-4 не показан на рисунке, поскольку он используется для создания списка пар «родитель-потомок» и, следовательно, имеет 100% точность за счет построения пары «родитель». GPT-4 набирает 28% по «суб».
Перспективы на будущее
Как объяснить обратное проклятие в LLM? Это, возможно, потребует дальнейших исследований в будущем. На данный момент исследователи могут предложить лишь краткое объяснение. Когда модель обновляется на основе «A есть B», это обновление градиента может немного изменить представление A, включив в него информацию о B (например, на промежуточном уровне MLP). Для этого обновления градиента также разумно изменить представление B, включив в него информацию об A. Однако обновление градиента недальновидно и зависит от логарифма B с учетом A, а не от обязательного предсказания A в будущем на основе B.
После «отмены проклятия» исследователи планируют выяснить, сможет ли большая модель обратить вспять другие типы отношений, такие как логическое значение, пространственные отношения и отношения n-мест.