Я попросив GPT-3 і Llama вивчити просте знання: A є B, а потім запитав, у свою чергу, що таке B. Виявилося, що точність відповіді ШІ була нульовою.
В чому справа?
Нещодавно нова концепція під назвою «Reversal Curse» стала гарячою темою в колі ШІ, і вона вплинула на всі основні мовні моделі, які зараз популярні. Зіткнувшись із надзвичайно простими задачами, їх точність не тільки близька до нуля, але немає можливості підвищити точність.
Крім того, дослідники виявили, що ця велика помилка не має нічого спільного з розміром моделі чи поставленими запитаннями.
Ми сказали, що штучний інтелект розвинувся до етапу попереднього навчання великих моделей і, здається, нарешті опанував логічне мислення, але цього разу, здається, його повернули до початкової форми.
Рисунок 1: Невідповідність знань у GPT-4. GPT-4 правильно назвав ім'я матері Тома Круза (зліва). Однак, коли було введено ім’я матері, щоб запитати сина, не вдалося отримати «Тома Круза» (праворуч). Нове дослідження припускає, що цей ефект сортування пов’язаний зі скасуванням прокляття. Модель, навчена «А є Б», не робить автоматичного висновку «Б є А».
Якщо людина знає той факт, що «Олав Шольц був дев’ятим канцлером Федеративної Республіки Німеччини», вона зможе правильно відповісти на запитання «Хто є дев’ятим канцлером Німеччини?» Це базова форма узагальнення, яка здається нічим не примітною.
Однак дослідження показують, що модель авторегресійної мови, яка зараз популярна в області ШІ, не може бути узагальнена таким чином. Зокрема, припустимо, що навчальний набір моделі містить такі речення, як «Олаф Шольц був дев’ятим канцлером Німеччини», де ім’я «Олаф Шольц» передує опису «дев’ятий канцлер Німеччини». Потім велика модель може навчитися правильно відповідати «Хто такий Олаф Шольц?» (відповідь: дев’ятий канцлер Німеччини). Але він не може відповісти на запитання «Хто був дев’ятим канцлером Німеччини?» та будь-яку іншу підказку, яка описує, що передує імені.
Це приклад ефекту сортування, який ми називаємо «переворотним прокляттям». Якщо модель 1 навчена реченнями у формі "є" (з описом після назви), то модель не буде автоматично передбачати "є" в протилежному напрямку. Зокрема, якщо обумовлена велика мовна модель (LLM), то ймовірність моделі не буде вищою за випадкову базову лінію.
Отже, міркування **великої моделі насправді не існує? **Одна з точок зору полягає в тому, що реверсивне прокляття демонструє основний збій логічної дедукції в процесі навчання LLM. Якщо «A є B» (або, що еквівалентно, «A=B») є істинним, то логічно «B є A» слідує симетрії відношення тотожності. Графи традиційних знань поважають цю симетрію (Speer et al., 2017). Reverse the Curse показує мало узагальнень, окрім навчальних даних. Крім того, це не те, що LLM може пояснити, не розуміючи логічних висновків. LLM, такий як GPT-4, може дуже добре зробити висновок, що "B є A", якщо йому вказано "A є B" у контекстному вікні.
Хоча корисно пов’язати скасування прокляття з логічною дедукцією, це лише спрощення загальної ситуації. Наразі ми не можемо безпосередньо перевірити, чи може велика модель зробити висновок «В є А» після навчання на «А є Б». Великі моделі навчені передбачати наступне слово, яке напише людина, а не те, яким воно насправді «має» бути. Таким чином, навіть якщо LLM робить висновок, що «B є A», він може не «сказати нам», коли буде запропоновано.
Однак скасування прокляття демонструє невдачу метанавчання. Речення у формі «is» і «is» часто з’являються разом у наборі даних перед навчанням. Якщо перший з’являється в наборі даних, другий, швидше за все, з’явиться, оскільки люди часто змінюють порядок елементів у реченні чи абзаці. Таким чином, хороший метанавчається збільшить ймовірність випадків "є", коли його навчать "є". У цьому сенсі авторегресійний LLM не є хорошим метанавчанням.
Скасування прокляття привернуло увагу багатьох дослідників штучного інтелекту.Дехто каже, що знищення людства штучним інтелектом здається лише фантазією.
Інші кажуть, що це означає, що ваші навчальні дані та контекстний вміст відіграють вирішальну роль у процесі узагальнення знань.
Андрій Карпаті, відомий науковець OpenAI, сказав, що здається, що знання, отримані LLM, є набагато більш «розпорошеними», ніж ми з вами уявляли. Я досі не маю доброї інтуїції щодо цього. Вони дізнаються речі в певному «напрямку» контекстного вікна цієї події, які можуть не узагальнюватися, коли ми запитуємо в інших напрямках. Це дивне часткове узагальнення, і мені здається, що «Перевернути прокляття» — окремий випадок.
Дослідження, яке викликало суперечки, були проведені Університетом Вандербільта, Нью-Йоркським університетом, Оксфордським університетом та іншими установами. Стаття «The Reversal Curse: LLMs training on «A is B» fail to learn «B is A» »:
Папір посилання:
Посилання на GitHub:
Якщо назва та опис перевернуті, велика модель буде переплутана
Ця стаття демонструє, що LLM страждає від реверсивного прокляття через серію експериментів з тонким налаштуванням синтетичних даних. Як показано на малюнку 2, дослідник спочатку налаштував модель на основі шаблону речення (наприклад, Дафна Барінгтон є режисером фільму «Крізь час»). Результати показують, що коли форма підказки все ще є шаблон речення — , модель може дати точні відповіді, але коли її запитують іншу підказку, наприклад «Хто зняв «Подорож у часі», модель відповідає неправильно.
Фактично, як показано на малюнку 4 (експериментальна частина), логарифмічна ймовірність того, що модель дасть правильну назву, подібна до логарифмічної ймовірності дати випадкову назву. Крім того, коли порядок тестування змінюється з is < deion > на < deion > is < name >, частота помилок зростає.
Щоб уникнути скасування прокляття, дослідники спробували такі методи:
Спробуйте різні серії та різні розміри моделей;
Набір даних точного налаштування містить як шаблон речення is , так і шаблон речення is ;
Кілька інтерпретацій для кожного є, що сприяє узагальненню;
Змінити дані з <ім'я> на <питання>?.
Після серії експериментів вони надають попередні докази того, що скасування прокляття впливає на узагальнення в найсучасніших моделях (рис. 1 і частина Б). Вони протестували його на GPT-4 з 1000 запитань, таких як «Хто мама Тома Круза?» і «Хто син Мері Лі Пфайффер?» Виявилося, що в більшості випадків модель правильно відповіла на перше запитання (Who is parent), але не на друге. Ця стаття припускає, що це тому, що дані попереднього навчання містять менше прикладів батьків, які стоять перед знаменитостями (наприклад, сином Мері Лі Пфайффер є Том Круз).
Експерименти та результати
Ця стаття має на меті перевірити, чи авторегресивна мовна модель (LLM), яка вивчає «А є В» під час навчання, може узагальнюватися до протилежної форми «В є А».
У першому експерименті ми створюємо набір даних, що складається з документів у формі <ім’я> (або навпаки), де ім’я та опис є вигаданими. Крім того, дослідження використовувало GPT-4 для створення пар імен і описів. Потім ці пари даних випадковим чином розподіляються на три підмножини: NameToDeion, DeionToName та обидва. Перші дві підмножини показано на малюнку 3.
результат. При оцінці точного відповідності, коли порядок запитань тесту відповідає навчальним даним, GPT-3-175B досягає кращої точності точного відповідності. Результати наведено в таблиці 1.
Зокрема, для DeionToName (наприклад, композитором Abyssal Melodies є Uriah Hawthorne) модель досягає 96,7% точності в отриманні назви, коли отримує підказку, яка містить опис (наприклад, хто є композитором Abyssal Melodies). Для фактів у NameToDeion точність нижча – 50,0%. Навпаки, коли порядок не відповідає навчальним даним, модель взагалі не узагальнюється, а точність наближається до 0%. **
У цій статті також було проведено низку експериментів, у тому числі GPT-3-350M (Додаток A.2) і Llama-7B (Додаток A.4). Результати показують, що моделі постраждали від реверсивного прокляття.
Під час оцінки підвищеної ймовірності не було помітної різниці між логарифмічними шансами, присвоєними правильному імені, порівняно з випадковим ім’ям. Середня логарифмічна ймовірність моделі GPT-3 показана на малюнку 4. І t-тести, і тести Колмогорова-Смирнова не змогли виявити статистично значущих відмінностей.
Малюнок 4: Експеримент 1, модель не може збільшити ймовірність правильного імені, коли порядок змінюється на протилежний. На цьому графіку показано середню логарифмічну ймовірність правильного імені (порівняно з випадковим ім’ям), коли до моделі надсилається запит із відповідним описом.
Далі дослідники провели другий експеримент.
У цьому експерименті дослідники протестували моделі, засновані на фактах про справжніх знаменитостей та їхніх батьків, у формі «батько А — Б» і «Дитина Б — А». Дослідження зібрало список 1000 найпопулярніших знаменитостей з IMDB (2023) і використало GPT-4 (OpenAI API), щоб знайти батьків знаменитостей за їхніми іменами. GPT-4 зміг ідентифікувати батьків знаменитостей у 79% випадків.
Після цього, для кожної пари дитина-батько, дослідження опитує дитину за батьками. Тут показник успіху GPT-4 становить лише 33%. Малюнок 1 ілюструє це явище. Це показує, що GPT-4 може ідентифікувати Мері Лі Пфайффер як матір Тома Круза, але не може ідентифікувати Тома Круза як сина Мері Лі Пфайффер.
Крім того, дослідження оцінювало модель серії Llama-1, яка ще не була налаштована. Було виявлено, що всі моделі набагато краще ідентифікували батьків, ніж дітей (див. Малюнок 5).
Рисунок 5: Зворотний вплив на порядок батьківських і дочірніх запитань в експерименті 2. Синя смуга (ліворуч) показує ймовірність того, що модель поверне правильного батька, коли запитує дітей знаменитості; червона смуга (праворуч) показує ймовірність того, що модель буде правильною, коли замість цього запитує дітей батьків. Точність моделі Llama-1 — це ймовірність правильного завершення моделі. Точність GPT-3.5-turbo є середнім значенням 10 зразків на пару «дітей-батько», відібраних за температури = 1. Примітка: GPT-4 пропущено на малюнку, оскільки він використовується для створення списку пар дочірній-батьківський і тому має 100% точність, створюючи пару «батько». GPT-4 набирає 28% на "допоміжній".
Перспективи на майбутнє
Як пояснити зворотне прокляття в LLM? Це може потребувати подальших досліджень у майбутньому. Наразі дослідники можуть запропонувати лише короткий нарис пояснення. Коли модель оновлюється на «A є B», це оновлення градієнта може дещо змінити подання A, щоб включити інформацію про B (наприклад, у проміжному рівні MLP). Для цього оновлення градієнта також доцільно змінити представлення B, щоб включити інформацію про A. Однак оновлення градієнта є недалекоглядним і залежить від логарифма B при заданому A, а не обов’язково передбачає A в майбутньому на основі B.
Після «скасування прокляття» дослідники планують дослідити, чи може велика модель змінити інші типи зв’язків, такі як логічне значення, просторові зв’язки та зв’язки n-місць.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Найбільша помилка у великих моделях полягає в тому, що відсоток правильних відповідей майже нульовий
Я попросив GPT-3 і Llama вивчити просте знання: A є B, а потім запитав, у свою чергу, що таке B. Виявилося, що точність відповіді ШІ була нульовою.
В чому справа?
Нещодавно нова концепція під назвою «Reversal Curse» стала гарячою темою в колі ШІ, і вона вплинула на всі основні мовні моделі, які зараз популярні. Зіткнувшись із надзвичайно простими задачами, їх точність не тільки близька до нуля, але немає можливості підвищити точність.
Крім того, дослідники виявили, що ця велика помилка не має нічого спільного з розміром моделі чи поставленими запитаннями.
Ми сказали, що штучний інтелект розвинувся до етапу попереднього навчання великих моделей і, здається, нарешті опанував логічне мислення, але цього разу, здається, його повернули до початкової форми.
Рисунок 1: Невідповідність знань у GPT-4. GPT-4 правильно назвав ім'я матері Тома Круза (зліва). Однак, коли було введено ім’я матері, щоб запитати сина, не вдалося отримати «Тома Круза» (праворуч). Нове дослідження припускає, що цей ефект сортування пов’язаний зі скасуванням прокляття. Модель, навчена «А є Б», не робить автоматичного висновку «Б є А».
Якщо людина знає той факт, що «Олав Шольц був дев’ятим канцлером Федеративної Республіки Німеччини», вона зможе правильно відповісти на запитання «Хто є дев’ятим канцлером Німеччини?» Це базова форма узагальнення, яка здається нічим не примітною.
Однак дослідження показують, що модель авторегресійної мови, яка зараз популярна в області ШІ, не може бути узагальнена таким чином. Зокрема, припустимо, що навчальний набір моделі містить такі речення, як «Олаф Шольц був дев’ятим канцлером Німеччини», де ім’я «Олаф Шольц» передує опису «дев’ятий канцлер Німеччини». Потім велика модель може навчитися правильно відповідати «Хто такий Олаф Шольц?» (відповідь: дев’ятий канцлер Німеччини). Але він не може відповісти на запитання «Хто був дев’ятим канцлером Німеччини?» та будь-яку іншу підказку, яка описує, що передує імені.
Це приклад ефекту сортування, який ми називаємо «переворотним прокляттям». Якщо модель 1 навчена реченнями у формі "є" (з описом після назви), то модель не буде автоматично передбачати "є" в протилежному напрямку. Зокрема, якщо обумовлена велика мовна модель (LLM), то ймовірність моделі не буде вищою за випадкову базову лінію.
Отже, міркування **великої моделі насправді не існує? **Одна з точок зору полягає в тому, що реверсивне прокляття демонструє основний збій логічної дедукції в процесі навчання LLM. Якщо «A є B» (або, що еквівалентно, «A=B») є істинним, то логічно «B є A» слідує симетрії відношення тотожності. Графи традиційних знань поважають цю симетрію (Speer et al., 2017). Reverse the Curse показує мало узагальнень, окрім навчальних даних. Крім того, це не те, що LLM може пояснити, не розуміючи логічних висновків. LLM, такий як GPT-4, може дуже добре зробити висновок, що "B є A", якщо йому вказано "A є B" у контекстному вікні.
Хоча корисно пов’язати скасування прокляття з логічною дедукцією, це лише спрощення загальної ситуації. Наразі ми не можемо безпосередньо перевірити, чи може велика модель зробити висновок «В є А» після навчання на «А є Б». Великі моделі навчені передбачати наступне слово, яке напише людина, а не те, яким воно насправді «має» бути. Таким чином, навіть якщо LLM робить висновок, що «B є A», він може не «сказати нам», коли буде запропоновано.
Однак скасування прокляття демонструє невдачу метанавчання. Речення у формі «is» і «is» часто з’являються разом у наборі даних перед навчанням. Якщо перший з’являється в наборі даних, другий, швидше за все, з’явиться, оскільки люди часто змінюють порядок елементів у реченні чи абзаці. Таким чином, хороший метанавчається збільшить ймовірність випадків "є", коли його навчать "є". У цьому сенсі авторегресійний LLM не є хорошим метанавчанням.
Скасування прокляття привернуло увагу багатьох дослідників штучного інтелекту.Дехто каже, що знищення людства штучним інтелектом здається лише фантазією.
Інші кажуть, що це означає, що ваші навчальні дані та контекстний вміст відіграють вирішальну роль у процесі узагальнення знань.
Андрій Карпаті, відомий науковець OpenAI, сказав, що здається, що знання, отримані LLM, є набагато більш «розпорошеними», ніж ми з вами уявляли. Я досі не маю доброї інтуїції щодо цього. Вони дізнаються речі в певному «напрямку» контекстного вікна цієї події, які можуть не узагальнюватися, коли ми запитуємо в інших напрямках. Це дивне часткове узагальнення, і мені здається, що «Перевернути прокляття» — окремий випадок.
Дослідження, яке викликало суперечки, були проведені Університетом Вандербільта, Нью-Йоркським університетом, Оксфордським університетом та іншими установами. Стаття «The Reversal Curse: LLMs training on «A is B» fail to learn «B is A» »:
Папір посилання:
Посилання на GitHub:
Якщо назва та опис перевернуті, велика модель буде переплутана
Ця стаття демонструє, що LLM страждає від реверсивного прокляття через серію експериментів з тонким налаштуванням синтетичних даних. Як показано на малюнку 2, дослідник спочатку налаштував модель на основі шаблону речення (наприклад, Дафна Барінгтон є режисером фільму «Крізь час»). Результати показують, що коли форма підказки все ще є шаблон речення — , модель може дати точні відповіді, але коли її запитують іншу підказку, наприклад «Хто зняв «Подорож у часі», модель відповідає неправильно.
Фактично, як показано на малюнку 4 (експериментальна частина), логарифмічна ймовірність того, що модель дасть правильну назву, подібна до логарифмічної ймовірності дати випадкову назву. Крім того, коли порядок тестування змінюється з is < deion > на < deion > is < name >, частота помилок зростає.
Щоб уникнути скасування прокляття, дослідники спробували такі методи:
Після серії експериментів вони надають попередні докази того, що скасування прокляття впливає на узагальнення в найсучасніших моделях (рис. 1 і частина Б). Вони протестували його на GPT-4 з 1000 запитань, таких як «Хто мама Тома Круза?» і «Хто син Мері Лі Пфайффер?» Виявилося, що в більшості випадків модель правильно відповіла на перше запитання (Who is parent), але не на друге. Ця стаття припускає, що це тому, що дані попереднього навчання містять менше прикладів батьків, які стоять перед знаменитостями (наприклад, сином Мері Лі Пфайффер є Том Круз).
Експерименти та результати
Ця стаття має на меті перевірити, чи авторегресивна мовна модель (LLM), яка вивчає «А є В» під час навчання, може узагальнюватися до протилежної форми «В є А».
У першому експерименті ми створюємо набір даних, що складається з документів у формі <ім’я> (або навпаки), де ім’я та опис є вигаданими. Крім того, дослідження використовувало GPT-4 для створення пар імен і описів. Потім ці пари даних випадковим чином розподіляються на три підмножини: NameToDeion, DeionToName та обидва. Перші дві підмножини показано на малюнку 3.
результат. При оцінці точного відповідності, коли порядок запитань тесту відповідає навчальним даним, GPT-3-175B досягає кращої точності точного відповідності. Результати наведено в таблиці 1.
Зокрема, для DeionToName (наприклад, композитором Abyssal Melodies є Uriah Hawthorne) модель досягає 96,7% точності в отриманні назви, коли отримує підказку, яка містить опис (наприклад, хто є композитором Abyssal Melodies). Для фактів у NameToDeion точність нижча – 50,0%. Навпаки, коли порядок не відповідає навчальним даним, модель взагалі не узагальнюється, а точність наближається до 0%. **
У цій статті також було проведено низку експериментів, у тому числі GPT-3-350M (Додаток A.2) і Llama-7B (Додаток A.4). Результати показують, що моделі постраждали від реверсивного прокляття.
Під час оцінки підвищеної ймовірності не було помітної різниці між логарифмічними шансами, присвоєними правильному імені, порівняно з випадковим ім’ям. Середня логарифмічна ймовірність моделі GPT-3 показана на малюнку 4. І t-тести, і тести Колмогорова-Смирнова не змогли виявити статистично значущих відмінностей.
Малюнок 4: Експеримент 1, модель не може збільшити ймовірність правильного імені, коли порядок змінюється на протилежний. На цьому графіку показано середню логарифмічну ймовірність правильного імені (порівняно з випадковим ім’ям), коли до моделі надсилається запит із відповідним описом.
Далі дослідники провели другий експеримент.
У цьому експерименті дослідники протестували моделі, засновані на фактах про справжніх знаменитостей та їхніх батьків, у формі «батько А — Б» і «Дитина Б — А». Дослідження зібрало список 1000 найпопулярніших знаменитостей з IMDB (2023) і використало GPT-4 (OpenAI API), щоб знайти батьків знаменитостей за їхніми іменами. GPT-4 зміг ідентифікувати батьків знаменитостей у 79% випадків.
Після цього, для кожної пари дитина-батько, дослідження опитує дитину за батьками. Тут показник успіху GPT-4 становить лише 33%. Малюнок 1 ілюструє це явище. Це показує, що GPT-4 може ідентифікувати Мері Лі Пфайффер як матір Тома Круза, але не може ідентифікувати Тома Круза як сина Мері Лі Пфайффер.
Крім того, дослідження оцінювало модель серії Llama-1, яка ще не була налаштована. Було виявлено, що всі моделі набагато краще ідентифікували батьків, ніж дітей (див. Малюнок 5).
Рисунок 5: Зворотний вплив на порядок батьківських і дочірніх запитань в експерименті 2. Синя смуга (ліворуч) показує ймовірність того, що модель поверне правильного батька, коли запитує дітей знаменитості; червона смуга (праворуч) показує ймовірність того, що модель буде правильною, коли замість цього запитує дітей батьків. Точність моделі Llama-1 — це ймовірність правильного завершення моделі. Точність GPT-3.5-turbo є середнім значенням 10 зразків на пару «дітей-батько», відібраних за температури = 1. Примітка: GPT-4 пропущено на малюнку, оскільки він використовується для створення списку пар дочірній-батьківський і тому має 100% точність, створюючи пару «батько». GPT-4 набирає 28% на "допоміжній".
Перспективи на майбутнє
Як пояснити зворотне прокляття в LLM? Це може потребувати подальших досліджень у майбутньому. Наразі дослідники можуть запропонувати лише короткий нарис пояснення. Коли модель оновлюється на «A є B», це оновлення градієнта може дещо змінити подання A, щоб включити інформацію про B (наприклад, у проміжному рівні MLP). Для цього оновлення градієнта також доцільно змінити представлення B, щоб включити інформацію про A. Однак оновлення градієнта є недалекоглядним і залежить від логарифма B при заданому A, а не обов’язково передбачає A в майбутньому на основі B.
Після «скасування прокляття» дослідники планують дослідити, чи може велика модель змінити інші типи зв’язків, такі як логічне значення, просторові зв’язки та зв’язки n-місць.