Що думають популярні китайські дослідники OpenAI, Google і Meta | Стенограма розмови

Перше джерело: Silicon Star People

Джерело зображення: створено Unbounded AI‌

Місця були заповнені, а проходи заповнені людьми.

Можна навіть подумати, що це була зустріч знаменитостей.

Але насправді це один із круглих столів на конференції GenAI у Силіконовій долині.

Його влаштували на «допоміжній сцені» опівдні, коли люди найбільш сонні. На сцені в іншій великій конференц-залі сиділо багато генеральних директорів і засновників зіркових компаній Кремнієвої долини, а цей круглий стіл був «лише» одними дослідниками. але люди все одно стікалися до маленької кімнати.

Їх метою були троє китайських дослідників. Раніше в Кремнієвій долині подібні сцени траплялися завжди, коли з’являлися «китайські керівники з найвищими посадами в компаніях Кремнієвої долини», але цього разу люди переслідували трьох молодих людей.

Сіньюнь Чень, Чунтін Чжоу та Джейсон Вей.

**Молоді китайські дослідники в трьох найважливіших зіркових компаніях ШІ в Кремнієвій долині. **

Ці три назви точно будуть знайомі людям, які уважно стежать за тенденцією великих моделей.

Сіньюнь Чен є старшим науковим співробітником команд Google Brain і DeepMind. Її наукові інтереси — синтез нейронних програм і змагальне машинне навчання. Вона отримала ступінь доктора філософії з інформатики в Каліфорнійському університеті в Берклі та ступінь бакалавра з інформатики в класі ACM в Шанхайському університеті Цзяо Тонг.

Вона брала участь у документах, у тому числі дозволяла LLM створювати власні інструменти та навчала LLM налагоджувати власний код тощо. Це всі дуже важливі та критичні документи у сфері генерації коду ШІ. Деякі ЗМІ також перебільшено описували її як члена «китайської команди Google Deepmind».

Чунтінг Чжоу є науковим співробітником Meta AI. У травні 2022 року вона отримала ступінь доктора філософії в Інституті мовних технологій Університету Карнегі-Меллона. Її нині основні наукові інтереси полягають у перетині обробки природної мови та машинного навчання, а також нових методів узгодження. Стаття, яку вона очолювала, яка намагалася використовувати меншу кількість і більш витончені зразки для навчання великих моделей, отримала високу оцінку Янна Лекуна та рекомендована в статті.Ця стаття надала галузі нові ідеї на додаток до основних методів, таких як RLHF.

Останній — Джейсон Вей з OpenAI, зірковий дослідник, якого високо поважають національні та зарубіжні спільноти ШІ. Відомий розробник COT (Chain of Thoughts). Після закінчення бакалаврату в 2020 році він став старшим науковим співробітником Google Brain.Під час своєї роботи він запропонував концепцію мисленнєвих ланцюжків, яка також є одним із ключів до появи LLM. У лютому 2023 року він приєднався до OpenAI і приєднався до команди ChatGPT.

Люди приходять до цих компаній, але більше для їх досліджень.

Багато разів на цьому форумі вони схожі на студентів. Здається, що дивишся університетську дискусію. Вони розумні, мають швидку логіку, трохи нервові, але також сповнені дотепних слів.

"Чому ти думаєш, що галюцинації - це погано?"

«Але Трамп щодня бачить галюцинації».

Почувся сміх.

Це рідкісна розмова. Нижче наведено стенограму. Люди Silicon Star також брали участь і ставили запитання.

Питання: Давайте обговоримо дуже важливе питання в LLM, яким є галюцинації. Концепція галюцинації була запропонована ще тоді, коли параметри моделі були дуже незначними, а розміри ще дуже малими. Але тепер, коли моделі стають все більшими і більшими, як змінилася проблема галюцинацій?

Чунтування: Я можу говорити першим. Три роки тому я зробив проект про галюцинації. Проблема галюцинацій, з якою ми зіткнулися в той час, дуже відрізнялася від тієї, з якою ми стикаємося зараз.Тоді ми створювали дуже маленькі моделі та обговорювали галюцинації в певних сферах, таких як переклад або резюме документів та інші функції. Але тепер зрозуміло, що проблема набагато масштабніша.

Я думаю, що є багато причин, чому великі моделі все ще викликають галюцинації. Перш за все, з точки зору тренувальних даних, оскільки у людей є галюцинації, також є проблеми з даними. Друга причина полягає в тому, що через те, як модель навчена, вона не може відповідати на запитання в режимі реального часу, і вона відповідатиме на неправильні запитання. А також недоліки в міркуванні та інші здібності можуть призвести до цієї проблеми.

Сіньюнь:** Насправді я почну цю відповідь з іншого запитання. Чому люди вважають галюцинації поганою річчю. **

У мене є історія, де мій колега поставив моделі запитання, яке також було взято з деяких банків оціночних запитань: що станеться, коли принцеса поцілує жабу. Модель відповідає, що нічого не відбувається. **

У багатьох модельних оціночних відповідях відповідь «стану принцом» є правильною відповіддю, а відповідь, що нічого не станеться, буде позначена як неправильна. **Але для мене я насправді вважаю, що це краща відповідь, і багато цікавих людей відповіли б на це. **

Причина, чому люди вважають це ілюзією, полягає в тому, що вони не замислювалися про те, коли ШІ не повинен мати галюцинацій, а коли ШІ повинен мати галюцинації.

Наприклад, може знадобитися якась творча робота, а фантазія дуже важлива. Зараз ми постійно збільшуємо модель, але одна проблема полягає в тому, що незалежно від того, наскільки вона велика, вона не може точно запам’ятати все. Люди насправді мають ту саму проблему. Я вважаю, що одну річ, яку можна зробити, це надати деякі покращені інструменти для допомоги моделі, такі як пошук, обчислення, інструменти програмування тощо. Люди можуть швидко вирішити проблему галюцинацій за допомогою цих інструментів, але моделі поки що виглядають не дуже добре. Це також питання, яке я хотів би вивчити сам.

Джейсон: **Якщо ви запитаєте мене, у Трампа галюцинації щодня. (Сміється) Ви говорите так чи ні. **

Але я думаю, що інша проблема полягає в тому, що очікування людей щодо мовних моделей змінюються. **У 2016 році, коли RNN генерує URL-адресу, ви очікуєте, що вона має бути неправильною та ненадійною. Але сьогодні, я думаю, ви очікуєте, що модель буде правильною щодо багатьох речей, тому ви також подумаєте, що галюцинації небезпечніші. Тож це насправді дуже важливий фон. **

(Джейсон Вей перерахував потенційні напрямки дослідження)

Запитайте: наступне запитання для Xinyun. Зараз дуже важливою темою в індустрії є, наприклад, самовдосконалення та самоналагодження моделі. Чи можете ви поділитися своїми дослідженнями?

Сіньюнь: Натхнення для самостійного налагодження моделі походить від того, як люди програмують. Ми знаємо, що якщо програмування людиною одного разу закінчиться, то обов’язково виникнуть проблеми та знадобиться налагодження. Для дуже потужних програмістів налагодження також є дуже важливою навичкою. Наша мета полягає в тому, щоб без будь-яких зовнішніх інструкцій і без людей, які повідомляють їй, що не так, модель могла переглянути код, який вона сама згенерувала, побачити результати операції, а потім визначити, що пішло не так. Якщо є проблема, підіть і виправте її.

І чому генерації коду допоможе самоналагодження, я думаю, є дві причини. По-перше, генерація коду в основному базується на навчанні програмі з відкритим кодом. Вона може генерувати код, який відповідає загальному напрямку, який ви хочете, але код може бути дуже довгим, містити багато помилок і не може бути запущений. Але нам не потрібно починати програмувати з нуля, а не використовувати існуючу кодову базу, тому що незалежно від того, скільки разів ви починаєте з нуля, проблема неминуча, тому необхідно генерувати код на існуючих ресурсах коду та налагоджувати стає важливим. **По-друге, процес налагодження продовжує отримувати деякі зовнішні відгуки, що дуже корисно для покращення розуміння моделі.

З: Додаткове запитання: якщо ви залишите модель сама по собі й дасте їй удосконалюватися, чи не виникне проблем?

Чунтування: одного разу ми провели дивний експеримент. У результаті агент видалив середовище розробки python після виконання коду. Якщо цей агент потрапить у реальний світ, це може погано вплинути. Це те, що ми повинні враховувати під час розробки агентів. Я також виявив, що чим менша базова модель, тим менші здібності, і її важко вдосконалювати та розмірковувати над собою. Можливо, ми зможемо навчити модель самовдосконалюватися, дозволивши їй бачити більше «помилок» під час процесу вирівнювання.

З: А як щодо Джейсона, як у вас справи та що ви думаєте про оцінювання моделей.

Джейсон: Моя особиста думка полягає в тому, що оцінювати моделі стає дедалі складніше, особливо за нової парадигми. На це є багато причин.Одна з них полягає в тому, що мовні моделі зараз використовуються в незліченних завданнях, і ви навіть не уявляєте обсяг її можливостей. Друга причина полягає в тому, що якщо ви подивитеся на історію штучного інтелекту, ми в основному вирішуємо традиційні та класичні проблеми.Цілі дуже короткострокові, а текст дуже короткий. Але тепер текст рішення довший, і навіть людям потрібно багато часу, щоб судити. Можливо, третя проблема полягає в тому, що для багатьох речей так звана правильна поведінка не дуже чітко визначена. **

Я думаю, що ми можемо зробити деякі речі, щоб покращити можливості оцінювання. Перший і найбільш очевидний – це оцінка з ширшого масштабу.Якщо ви стикаєтесь із шкідливою поведінкою, чи можна її більш конкретно розбити на менші завдання для оцінки. Інше питання, чи можна надати більше методів оцінки для конкретних завдань.Можливо, люди можуть дати деякі, а тоді штучний інтелект також може дати деякі.

З: Що ви думаєте про використання ШІ для оцінки маршруту ШІ?

Джейсон: Звучить чудово. Я думаю, що одна з тенденцій, на яку я дивлюся останнім часом, полягає в тому, чи можуть моделі, які використовуються для оцінки моделей, працювати краще. Наприклад, ідея конституційного навчання штучного інтелекту, навіть якщо продуктивність зараз не ідеальна, дуже ймовірно, що після наступного покоління GPT ці моделі працюватимуть краще, ніж люди.

**Silicon Star: Ви всі дуже молоді дослідники. Я хотів би знати, що ви, як дослідники на підприємстві, думаєте про серйозну невідповідність графічного процесора та обчислювальної потужності між підприємствами та науковими установами. **

Джейсон: Якщо ви працюєте в якомусь обмеженому середовищі, це справді може мати негативний вплив, але я думаю, що ще є місце для багато роботи, як-от частина алгоритмів, і дослідження, які можуть не дуже вимагати графічних процесорів Тем ніколи не бракує.

Чантінг: Я також відчуваю, що є багато місця та місць, які варто дослідити. Наприклад, дослідження методів вирівнювання фактично можна проводити з обмеженими ресурсами**. І, можливо, в районі затоки є більше можливостей для людей в академічних колах.

Сіньюнь: Загалом, є два загальні напрямки для LLM-досліджень: один – покращити результат, а інший – зрозуміти модель. Ми бачимо, що багато хороших фреймворків, бенчмарків тощо, а також деякі хороші алгоритми походять з академічних кіл.

Наприклад, коли я закінчив докторську дисертацію, мій науковий керівник дав мені пропозицію: **дослідники штучного інтелекту повинні думати про дослідження в часовому вимірі на багато років у майбутньому, тобто не просто розглядати вдосконалення деяких поточних речей ., але технологічна концепція, яка може призвести до радикальних змін у майбутньому. **

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Поділіться
Прокоментувати
0/400
Немає коментарів
  • Закріпити