GPT-4 лише іскра AGI? LLM зрештою вийде, світова модель - це майбутнє

Перше джерело: Xinzhiyuan

У людському пізнанні здається, що загальний штучний інтелект (AGI) давно використовувався для встановлення кінцевої форми штучного інтелекту та кінцевої мети розвитку.

Хоча OpenAI давно поставив перед компанією мету досягти AGI. Але що таке AGI, сам генеральний директор OpenAI Сем Альтман не зміг дати конкретного визначення.

Щодо того, коли з’явиться AGI, то він існує лише в наративних сценаріях найближчого майбутнього, викинутих босами. Начебто в межах досяжності, але далеко.

Сьогодні на відомому зарубіжному веб-сайті подкастів Substack ветеран індустрії штучного інтелекту Валентино Зокка, стоячи на наративній позиції людської історії, написав величаву статтю, в якій всебічно та глибоко розповідає історію людини та взагалі штучного інтелект.Відстань між інтелектом.

У статті AGI приблизно визначається як «модель, яка може зрозуміти світ», а не просто «модель, яка описує світ».

Він вважає, що якщо люди хочуть справді досягти світу AGI, їм потрібно побудувати «систему, яка може поставити під сумнів їхню власну реальність і бути здатною досліджувати себе».

У цьому великому дослідницькому процесі, можливо, ніхто не має кваліфікації та здатності дати конкретну дорожню карту.

Як пояснюють науковці OpenAI Кеннет Стенлі та Джоел Леман у своїй нещодавній книзі «Чому велич не можна спланувати», прагнення до величі має напрямок, але конкретні результати можуть бути неочікуваними.

**Як далеко ми від AGI? **

Приблизно 200 000 років тому Homo sapiens почав ходити по землі прямо, і в той же час вони також почали подорожувати в області думки та знання.

Серія відкриттів і винаходів в історії людства сформувала історію людства. Деякі з них не тільки впливають на нашу мову та мислення, але й потенційно впливають на нашу біологічну структуру.

Наприклад, відкриття вогню дало змогу первісній людині готувати їжу. Приготована їжа забезпечує більше енергії для мозку, таким чином сприяючи розвитку людського інтелекту.

Від винаходу колеса до створення парової машини людство почало промислову революцію. Електроенергія ще більше проклала шлях для технологічного розвитку, який ми маємо сьогодні, а друк прискорив широке розповсюдження нових ідей і культур, стимулюючи розвиток людських інновацій.

Проте прогрес відбувається не лише завдяки відкриттю нових фізичних вимірів, а й завдяки новим ідеям.

Історія західного світу ведеться від падіння Римської імперії до Середньовіччя, переживаючи відродження в епоху Відродження та Просвітництва.

Але з розвитком людських знань люди почали усвідомлювати власну нікчемність.

Через дві тисячі років після Сократа люди почали «знати, що вони нічого не знають», і наша Земля більше не вважалася центром Всесвіту. Сам Всесвіт розширюється, а ми в ньому лише порошинки.

Змінити сприйняття реальності

Але найбільша зміна у сприйнятті світу людиною відбулася у 20 столітті.

У 1931 році Курт Гедель опублікував теорему про неповноту.

Лише через чотири роки, щоб продовжити тему «повноти», Ейнштейн, Подольський і Розен опублікували статтю під назвою «Чи можна вважати квантово-механічний деон фізичної реальності завершеним?»

Згодом Нільс Бор спростував цю статтю, довівши справедливість квантової фізики.

Теорема Геделя показує, що навіть математика не може остаточно довести все — у людей завжди будуть факти, які неможливо довести, — тоді як квантова теорія показує, що відсутність певності в нашому світі заважає нам передбачити певні події, наприклад швидкість і швидкість електронів.

Незважаючи на знамениту заяву Ейнштейна про те, що «Бог не грає в кості зі Всесвітом», по суті, людські обмеження виявляються повністю, коли справа доходить до простого передбачення або розуміння речей у фізиці.

Як би люди не намагалися спроектувати математичний всесвіт, який керував би правилами, сформульованими людьми, такий абстрактний всесвіт завжди неповний, і в ньому приховані об’єктивні аксіоми, які неможливо довести і які неможливо спростувати.

Крім абстрактного формулювання математики, людський світ також виражається філософією, яка описує реальність.

Але люди виявляються неспроможними описати, повністю сформулювати, зрозуміти або навіть просто визначити ці уявлення.

На початку 20-го століття поняття «правда» все ще було невизначеним, а такі поняття, як «мистецтво», «краса» і «життя», не досягли базового консенсусу на рівні визначення.

Те саме стосується багатьох інших важливих понять, «мудрість» і «свідомість» також не можуть бути чітко визначені самими людьми.

Визначення інтелекту

Щоб заповнити прогалину у визначенні інтелекту, у 2007 році Легг і Харт у книзі «Загальний інтелект» запропонували визначення машинного інтелекту: «Інтелект вимірює здатність агента (Агента) досягати цілей у мінливому середовищі. ."

Подібним чином у «Вирішенні проблем і інтелекті» Хамбрик, Бургойн і Альтман стверджують, що вирішення проблем — це не просто аспект чи характеристика інтелекту, а суть інтелекту.

Ці два твердження схожі за мовним описом, і обидва вважають, що «досягти мети» можна пов’язати з «вирішити проблему».

У книзі «Mainstream Science on Intelligence: An Editorial with 52 Signatores» Готфредсон узагальнив визначення інтелекту кількома дослідниками з ширшої точки зору:

«Інтелект — це дуже загальна розумова здатність, яка включає міркування, планування, вирішення проблем, абстрактне мислення, розуміння складних ідей, швидке навчання та навчання на досвіді. Це не лише знання книг, вузькі академічні навички чи навички складання тестів. , це відображає ширшу, глибшу здатність розуміти навколишнє — здатність «захоплювати», «розуміти» речі або «вирішувати», що робити».

Це визначення виводить побудову інтелекту за межі простих «умінь вирішення проблем» і вводить два ключові виміри: здатність вчитися на досвіді та здатність розуміти навколишнє середовище.

Іншими словами, інтелект слід розглядати не як абстрактну здатність знаходити рішення загальних проблем, а радше як конкретну здатність застосовувати те, що ми навчилися з попереднього досвіду, до можливостей нашого середовища для різних ситуацій, які можуть виникнути.

Це підкреслює внутрішній зв'язок між інтелектом і навчанням.

У книзі «Як ми вчимося» Станіслас Дехане визначає навчання як «навчання — це процес формування моделі світу», що означає, що інтелект також є здатністю, яка вимагає розуміння навколишнього середовища та створення внутрішньої моделі для опису навколишнє середовище.

Отже, для інтелекту також необхідне вміння створювати моделі світу, але не тільки це вміння.

**Наскільки розумні поточні машини? **

Обговорюючи загальний штучний інтелект (AGI) і вузький штучний інтелект (Narrow AI), ми часто підкреслюємо різницю між ними.

Вузький штучний інтелект (або слабкий штучний інтелект) дуже поширений і успішний, часто перевершуючи людей у конкретних завданнях.

Наприклад, цей добре відомий приклад, у 2016 році вузький штучний інтелект AlphaGo переміг чемпіона світу Лі Шидола з рахунком 4:1 у грі Go, що є хорошим прикладом.

Однак у 2023 році шахіст-любитель Келлін Перлайн використав тактику, з якою штучний інтелект не міг впоратися, щоб виграти гру для людей на полі Го, що показує, що вузький штучний інтелект у деяких випадках дійсно має обмеження.

Йому бракує людської здатності розпізнавати незвичайну тактику та відповідним чином коригувати її.

Більше того, на найпростішому рівні навіть початківець дослідник даних розуміє, що кожна модель машинного навчання, на яку спирається штучний інтелект, потребує досягнення балансу між упередженістю та дисперсією.

Це означає навчання на основі даних, розуміння й узагальнення рішень, а не просто запам’ятовування.

Вузький штучний інтелект використовує обчислювальну потужність і ємність пам’яті комп’ютерів для відносно легкого створення складних моделей на основі великих обсягів даних спостереження.

Однак, коли умови дещо змінюються, ці моделі часто не можна узагальнити.

Це було б так, якби ми придумали теорію гравітації, щоб описати Землю на основі спостережень, а потім виявили, що об’єкти на Місяці набагато легші.

Якщо ми використовуємо змінні замість чисел на основі наших теоретичних знань про гравітацію, ми зможемо зрозуміти, як використовувати правильні значення, щоб швидко передбачити величину гравітації на кожній планеті чи місяці.

Але якщо ми просто використовуємо числові рівняння без змінних, ми не зможемо правильно узагальнити ці рівняння на інші планети, не переписавши їх.

Іншими словами, штучний інтелект може бути не в змозі справді «навчатися», а лише дистилювати інформацію чи досвід. ШІ не розуміє, формуючи цілісну модель світу, а лише створюючи короткий виклад.

**Ми вже досягли AGI? **

Зараз AGI зазвичай розуміється як: система штучного інтелекту, яка може розуміти та міркувати в багатьох когнітивних сферах на рівні людини або вище, тобто потужний штучний інтелект.

І наш нинішній штучний інтелект для конкретних завдань — це лише слабкий штучний інтелект, такий як AlphaGO of Go.

AGI являє собою систему штучного інтелекту з інтелектом людського рівня, що охоплює різні сфери в області абстрактного мислення.

Це означає, що для AGI нам потрібна модель світу, яка відповідає досвіду та може робити точні прогнози.

Як зазначають Еверітт, Лі та Хаттер у «Огляді літератури з безпеки» (AGI Safety Literature Review): AGI ще не тут.

Щодо запитання «Наскільки ми далекі від справжнього AGI?», різні прогнози дуже відрізняються.

Але це узгоджується з поглядами більшості дослідників штучного інтелекту та авторитетних установ, тобто до справжнього загального штучного інтелекту людям залишилося принаймні кілька років.

Після випуску GPT-4, який зіткнувся з найпотужнішим штучним інтелектом на даний момент, багато людей вважають GPT-4 іскрою AGI.

13 квітня партнер OpenAI Microsoft випустив статтю «Іскри загального штучного інтелекту: ранні експерименти з GPT-4» (Sparks of General Artificial Intelligence: Early experiments with GPT-4).

Адреса паперу:

в якому згадується:

«GPT-4 не тільки опановує мову, але й вирішує найсучасніші завдання з математики, програмування, зору, медицини, права, психології та інших галузей, не вимагаючи спеціальних підказок.

І у всіх перерахованих вище завданнях рівень продуктивності GPT-4 майже на рівні людини. Базуючись на широті та глибині можливостей GPT-4, ми вважаємо, що його можна розумно розглядати як майже, але не повну версію загального штучного інтелекту. "

Але як прокоментував Маартен Сап, професор Університету Карнегі-Меллона, «іскра AGI» є лише прикладом того, що деякі великі компанії включають дослідницькі роботи як зв’язки з громадськістю.

З іншого боку, дослідник і машинний підприємець Родні Брукс вказує на помилкове уявлення: «Оцінюючи функціональність таких систем, як ChatGPT, ми часто ототожнюємо продуктивність із можливостями».

Помилкове прирівнювання продуктивності до здібностей означає, що GPT-4 генерує підсумкові описи світу, які він вважає розумінням реального світу.

Це пов’язано з даними, на яких навчається модель AI.

Більшість сучасних моделей навчаються лише на тексті й не мають здатності говорити, чути, відчувати запахи та жити в реальному світі.

Ця ситуація схожа на платонівську алегорію про печеру: люди, які живуть у печері, бачать лише тінь на стіні, але не можуть визнати реальне існування речей.

Світові моделі, навчені лише на тексті, гарантовано будуть лише граматично правильними. Але, по суті, він не розуміє, до чого відноситься мова, і йому не вистачає здорового сенсу прямого контакту з навколишнім середовищем.

Основні обмеження поточної великої моделі

Найбільш суперечливою проблемою великих мовних моделей (LLM) є їх схильність до галюцинацій.

Галюцинації стосуються ситуацій, коли модель фальсифікує посилання та факти або спотворює логічні умовиводи, причинно-наслідкові висновки тощо та створює безглуздий вміст.

Ілюзія великих мовних моделей походить від нерозуміння ними причинно-наслідкових зв’язків між подіями.

У статті «Is ChatGPT a Good Causal Reasoner? A Comprehensive uation» дослідники підтвердили цей факт:

Великі мовні моделі, такі як ChatGPT, незалежно від того, чи існує зв’язок у реальності, вони схильні припускати, що між подіями існує причинно-наслідковий зв’язок.

Адреса паперу:

Нарешті дослідники дійшли висновку:

«ChatGPT чудово пояснює причинно-наслідкові зв’язки, але не є хорошим причинним висновком».

Так само цей висновок можна поширити на інші LLM.

Це означає, що LLM по суті має лише здатність до причинної індукції через спостереження, але не здатність до причинної дедукції.

Це також призводить до обмежень LLM.Якщо інтелект означає навчання на досвіді та перетворення вивченого змісту в модель світу для розуміння навколишнього середовища, то причинний висновок, як основний елемент навчання, неможливий для інтелекту.відсутня частина.

Існуючі LLM не мають цього аспекту, тому Янн ЛеКун вважає, що поточна модель великої мови не може стати AGI.

на завершення

Як показало народження квантової механіки на початку 20 століття, реальність часто відрізняється від нашої інтуїції, сформованої щоденними спостереженнями.

Мова, знання, текстові дані, навіть відео, аудіо та інші матеріали, які ми створюємо, є лише дуже обмеженою частиною реальності, яку ми можемо відчути.

Подібно до того, як ми досліджуємо, вивчаємо та опановуємо реальність, яка суперечить нашій інтуїції та досвіду, AGI буде по-справжньому реалізований лише тоді, коли ми зможемо створювати системи, які мають здатність ставити під сумнів власну реальність, здатні до самодослідження.

І принаймні на цьому етапі ми повинні побудувати модель, яка може робити причинно-наслідкові висновки та розуміти світ.

Ця перспектива є ще одним кроком вперед в історії людства, що передбачає краще розуміння природи нашого світу.

Незважаючи на те, що поява AGI послабить нашу унікальну цінність і важливість нашого існування, завдяки постійному прогресу та розширенню когнітивних меж ми чіткіше зрозуміємо статус людей у Всесвіті, а також відносини між людьми та відносини з ними. Всесвіт.

Література: