Батько навчання з підкріпленням приєднується до AGI, щоб почати бізнес! Об’єднавшись із легендарним програмістом Кармаком, ми не покладаємось на великі моделі
Легендарний програміст Джон Кармак об’єднав зусилля з Річардом Саттоном, батьком навчання з підкріпленням, щоб створити All in AGI.
2030 Продемонструйте громадськості, що мета загального штучного інтелекту здійсненна.
І на відміну від основних методів, він не покладається на парадигми великих моделей і проводить онлайн-навчання в реальному часі.
Пара оголосила про це на спеціальному заході в Інституті машинного інтелекту (Amii) при Університеті Альберти, де Саттон викладає.
Саттон приєднається до AI-стартапу Keen Technologies Кармака, зберігаючи свою посаду викладача в Альберті.
На заході обидва чоловіки визнали, що команда Keen Technologies невелика порівняно з більшими компаніями з сотнями чи тисячами співробітників.
Це все ще в зародковому стані, і вся технічна команда компанії знаходиться на місці...
Тільки ці 4 людини стоять.
Обсяг його фінансування становить 20 мільйонів доларів, що непорівнянно з OpenAI і Anthropic, які часто збирають мільярди.
Але вони вважають, що остаточний вихідний код AGI буде такого порядку, який може написати одна людина, і може містити лише десятки тисяч рядків.
Крім того, сфера штучного інтелекту зараз переживає особливий момент із найбільшим ефектом левериджу, і невеликі команди також мають можливість зробити великий внесок.
Легендарний програміст і батько навчання з підкріпленням
Легендарний досвід Кармака, від розробки першої в світі 3D-ігри до переходу до створення ракет, приєднання до Oculus і стати ключовою фігурою в наступній Meta VR, добре відомий.
Пізніше він зайнявся штучним інтелектом і також мав відношення до OpenAI.
Одного разу він розповів в іншому інтерв’ю, що Сем Альтман запросив його приєднатися до OpenAI і вважав, що він може зіграти важливу роль в оптимізації системи.
Але Кармак вважав, що він не мав жодного розуміння сучасного ШІ в парадигмі машинного навчання на той час, тому він не погоджувався.
Це стало можливістю для нього почати розуміти ШІ.
Він попросив Іллю Суцкевера, головного наукового співробітника OpenAI, надати список обов’язкових для читання матеріалів для початку, і почав самонавчання з нуля, спочатку отримавши базове розуміння традиційних алгоритмів машинного навчання.
Коли у нього з’явився вільний час і він планував продовжувати займатися глибоким навчанням, він запропонував тижневий виклик програмування:
Надрукуйте кілька класичних статей Лекуна та відпрацюйте їх, коли мережа відключена, починаючи з формули зворотного поширення.
Через тиждень він закінчив ретріт зі згортковою нейронною мережею, створеною вручну на C++ без допомоги сучасних фреймворків глибокого навчання на Python.
Я можу лише сказати, що я захоплююся великим майстром.
У той час його основним бізнесом все ще були дослідження VR в Oculus, дочірній компанії Facebook (пізніше перейменована на Meta), і керував командою, яка запускала такі продукти, як Ouclus Go і Quest.
Однак під час цього процесу між ним та керівництвом компанії поступово виникали конфлікти та розбіжності, він вважав, що внутрішня ефективність компанії низька, і публічно висловлював своє невдоволення.
У 2019 році він пішов у відставку з посади технічного директора Oculus і став «технічним директором-консультантом», а також почав спрямовувати більше енергії на ШІ.
У серпні 2022 року він оголосив, що новий стартап AI Keen Technologies оголосив про фінансування в розмірі $20 млн. Серед інвесторів Sequoia Capital, колишній генеральний директор GitHub Нат Фрідман та інші.
Пізніше він також виявив, що насправді міг би заробити гроші всього за 20 мільйонів доларів США.
Але брати гроші в інших може викликати у нього відчуття кризи та терміновості, а також більшу рішучість довести справу до кінця.
Наприкінці 2022 року він офіційно покинув Meta і вважав VR етапом життя, який минув, а потім повністю звернувся до ШІ.
Окрім цієї очевидної основної лінії, у Кармака та ШІ є ще якась незрозуміла доля.
Його 3D-ігри в той час стимулювали попит на графічні обчислення, і графічні процесори почали розвиватися та поширюватися в ігровій сфері.
Сьогодні саме обчислювальна потужність графічного процесора підтримує розвиток штучного інтелекту. Він все ще пишається своїм внеском, коли говорить про це.
……
Інший сьогоднішній герой Саттон також є легендою.
Він відомий як батько навчання з підкріпленням і зробив важливий внесок у такі методи, як навчання різниці в часі з підкріпленням і градієнт політики. Він також є співавтором стандартного підручника з навчання з підкріпленням.
У 2017 році він приєднався до DeepMind як видатний вчений і брав участь у серії досліджень AlphaGo.Його учень Девід Сільвер є одним із головних керівників AlphaGo.
Саттон написав відому коротку статтю Гіркий урок, стверджуючи, що спроба навчити штучному інтелекту людським досвідом не спрацює. Усі прориви досі покладалися на вдосконалення обчислювальної потужності. Правильно продовжувати користуватися перевагами масштабу ефект обчислювальної потужності.
Перед офіційним спілкуванням Кармак висловив свою стурбованість і схвалення цієї статті.
Але справжній безпосередній зв’язок між ними відбувся через Саттона.
Кілька місяців тому, після того як Кармак оголосив про фінансування AGI Ventures, він отримав електронний лист від Саттона.
Саттон хотів запитати його, чи повинен його дослідницький шлях бути чисто академічним, комерційним чи некомерційним.
Однак під час подальшого обміну електронною поштою вони виявили дивовижну узгодженість напрямків і концепцій досліджень штучного інтелекту та поступово налагодили відносини співпраці.
Зокрема, вони досягли 4 консенсусу:
Усі вони вважають, що поточний розвиток AGI обмежується кількома дуже вузькими напрямками, надто покладаючись на великі дані та велику обчислювальну потужність і нехтуючи інноваціями.
Усі вважають, що надто рання комерціалізація буде перешкоджати розвитку AGI
Усі вони вірять, що остаточний AGI не буде надто складним, і одна людина може освоїти всі принципи, і навіть одна людина може написати основний код.
Усі вважають, що поява прототипів AGI у 2030 році є здійсненною метою.
Покладайтеся не лише на великі моделі, але й у невеликих команд також є можливості
Дуже сміливий гол, і глядачі теж так подумали.
Зіткнувшись з питанням «Як невелика команда може досягти такої амбітної мети?», Кармак вважав, що обсяг даних і обчислювальної потужності, необхідних для досягнення AGI, може бути не таким великим, як уявлялося.
Знімайте те, що люди бачать очима протягом цілого року, у відео зі швидкістю 30 кадрів на секунду, яке можна встановити на USB-накопичувач розміром з великий палець.
1-річна дитина має лише стільки досвіду та вже продемонструвала очевидний інтелект.
Якщо алгоритм правильний, немає потреби використовувати всі дані Інтернету для навчання AGI.
Що стосується попиту на обчислювальну потужність, він також використовує цей вид інтуїтивного мислення, щоб розглянути: обчислювальна потужність людського мозку також обмежена, далеко не досягаючи рівня великого кластера обчислювальної потужності.
Він більший за серверний вузол (вузол) і більший за шафу (стійку), але максимум лише на один порядок вище.
І з часом алгоритм стане більш ефективним, а необхідна обчислювальна потужність продовжуватиме зменшуватися.
Якщо робота Кармака над 3D-іграми, ракетами та VR, цими, здавалося б, непов’язаними напрямами роботи, має щось спільне, то це оптимізація великомасштабних систем зворотного зв’язку в реальному часі.
Саме це шукав Сем Альтман, коли запросив його приєднатися до OpenAI.
Архітектура AGI, яку він передбачав, повинна бути модульною та розподіленою, а не величезною централізованою моделлю.
Навчання також має бути безперервним онлайн-навчанням, замість поточного попереднього навчання, де більшість параметрів більше не оновлюються.
Якщо система не може працювати на частоті 30 Гц, яка оновлюється приблизно кожні 33 мілісекунди під час навчання, я не використовуватиму її.
Крім того, він сказав, що як системний програміст низького рівня, який може самостійно писати оригінальний код Cuda та керувати мережевим зв’язком, він може виконувати певну роботу, яку інші взагалі не розглядатимуть.
Він навіть не обмежується існуючою структурою глибокого навчання, але спробує більш ефективну мережеву архітектуру та методи обчислення.
Загальна мета полягає в тому, щоб імітувати віртуального агента з внутрішньою мотивацією та здатністю до постійного навчання для постійного навчання у віртуальному середовищі.
Не роботи, оскільки його досвід у будівництві ракет змусив його думати, що чим менше фізичних об’єктів йому доведеться мати справу, тим краще**.
Порівняно з Кармаком, який нещодавно залучився до AGI, Саттон витратив десятиліття на цю проблему та має більш конкретний план досліджень.
Хоча на цьому заході було сказано небагато, основна частина була написана в статті arXiv у формі «Проект Альберта».
Project Alberta пропонує уніфіковану агентську структуру, яка наголошує на універсальному досвіді, а не на конкретних навчальних наборах, фокусується на часовій узгодженості, визначає пріоритети методів, які можуть створити ефект масштабу за допомогою обчислювальної потужності, і багатоагентної взаємодії.
Також запропоновано дорожню карту з 12 кроків.
Перші шість кроків зосереджені на розробці безмодельного методу безперервного навчання, а останні шість кроків представляють екологічні моделі та планування.
Останній крок називається Посилення інтелекту (Intelligence Amplification). Агент може використовувати знання, які він навчився, щоб посилити та покращити дії, сприйняття та пізнання іншого агента відповідно до деяких загальних принципів.
Саттон вважає таке вдосконалення важливою частиною реалізації повного потенціалу штучного інтелекту.
У цьому процесі дуже важливо, але також дуже важко визначити показники для оцінки прогресу штучного інтелекту, і команда досліджує різні розробки.
Крім того, Кармак завжди був прихильником відкритого вихідного коду, але щодо питання AGI він сказав, що збереже певний ступінь відкритості, але не буде розкривати всі деталі алгоритму**.
Будучи невеликою командою, Кармак вважає, що ми повинні підтримувати новаторський дух і зосереджуватися на довгостроковому розвитку, а не на короткострокових інтересах.
Комерціалізація не буде розглядатися передчасно, і немає проміжної форми, яка може бути публічно випущена, як ChatGPT.
Стосовно того, чого можна досягти в 2030 році, Кармак вважає, що "існує AGI, який можна продемонструвати громадськості", заява Саттона: "прототипи ШІ можуть подавати ознаки життя (ознаки життя)".
2030 стає ключовим вузлом
Це не перший раз, коли 2030 і AGI з’являються одночасно.
Найкращі команди штучного інтелекту одностайно вважають приблизно 2030 рік ключовим вузлом досягнення AGI.
Наприклад, OpenAI у своєму оголошенні про виділення 20% своєї загальної обчислювальної потужності для створення відділу узгодження суперінтелекту, заявив, що ми вважаємо, що суперінтелект з’явиться в цьому десятилітті.
Навіть інвестиційне співтовариство має подібні погляди.Масайосі Сон щойно представив такий PPT на Всесвітній корпоративній конференції SoftBank.
Крім OpenAI і Keen Technologies, не так багато організацій працюють над розробкою AGI.
Найбільший конкурент OpenAI, Anthropic, який щойно залучив 4 мільярди доларів фінансування, його генеральний директор Даріо Амодей зазначив у недавньому інтерв’ю, що ШІ може поводитися як добре освічена людина протягом двох-трьох років.
Коли автори Transformer Васвані та Палмер залишили Google, вони заснували AdeptAI з метою створення загального інтелекту.
Однак на початку цього року вони раптово покинули компанію, залишивши лише одного співзасновника, Девіда Луана (крайній праворуч).
Два автори Transformer також заснували Essential AI.Бачення цієї компанії полягає в меншому «дивленні на зірок» і більш прагматичній комерціалізації великих моделей.
Вітчизняних гравців, які чітко сформулювали цілі AGI, також небагато, головними з яких є MiniMax і новостворена Dark Side of the Moon від Yang Zhilin.
Довідкові посилання:
[1]
[2]
[3]
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Батько навчання з підкріпленням приєднується до AGI, щоб почати бізнес! Об’єднавшись із легендарним програмістом Кармаком, ми не покладаємось на великі моделі
Оригінальне джерело: Qubits
Легендарний програміст Джон Кармак об’єднав зусилля з Річардом Саттоном, батьком навчання з підкріпленням, щоб створити All in AGI.
І на відміну від основних методів, він не покладається на парадигми великих моделей і проводить онлайн-навчання в реальному часі.
Саттон приєднається до AI-стартапу Keen Technologies Кармака, зберігаючи свою посаду викладача в Альберті.
На заході обидва чоловіки визнали, що команда Keen Technologies невелика порівняно з більшими компаніями з сотнями чи тисячами співробітників.
Це все ще в зародковому стані, і вся технічна команда компанії знаходиться на місці...
Тільки ці 4 людини стоять.
Але вони вважають, що остаточний вихідний код AGI буде такого порядку, який може написати одна людина, і може містити лише десятки тисяч рядків.
Крім того, сфера штучного інтелекту зараз переживає особливий момент із найбільшим ефектом левериджу, і невеликі команди також мають можливість зробити великий внесок.
Легендарний програміст і батько навчання з підкріпленням
Легендарний досвід Кармака, від розробки першої в світі 3D-ігри до переходу до створення ракет, приєднання до Oculus і стати ключовою фігурою в наступній Meta VR, добре відомий.
Пізніше він зайнявся штучним інтелектом і також мав відношення до OpenAI.
Одного разу він розповів в іншому інтерв’ю, що Сем Альтман запросив його приєднатися до OpenAI і вважав, що він може зіграти важливу роль в оптимізації системи.
Але Кармак вважав, що він не мав жодного розуміння сучасного ШІ в парадигмі машинного навчання на той час, тому він не погоджувався.
Це стало можливістю для нього почати розуміти ШІ.
Коли у нього з’явився вільний час і він планував продовжувати займатися глибоким навчанням, він запропонував тижневий виклик програмування:
Надрукуйте кілька класичних статей Лекуна та відпрацюйте їх, коли мережа відключена, починаючи з формули зворотного поширення.
Через тиждень він закінчив ретріт зі згортковою нейронною мережею, створеною вручну на C++ без допомоги сучасних фреймворків глибокого навчання на Python.
Я можу лише сказати, що я захоплююся великим майстром.
Однак під час цього процесу між ним та керівництвом компанії поступово виникали конфлікти та розбіжності, він вважав, що внутрішня ефективність компанії низька, і публічно висловлював своє невдоволення.
У серпні 2022 року він оголосив, що новий стартап AI Keen Technologies оголосив про фінансування в розмірі $20 млн. Серед інвесторів Sequoia Capital, колишній генеральний директор GitHub Нат Фрідман та інші.
Пізніше він також виявив, що насправді міг би заробити гроші всього за 20 мільйонів доларів США.
Але брати гроші в інших може викликати у нього відчуття кризи та терміновості, а також більшу рішучість довести справу до кінця.
Його 3D-ігри в той час стимулювали попит на графічні обчислення, і графічні процесори почали розвиватися та поширюватися в ігровій сфері.
Сьогодні саме обчислювальна потужність графічного процесора підтримує розвиток штучного інтелекту. Він все ще пишається своїм внеском, коли говорить про це.
……
Інший сьогоднішній герой Саттон також є легендою.
Він відомий як батько навчання з підкріпленням і зробив важливий внесок у такі методи, як навчання різниці в часі з підкріпленням і градієнт політики. Він також є співавтором стандартного підручника з навчання з підкріпленням.
У 2017 році він приєднався до DeepMind як видатний вчений і брав участь у серії досліджень AlphaGo.Його учень Девід Сільвер є одним із головних керівників AlphaGo.
Перед офіційним спілкуванням Кармак висловив свою стурбованість і схвалення цієї статті.
Кілька місяців тому, після того як Кармак оголосив про фінансування AGI Ventures, він отримав електронний лист від Саттона.
Саттон хотів запитати його, чи повинен його дослідницький шлях бути чисто академічним, комерційним чи некомерційним.
Однак під час подальшого обміну електронною поштою вони виявили дивовижну узгодженість напрямків і концепцій досліджень штучного інтелекту та поступово налагодили відносини співпраці.
Зокрема, вони досягли 4 консенсусу:
Покладайтеся не лише на великі моделі, але й у невеликих команд також є можливості
Дуже сміливий гол, і глядачі теж так подумали.
Зіткнувшись з питанням «Як невелика команда може досягти такої амбітної мети?», Кармак вважав, що обсяг даних і обчислювальної потужності, необхідних для досягнення AGI, може бути не таким великим, як уявлялося.
Що стосується попиту на обчислювальну потужність, він також використовує цей вид інтуїтивного мислення, щоб розглянути: обчислювальна потужність людського мозку також обмежена, далеко не досягаючи рівня великого кластера обчислювальної потужності.
І з часом алгоритм стане більш ефективним, а необхідна обчислювальна потужність продовжуватиме зменшуватися.
Саме це шукав Сем Альтман, коли запросив його приєднатися до OpenAI.
Архітектура AGI, яку він передбачав, повинна бути модульною та розподіленою, а не величезною централізованою моделлю.
Навчання також має бути безперервним онлайн-навчанням, замість поточного попереднього навчання, де більшість параметрів більше не оновлюються.
Крім того, він сказав, що як системний програміст низького рівня, який може самостійно писати оригінальний код Cuda та керувати мережевим зв’язком, він може виконувати певну роботу, яку інші взагалі не розглядатимуть.
Він навіть не обмежується існуючою структурою глибокого навчання, але спробує більш ефективну мережеву архітектуру та методи обчислення.
Загальна мета полягає в тому, щоб імітувати віртуального агента з внутрішньою мотивацією та здатністю до постійного навчання для постійного навчання у віртуальному середовищі.
Не роботи, оскільки його досвід у будівництві ракет змусив його думати, що чим менше фізичних об’єктів йому доведеться мати справу, тим краще**.
Хоча на цьому заході було сказано небагато, основна частина була написана в статті arXiv у формі «Проект Альберта».
Також запропоновано дорожню карту з 12 кроків.
Перші шість кроків зосереджені на розробці безмодельного методу безперервного навчання, а останні шість кроків представляють екологічні моделі та планування.
Саттон вважає таке вдосконалення важливою частиною реалізації повного потенціалу штучного інтелекту.
У цьому процесі дуже важливо, але також дуже важко визначити показники для оцінки прогресу штучного інтелекту, і команда досліджує різні розробки.
Крім того, Кармак завжди був прихильником відкритого вихідного коду, але щодо питання AGI він сказав, що збереже певний ступінь відкритості, але не буде розкривати всі деталі алгоритму**.
Будучи невеликою командою, Кармак вважає, що ми повинні підтримувати новаторський дух і зосереджуватися на довгостроковому розвитку, а не на короткострокових інтересах.
Комерціалізація не буде розглядатися передчасно, і немає проміжної форми, яка може бути публічно випущена, як ChatGPT.
Стосовно того, чого можна досягти в 2030 році, Кармак вважає, що "існує AGI, який можна продемонструвати громадськості", заява Саттона: "прототипи ШІ можуть подавати ознаки життя (ознаки життя)".
2030 стає ключовим вузлом
Це не перший раз, коли 2030 і AGI з’являються одночасно.
Найкращі команди штучного інтелекту одностайно вважають приблизно 2030 рік ключовим вузлом досягнення AGI.
Наприклад, OpenAI у своєму оголошенні про виділення 20% своєї загальної обчислювальної потужності для створення відділу узгодження суперінтелекту, заявив, що ми вважаємо, що суперінтелект з’явиться в цьому десятилітті.
Найбільший конкурент OpenAI, Anthropic, який щойно залучив 4 мільярди доларів фінансування, його генеральний директор Даріо Амодей зазначив у недавньому інтерв’ю, що ШІ може поводитися як добре освічена людина протягом двох-трьох років.
Однак на початку цього року вони раптово покинули компанію, залишивши лише одного співзасновника, Девіда Луана (крайній праворуч).
Вітчизняних гравців, які чітко сформулювали цілі AGI, також небагато, головними з яких є MiniMax і новостворена Dark Side of the Moon від Yang Zhilin.
Довідкові посилання: [1] [2] [3]