Отец обучения с подкреплением присоединяется к AGI, чтобы начать свой бизнес! Объединившись с легендарным программистом Кармаком, мы не полагаемся на большие модели.
Легендарный программист Джон Кармак объединил усилия с Ричардом Саттоном, отцом обучения с подкреплением, чтобы создать All in AGI.
2030 Продемонстрировать общественности, что цель создания общего искусственного интеллекта достижима.
И в отличие от традиционных методов, он не опирается на парадигмы крупных моделей и предполагает онлайн-обучение в режиме реального времени.
Пара сделала это заявление на специальном мероприятии в Институте машинного интеллекта (Amii) Университета Альберты, где преподает Саттон.
Саттон присоединится к стартапу Кармака в области искусственного интеллекта Keen Technologies, сохранив при этом свою преподавательскую должность в Альберте.
Оба мужчины признались на мероприятии, что команда Keen Technologies невелика по сравнению с более крупными компаниями с сотнями или тысячами сотрудников.
Он все еще находится в зачаточном состоянии, и вся техническая команда компании находится на месте…
Стоят только эти 4 человека.
Масштаб его финансирования составляет 20 миллионов долларов США, что несравнимо с OpenAI и Anthropic, которые часто собирают миллиарды.
Но они полагают, что окончательный исходный код AGI будет такого уровня, который может написать один человек, и может содержать всего лишь десятки тысяч строк.
Более того, сфера ИИ в настоящее время переживает особый момент с наибольшим эффектом рычага, и небольшие команды также имеют возможность внести большой вклад.
Легендарный программист и отец обучения с подкреплением
Легендарный опыт Кармака, от разработки первой в мире 3D-игры до перехода к созданию ракет, присоединения к Oculus и становления ключевой фигурой в более поздней версии Meta VR, хорошо известен.
Позже он стал заниматься искусственным интеллектом, а также имел отношение к OpenAI.
Однажды в другом интервью он рассказал, что Сэм Альтман пригласил его присоединиться к OpenAI и верил, что он сможет сыграть важную роль в оптимизации системы.
Но Кармак считал, что в то время у него не было никакого понимания современного ИИ в парадигме машинного обучения, поэтому он не согласился.
Это стало для него возможностью начать понимать ИИ.
Он попросил у Ильи Суцкевера, главного научного сотрудника OpenAI, список того, что обязательно нужно прочитать для начала работы, и начал самообучение с нуля, сначала получив базовое понимание традиционных алгоритмов машинного обучения.
Когда у него появилось немного свободного времени и он планировал продолжить заниматься глубоким обучением, он придумал недельное задание по программированию:
Распечатайте несколько классических статей ЛеКуна и попрактикуйтесь в них, когда сеть отключена, начиная с формулы обратного распространения ошибки.
По прошествии недели он завершил ретрит с помощью сверточной нейронной сети, созданной вручную на C++, без помощи современных фреймворков глубокого обучения на Python.
Могу сказать только одно: я восхищаюсь великим мастером.
В то время его основным бизнесом все еще было исследование виртуальной реальности в Oculus, дочерней компании Facebook (позже переименованной в Meta), и он руководил командой по запуску таких продуктов, как Ouclus Go и Quest.
Однако в ходе этого процесса между ним и руководством компании постепенно возникали конфликты и разногласия.Он считал, что внутренняя эффективность компании низкая, а также публично выражал свое недовольство.
В 2019 году он ушел с поста технического директора Oculus и стал «консультативным техническим директором» и начал уделять больше внимания искусственному интеллекту.
В августе 2022 года он объявил, что новый стартап в области искусственного интеллекта Keen Technologies объявил о финансировании в размере 20 миллионов долларов США, в число инвесторов входят Sequoia Capital, бывший генеральный директор GitHub Нат Фридман и другие.
Позже он также рассказал, что действительно может заработать деньги всего за 20 миллионов долларов США.
Но получение денег от других может дать ему ощущение кризиса и срочности, а также укрепить решимость добиться цели.
В конце 2022 года он официально покинул Meta и расценил VR как пройденный этап жизни, а затем полностью обратился к AI.
Помимо этой очевидной основной линии, у Кармака и ИИ есть ещё какая-то необъяснимая судьба.
Его 3D-игры в то время стимулировали спрос на графические вычисления, и графические процессоры начали развиваться и расширяться в игровой сфере.
Сегодня именно вычислительная мощность графического процессора поддерживает взрывной рост развития искусственного интеллекта, и он до сих пор гордится своим вкладом, говоря об этом.
……
Другой сегодняшний герой, Саттон, тоже легенда.
Он известен как отец обучения с подкреплением и внес важный вклад в такие методы, как обучение с разницей во времени с подкреплением и политический градиент.Он также является соавтором стандартного учебника по обучению с подкреплением.
В 2017 году он присоединился к DeepMind как выдающийся учёный и участвовал в серии исследований AlphaGo.Его ученик Дэвид Сильвер — один из главных лидеров AlphaGo.
Саттон написал знаменитую короткую статью Горький урок, в которой утверждает, что попытки передать человеческий опыт ИИ не сработают. вычислительная мощность.
Прежде чем они официально общались, Кармак выразил обеспокоенность и одобрение этой статьи.
Но настоящую прямую связь между ними установил Саттон.
Несколько месяцев назад, после того как Кармак объявил о финансировании AGI Ventures, он получил электронное письмо от Саттона.
Саттон хотел спросить его, должен ли его исследовательский путь быть чисто академическим, коммерческим или некоммерческим.
Однако в ходе последующего обмена электронными письмами они обнаружили удивительную последовательность в направлениях и концепциях исследований ИИ, и постепенно установили отношения сотрудничества.
В частности, они достигли 4 консенсуса:
Все они считают, что нынешнее развитие AGI ограничено несколькими очень узкими направлениями, слишком сильно полагаясь на большие данные и большие вычислительные мощности и пренебрегая инновациями.
Все считают, что слишком ранняя коммерциализация будет мешать развитию ОИИ.
Все они считают, что финальный AGI не будет слишком сложным, и один человек сможет освоить все принципы, и даже один человек сможет написать основной код.
Все считают, что появление прототипов AGI в 2030 году — достижимая цель.
Не только полагайтесь на большие модели, у небольших команд также есть возможности
Очень смелый гол, и зрители тоже так считали.
Столкнувшись с вопросом: «Как небольшая команда может достичь такой амбициозной цели?», Кармак полагал, что объем данных и вычислительная мощность, необходимые для достижения AGI, могут быть не такими большими, как предполагалось.
Запечатлейте то, что люди видят глазами в течение целого года, в видео с частотой 30 кадров в секунду, которое можно установить на USB-накопитель размером с большой палец.
Годовалый ребенок имеет еще столько-то данных об опыте и уже проявил явный интеллект.
Если алгоритм правильный, то для обучения AGI нет необходимости использовать весь интернет-данный.
Что касается спроса на вычислительную мощность, он также использует такое интуитивное мышление, чтобы учитывать: вычислительная мощность человеческого мозга также ограничена и далека от уровня большого кластера вычислительной мощности.
Он больше серверного узла (узла) и больше шкафа (стойки), но максимум выше лишь на порядок.
И со временем алгоритм станет более эффективным, а требуемая вычислительная мощность будет продолжать уменьшаться.
Если в работах Кармака над 3D-играми, ракетами и виртуальной реальностью (этими, казалось бы, не связанными между собой областями) есть что-то общее, то это оптимизация крупномасштабных систем обратной связи в реальном времени.
Это то, что искал Сэм Альтман, когда пригласил его присоединиться к OpenAI.
Архитектура AGI, по его замыслу, должна быть модульной и распределенной, а не огромной централизованной моделью.
Обучение также должно быть непрерывным онлайн-обучением, а не текущим предварительным обучением, при котором большинство параметров больше не обновляются.
Суть в том, что если система не может работать на частоте 30 Гц, которая обновляется каждые 33 миллисекунды или около того во время обучения, я не буду ее использовать.
Далее он сказал, что как системный программист низкого уровня, который может писать оригинальный код Cuda и самостоятельно управлять сетевым взаимодействием, он может выполнять некоторую работу, которую другие вообще не будут рассматривать.
Он даже не ограничивается существующей структурой глубокого обучения, но будет пробовать более эффективную сетевую архитектуру и методы вычислений.
Общая цель — смоделировать виртуального агента с внутренней мотивацией и способностью непрерывного обучения непрерывно учиться в виртуальной среде.
Не роботы, потому что его опыт в строительстве ракет заставил его думать, что чем с меньшим количеством физических объектов ему придется иметь дело, тем лучше**.
По сравнению с Кармаком, который совсем недавно занялся ОИИ, Саттон потратил на эту проблему десятилетия и имеет более конкретный план исследований.
Хотя на этом мероприятии было сказано немного, основная часть была написана в документе arXiv под названием «Проект Альберта».
Проект Альберта предлагает единую структуру агентов, которая делает упор на универсальный опыт, а не на конкретные обучающие наборы, фокусируется на временной согласованности, отдает приоритет методам, которые могут создавать эффекты масштабирования с помощью вычислительной мощности, и многоагентному взаимодействию.
Также была предложена дорожная карта из 12 шагов.
Первые шесть шагов направлены на разработку метода непрерывного обучения без моделей, а последние шесть шагов знакомят с моделями окружающей среды и планированием.
Последний шаг называется Усиление интеллекта (Усиление интеллекта).Агент может использовать полученные знания для усиления и усиления действия, восприятия и познания другого агента в соответствии с некоторыми общими принципами.
Саттон рассматривает такого рода усовершенствования как важную часть реализации всего потенциала искусственного интеллекта.
В этом процессе очень важно, но в то же время очень сложно определить показатели для оценки прогресса ИИ, и команда изучает различные разработки.
Кроме того, Кармак всегда был сторонником открытого исходного кода, но по вопросу AGI он заявил, что сохранит определенную степень открытости, но не будет раскрывать все детали алгоритма**.
Кармак считает, что нам, небольшой команде, необходимо сохранять новаторский дух и сосредоточиться на долгосрочном развитии, а не на краткосрочных интересах.
Коммерциализация не будет рассматриваться преждевременно, и не существует промежуточной формы, которая могла бы быть публично выпущена, как ChatGPT.
Что касается того, чего можно достичь в 2030 году, Кармак считает, что "есть ОИИ, который можно продемонстрировать публике", заявление Саттона звучит так: "Прототипы ИИ могут подавать признаки жизни (признаки жизни)".
2030 год станет ключевым узлом
Это не первый раз, когда 2030 и AGI появляются одновременно.
Ведущие команды ИИ единогласно считают, что 2030 год станет ключевым моментом для достижения AGI.
Например, компания OpenAI в своем объявлении о выделении 20% своих общих вычислительных мощностей для создания отдела координации суперинтеллекта заявила, что мы верим, что суперинтеллект появится в этом десятилетии.
Даже инвестиционное сообщество придерживается схожих взглядов.
Помимо OpenAI и Keen Technologies, над разработкой AGI работает не так много организаций.
Крупнейший конкурент OpenAI, Anthropic, который только что привлек финансирование в размере 4 миллиардов долларов, его генеральный директор Дарио Амодей упомянул в недавнем интервью, что ИИ может вести себя как хорошо образованный человек в течение двух или трех лет.
Когда авторы «Трансформера» Васвани и Палмер покинули Google, они основали AdeptAI с целью создания общего интеллекта.
Однако в начале этого года они внезапно покинули компанию, оставив только одного соучредителя, Дэвида Луана (крайний справа).
Два автора «Трансформера» также основали компанию Essential AI.Видение этой компании заключается не в «смотрении на звезды», а в более прагматичной коммерциализации больших моделей.
Также не так много отечественных игроков, четко сформулировавших цели AGI, основными из них являются MiniMax и недавно основанная Ян Чжилинь Темная сторона Луны.
Справочные ссылки:
[1]
[2]
[3]
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Отец обучения с подкреплением присоединяется к AGI, чтобы начать свой бизнес! Объединившись с легендарным программистом Кармаком, мы не полагаемся на большие модели.
Первоисточник: Кубиты
Легендарный программист Джон Кармак объединил усилия с Ричардом Саттоном, отцом обучения с подкреплением, чтобы создать All in AGI.
И в отличие от традиционных методов, он не опирается на парадигмы крупных моделей и предполагает онлайн-обучение в режиме реального времени.
Саттон присоединится к стартапу Кармака в области искусственного интеллекта Keen Technologies, сохранив при этом свою преподавательскую должность в Альберте.
Оба мужчины признались на мероприятии, что команда Keen Technologies невелика по сравнению с более крупными компаниями с сотнями или тысячами сотрудников.
Он все еще находится в зачаточном состоянии, и вся техническая команда компании находится на месте…
Стоят только эти 4 человека.
Но они полагают, что окончательный исходный код AGI будет такого уровня, который может написать один человек, и может содержать всего лишь десятки тысяч строк.
Более того, сфера ИИ в настоящее время переживает особый момент с наибольшим эффектом рычага, и небольшие команды также имеют возможность внести большой вклад.
Легендарный программист и отец обучения с подкреплением
Легендарный опыт Кармака, от разработки первой в мире 3D-игры до перехода к созданию ракет, присоединения к Oculus и становления ключевой фигурой в более поздней версии Meta VR, хорошо известен.
Позже он стал заниматься искусственным интеллектом, а также имел отношение к OpenAI.
Однажды в другом интервью он рассказал, что Сэм Альтман пригласил его присоединиться к OpenAI и верил, что он сможет сыграть важную роль в оптимизации системы.
Но Кармак считал, что в то время у него не было никакого понимания современного ИИ в парадигме машинного обучения, поэтому он не согласился.
Это стало для него возможностью начать понимать ИИ.
Когда у него появилось немного свободного времени и он планировал продолжить заниматься глубоким обучением, он придумал недельное задание по программированию:
Распечатайте несколько классических статей ЛеКуна и попрактикуйтесь в них, когда сеть отключена, начиная с формулы обратного распространения ошибки.
По прошествии недели он завершил ретрит с помощью сверточной нейронной сети, созданной вручную на C++, без помощи современных фреймворков глубокого обучения на Python.
Могу сказать только одно: я восхищаюсь великим мастером.
Однако в ходе этого процесса между ним и руководством компании постепенно возникали конфликты и разногласия.Он считал, что внутренняя эффективность компании низкая, а также публично выражал свое недовольство.
В августе 2022 года он объявил, что новый стартап в области искусственного интеллекта Keen Technologies объявил о финансировании в размере 20 миллионов долларов США, в число инвесторов входят Sequoia Capital, бывший генеральный директор GitHub Нат Фридман и другие.
Позже он также рассказал, что действительно может заработать деньги всего за 20 миллионов долларов США.
Но получение денег от других может дать ему ощущение кризиса и срочности, а также укрепить решимость добиться цели.
Его 3D-игры в то время стимулировали спрос на графические вычисления, и графические процессоры начали развиваться и расширяться в игровой сфере.
Сегодня именно вычислительная мощность графического процессора поддерживает взрывной рост развития искусственного интеллекта, и он до сих пор гордится своим вкладом, говоря об этом.
……
Другой сегодняшний герой, Саттон, тоже легенда.
Он известен как отец обучения с подкреплением и внес важный вклад в такие методы, как обучение с разницей во времени с подкреплением и политический градиент.Он также является соавтором стандартного учебника по обучению с подкреплением.
В 2017 году он присоединился к DeepMind как выдающийся учёный и участвовал в серии исследований AlphaGo.Его ученик Дэвид Сильвер — один из главных лидеров AlphaGo.
Прежде чем они официально общались, Кармак выразил обеспокоенность и одобрение этой статьи.
Несколько месяцев назад, после того как Кармак объявил о финансировании AGI Ventures, он получил электронное письмо от Саттона.
Саттон хотел спросить его, должен ли его исследовательский путь быть чисто академическим, коммерческим или некоммерческим.
Однако в ходе последующего обмена электронными письмами они обнаружили удивительную последовательность в направлениях и концепциях исследований ИИ, и постепенно установили отношения сотрудничества.
В частности, они достигли 4 консенсуса:
Не только полагайтесь на большие модели, у небольших команд также есть возможности
Очень смелый гол, и зрители тоже так считали.
Столкнувшись с вопросом: «Как небольшая команда может достичь такой амбициозной цели?», Кармак полагал, что объем данных и вычислительная мощность, необходимые для достижения AGI, могут быть не такими большими, как предполагалось.
Что касается спроса на вычислительную мощность, он также использует такое интуитивное мышление, чтобы учитывать: вычислительная мощность человеческого мозга также ограничена и далека от уровня большого кластера вычислительной мощности.
И со временем алгоритм станет более эффективным, а требуемая вычислительная мощность будет продолжать уменьшаться.
Это то, что искал Сэм Альтман, когда пригласил его присоединиться к OpenAI.
Архитектура AGI, по его замыслу, должна быть модульной и распределенной, а не огромной централизованной моделью.
Обучение также должно быть непрерывным онлайн-обучением, а не текущим предварительным обучением, при котором большинство параметров больше не обновляются.
Далее он сказал, что как системный программист низкого уровня, который может писать оригинальный код Cuda и самостоятельно управлять сетевым взаимодействием, он может выполнять некоторую работу, которую другие вообще не будут рассматривать.
Он даже не ограничивается существующей структурой глубокого обучения, но будет пробовать более эффективную сетевую архитектуру и методы вычислений.
Общая цель — смоделировать виртуального агента с внутренней мотивацией и способностью непрерывного обучения непрерывно учиться в виртуальной среде.
Не роботы, потому что его опыт в строительстве ракет заставил его думать, что чем с меньшим количеством физических объектов ему придется иметь дело, тем лучше**.
Хотя на этом мероприятии было сказано немного, основная часть была написана в документе arXiv под названием «Проект Альберта».
Также была предложена дорожная карта из 12 шагов.
Первые шесть шагов направлены на разработку метода непрерывного обучения без моделей, а последние шесть шагов знакомят с моделями окружающей среды и планированием.
Саттон рассматривает такого рода усовершенствования как важную часть реализации всего потенциала искусственного интеллекта.
В этом процессе очень важно, но в то же время очень сложно определить показатели для оценки прогресса ИИ, и команда изучает различные разработки.
Кроме того, Кармак всегда был сторонником открытого исходного кода, но по вопросу AGI он заявил, что сохранит определенную степень открытости, но не будет раскрывать все детали алгоритма**.
Кармак считает, что нам, небольшой команде, необходимо сохранять новаторский дух и сосредоточиться на долгосрочном развитии, а не на краткосрочных интересах.
Коммерциализация не будет рассматриваться преждевременно, и не существует промежуточной формы, которая могла бы быть публично выпущена, как ChatGPT.
Что касается того, чего можно достичь в 2030 году, Кармак считает, что "есть ОИИ, который можно продемонстрировать публике", заявление Саттона звучит так: "Прототипы ИИ могут подавать признаки жизни (признаки жизни)".
2030 год станет ключевым узлом
Это не первый раз, когда 2030 и AGI появляются одновременно.
Ведущие команды ИИ единогласно считают, что 2030 год станет ключевым моментом для достижения AGI.
Например, компания OpenAI в своем объявлении о выделении 20% своих общих вычислительных мощностей для создания отдела координации суперинтеллекта заявила, что мы верим, что суперинтеллект появится в этом десятилетии.
Крупнейший конкурент OpenAI, Anthropic, который только что привлек финансирование в размере 4 миллиардов долларов, его генеральный директор Дарио Амодей упомянул в недавнем интервью, что ИИ может вести себя как хорошо образованный человек в течение двух или трех лет.
Однако в начале этого года они внезапно покинули компанию, оставив только одного соучредителя, Дэвида Луана (крайний справа).
Также не так много отечественных игроков, четко сформулировавших цели AGI, основными из них являются MiniMax и недавно основанная Ян Чжилинь Темная сторона Луны.
Справочные ссылки: [1] [2] [3]