Эта волна развития ИИ настолько быстро распространила свое влияние на различные области, что действительно превзошла ожидания большинства людей. На прошлой неделе компания Sequoia (Sequoia America) посчитала, что ИИ открыл свою вторую главу, и нарисовала новую карту ИИ и карту стека (стека) разработчиков LLM с точки зрения сценариев применения.
Однако, судя по направлению средств, нынешнее развитие ИИ, похоже, все еще находится на стадии борьбы между богами, и эта закономерность, похоже, уже почти сформировалась. После того, как OpenAI получила почти 11 миллиардов долларов США от Microsoft и других и была оценена почти в 29 миллиардов долларов США, ее конкурент Anthropic вчера объявила об альянсе с Amazon. Amazon инвестирует в него до 4 миллиардов долларов США, что делает Anthropic вторым после OpenAI. с точки зрения финансирования AI-стартапов.
После этого финансирования, за исключением Apple, в индустрии искусственного интеллекта сформировалась такая модель борьбы богов:
Майкрософт + ОпенАИ
Google + ДипМайнд
Мета + МетаАИ
Амазонка + Антропный
Тесла + xAI
Конечно, стратегия Nvidia как поставщика низкоуровневой инфраструктуры такова, что очевидно, что все этого хотят, и не существует очень серьезной позиции в отношении какой-либо конкретной компании. Ниже представлена общая ситуация с 15 «единорогами» ИИ.
Сегодня a16z поделились своими беседами с основателями нескольких ведущих ИИ-компаний, полагая, что мы живем в третью эпоху вычислений, и обсудили 16 интересных тем с точки зрения настоящего, будущего и открытости ИИ. Среди участников этого разговора:
Партнер a16z Мартин Касадо
Технический директор OpenAI Мира Мурати
Сооснователь и генеральный директор Roblox Дэвид Басуки.
Соучредитель и генеральный директор Figma Дилан Филд
Соучредитель и генеральный директор Anthropic Дарио Амодей.
Технический директор и исполнительный вице-президент Microsoft по искусственному интеллекту Кевин Скотт
Основатель и генеральный директор insitro Дафна Коллер
Соучредитель и генеральный директор Databricks Али Годси.
Соучредитель и генеральный директор Feature.AI Ноам Шазир
Поскольку статья слишком длинная, почти 10 000 слов, я использовал AI для ее краткого составления. Некоторые термины могут быть неточными. Заинтересованные друзья могут прочитать оригинальный английский текст:
1 Мы находимся в начале третьей эры вычислений
Мартин Касадо, a16z:
Я действительно думаю, что мы, возможно, вступаем в третью эру вычислений. Микрочипы сократили предельные издержки вычислений до нуля, Интернет снизил предельные издержки распространения до нуля, а теперь большие модели фактически снизили предельные издержки создания до нуля. Когда происходили предыдущие эпохи, вы понятия не имели, какие новые компании будут созданы. Никто не предсказал Amazon, никто не предсказал Yahoo. Нам следует готовиться к новой волне знаковых компаний. Ноам Шазир, AI персонажа:
Мы действительно переживаем момент «первого самолета братьев Райт». У нас уже есть что-то, что работает и теперь полезно для большого количества сценариев применения. Похоже, он очень хорошо масштабируется и станет еще лучше. Но впереди нас ждут еще большие прорывы, потому что сейчас все ученые в области искусственного интеллекта в мире усердно работают над тем, чтобы сделать эти вещи лучше. Кевин Скотт, Microsoft:
Особенно в последние несколько лет, а может быть, особенно в последние 12 месяцев, с запуском ChatGPT и GPT-4, вы действительно можете увидеть, что потенциал этой платформы такой же, как у ПК или смартфона. Ряд технологий сделает возможным множество новых вещей, и многие люди будут создавать вещи на основе этих новых вещей. ## 2 Эта волна генеративного искусственного интеллекта имеет экономические принципы, которые способствуют рыночной трансформации.
Чтобы технологические инновации вызвали рыночную трансформацию, экономические выгоды должны быть очень привлекательными. Хотя в предыдущих циклах ИИ было много технологических достижений, им не хватало преобразующих экономических выгод. В нынешней волне развития ИИ мы уже видим первые признаки экономического улучшения в 10 000 раз (или более) в некоторых случаях использования, и в результате внедрение и развитие ИИ, по-видимому, происходит быстрее, чем любой предыдущий сдвиг. Гораздо больше.
Мартин Касадо, a16z:
Рыночная трансформация не происходит за счет десятикратного экономического улучшения. Они создаются тогда, когда становятся в десять тысяч раз лучше, чем раньше. Допустим, я хочу создать изображение, которое превращает меня в персонажа Pixar. Если я использую одну из этих моделей изображений, стоимость вывода составит одну десятую цента и, скажем, это займет 1 секунду. Если сравнивать с наймом художника-графика, предположим, что почасовая ставка составляет 100 долларов. С точки зрения стоимости и времени вы увидите огромную разницу в 4–5 порядков. Для экономистов это тот тип поворотного момента, который они ищут, когда на самом деле происходит огромный переворот на рынке.
Если вам нужен пример того, насколько это может быть безумием, я не вижу причин, по которым вы не могли бы создать полную игру — 3D-модели, персонажей, звуки, музыку, сюжет и т. д. Стартапы сейчас делают все это, и если вы сравните стоимость сотен миллионов долларов и лет со стоимостью нескольких долларов, то теперь мы имеем асимметрию в экономике на уровне Интернета и микрочипов.
3 Для некоторых ранних сценариев применения: Креативность > Корректность.
Галлюцинации — хорошо известная проблема сегодняшних LLM для больших моделей, но для некоторых приложений способность выдумывать вещи является особенностью, а не ошибкой. По сравнению с ранними вариантами применения машинного обучения, где корректность n-уровня имеет решающее значение (например, беспилотные автомобили), многие из ранних вариантов использования LLM (виртуальные друзья и компаньоны, концепции мозгового штурма или создание онлайн-игр) характеризуются: Фокус В областях, где творчество важнее правильности.
Ноам Шазир, Персонаж.AI:
Развлечения — это индустрия с оборотом в 2 триллиона долларов в год. И темный секрет в том, что развлечения — это ваши несуществующие виртуальные друзья. Это крутой вариант первого использования общего искусственного интеллекта. Если бы вы хотели запустить, например, врача, это было бы намного медленнее, потому что вам нужно быть очень, очень, очень осторожным, чтобы не выдать неверную информацию. А вот с друзьями это можно сделать очень быстро, это просто весело, а придумывание становится фишкой. Дэвид Басуки, Роблокс:
Из 65 миллионов пользователей Roblox большинство творят не на том уровне, на котором им хотелось бы. Долгое время мы представляли себе игру-симулятор Project Runway, в которой вы могли бы использовать швейную машину и ткань и смоделировать все это в 3D, но даже это было немного сложно для большинства из нас. Я думаю, что теперь, когда Project Runway выйдет в Roblox, это будет текстовая подсказка, графическая подсказка или голосовая подсказка. Если бы я помогал вам шить эту рубашку, я бы сказал: мне нужна синяя джинсовая рубашка, несколько пуговиц и более облегающий крой. На самом деле, я думаю, мы увидим ускорение творения. Дилан Филд, Фигма:
Прямо сейчас мы находимся на этапе, когда ИИ может завершить первый черновик, но переход от него к конечному продукту все еще довольно сложен и часто требует, чтобы это сделала команда. Но если вы сможете заставить ИИ предлагать людям элементы интерфейса и делать это так, чтобы это действительно имело смысл, я думаю, это откроет совершенно новую эру дизайна, создавая контекстные проекты, реагирующие на намерения пользователя. Я считаю, что для всех дизайнеров наступит увлекательная эпоха совместной работы с системами искусственного интеллекта. ## 4 Другие примеры: точность программирования «второго пилота» улучшится при использовании человеком.
Хотя ИИ потенциально может улучшить человеческую работу во многих областях, программирование «вторых пилотов» стало первым широко распространенным помощником ИИ по нескольким причинам:
Во-первых, разработчики часто первыми внедряют новые технологии: анализ советов ChatGPT, проведенный в мае/июне 2023 года, показал, что 30% советов ChatGPT были связаны с программированием. Во-вторых, крупнейшие LLM обучаются на наборах данных с большим количеством кода (таких как Интернет), что делает их особенно эффективными в ответах на запросы, связанные с программированием. Наконец, люди в цикле — это пользователи. Таким образом, хотя точность важна, разработчик-человек вместе со вторым пилотом ИИ может добиться корректности быстрее, чем разработчик-человек в одиночку.
Мартин Касадо, a16z:
Если вам нужно сделать все правильно и существует множество сложных вариантов использования, либо выполняйте всю техническую работу самостоятельно, либо наймите людей. Обычно мы нанимаем людей. Это переменные затраты. Во-вторых, поскольку хвост решений зачастую очень длинный (как, например, многие аномалии, которые могут возникнуть при автономном вождении), инвестиции, необходимые для того, чтобы оставаться впереди, увеличиваются, а ценность снижается. Это создает обратный эффект масштаба.
Тот человек в цикле, который раньше был в центральной компании, теперь является пользователем, поэтому это больше не является переменными затратами для бизнеса и экономики затрат на работу. Человек, участвовавший в цикле, был удален, поэтому вы можете делать то, где важна правильность, например, разрабатывать код, а поскольку этот процесс итеративный, количество накопленных ошибок уменьшается, поскольку вы постоянно получаете отзывы и исправления от пользователей. Когда разработчики могут обращаться к чат-боту с искусственным интеллектом, чтобы тот помог им написать код и устранить неполадки в коде, это меняет способ разработки двумя важными способами: 1) это упрощает разработку для большего количества людей. Совместная работа, поскольку она происходит через интерфейс на естественном языке. 2) Разработчики, работающие вместе. производить больше продукции и поддерживать ее производство дольше.
Мира Мурати, OpenAI:
Программирование становится все менее и менее абстрактным. На самом деле мы можем разговаривать с компьютерами с высокой пропускной способностью на естественном языке. Мы используем эту технологию, и она помогает нам понять, как с ней работать, а не «программировать». Кевин Скотт, Microsoft:
GitHub — это первый пример этой модели второго пилота, которую мы пытаемся построить, а именно: как взять интеллектуальную работу, которую выполняет кто-то, и использовать ИИ, чтобы помочь ему быть значительно более продуктивным при выполнении определенных типов когнитивной работы. ? Самое приятное то, что, судя по тому, что мы наблюдали у разработчиков, ИИ помогает им оставаться в состоянии потока дольше, чем в противном случае.
Не застревайте, когда вы пишете кусок кода и думаете: «Я не знаю, как сделать следующее. Мне нужно поискать документацию. Мне нужно спросить другого инженера, который, возможно, работает над «Чрезвычайно ценно иметь возможность освободиться от потока до того, как вы выйдете из состояния потока. Тем, кто рассматривает полезность генеративных инструментов ИИ, созданных для целей, отличных от разработки программного обеспечения, полезно рассмотреть концепцию состояний потока. Дилан Филд, Фигма:
Лучшие дизайнеры начинают больше думать о коде, а лучшие разработчики — о дизайне. Например, помимо дизайнеров и разработчиков, если вы думаете о людях, занимающихся продуктом, они, возможно, раньше работали над спецификациями, но теперь они больше работают над макетами, чтобы более эффективно донести свои идеи. По сути, это позволит любому сотруднику организации быстрее перейти от идеи к проектированию и, возможно, даже к производству. Но вам все равно придется оттачивать каждый шаг. Вам нужен кто-то, кто действительно подумает: «Хорошо, какие идеи мы собираемся исследовать? от первого проекта до конечного продукта. ## 5 Сочетание ИИ и биологии может ускорить появление новых способов лечения болезней и оказать глубокое влияние на здоровье человека
Биология невероятно сложна — возможно, даже за пределами возможностей человеческого разума. Однако пересечение искусственного интеллекта и биологии может ускорить наше понимание биологии и привести к самым захватывающим и революционным технологическим достижениям нашего времени. Биологические платформы, управляемые искусственным интеллектом, могут раскрыть ранее неизвестные биологические идеи, что приведет к новым прорывам в медицине, новым методам диагностики и способности выявлять и лечить заболевания на более раннем этапе, потенциально даже предотвращая их до того, как они возникнут.
Дафна Коллер, insitro:
В определенные периоды нашей истории определенные научные дисциплины добивались невероятных успехов за относительно короткий период времени. В 1950-х годах нашей дисциплиной были вычисления, и мы использовали эти машины для выполнения вычислений, которые до этого могли выполнять только люди. Затем, в 1990-е годы, произошло интересное расхождение. С одной стороны, наука о данных и статистика в конечном итоге принесли нам современное машинное обучение и искусственный интеллект. Другая сторона — это то, что я называю количественной биологией: это первый раз, когда мы начинаем измерять биологию в масштабе, выходящем за рамки отслеживания трех генов, в эксперименте, который занял 5 лет.
Теперь, 2020 год — это последний раз, когда эти две дисциплины по-настоящему слились воедино, принеся нам эпоху цифровой биологии, способности измерять биологию с беспрецедентной точностью и масштабом; интерпретировать непостижимое с помощью инструментов машинного обучения и науки о данных. Уверенно огромные объемы данных, различные биологических масштабах и различных системах, а затем использовать такие инструменты, как редактирование генома CRISPR, чтобы вернуть это понимание в инженерную биологию, чтобы мы могли заставить биологию делать то, для чего она не предназначена.
Теперь мы, наконец, можем измерить биологию в масштабе, на клеточном (а иногда и субклеточном) и организменном уровнях. Это позволяет нам впервые по-настоящему эффективно использовать машинное обучение.
Мы построили биологическую модель языка. Это как GPT, но для ячеек. У нас есть язык клеток и то, как они выглядят. Вы измеряете сотни миллионов клеток в разных состояниях, а затем, как большая языковая модель естественного языка, с небольшим количеством данных, вы можете начать спрашивать: «Хорошо, как болезнь перемещает вызывающий болезнь ген из одного состояния?» «Как лечение вернет вас из состояния болезни обратно в состояние здоровья?» Это очень мощный метод. Как и в случае с другими языковыми моделями, чем больше данных вы в нее подаете, тем лучше она становится. ## 6 Передача модели в руки пользователей поможет нам открыть новые сценарии применения.
В то время как предыдущие версии моделей ИИ были направлены на то, чтобы превзойти людей в определенных задачах, LLM на основе Трансформеров превосходят общие рассуждения. Но то, что мы создали хорошую общую модель, не означает, что мы поняли, как применить ее к конкретному варианту использования. Точно так же, как привлечение людей к работе в форме RLHF имеет решающее значение для повышения производительности современных моделей искусственного интеллекта, передача новых технологий в руки пользователей и понимание того, как они их используют, будет иметь ключевое значение для определения того, какие приложения создавать на основе этих базовых технологий. модели.
Кевин Скотт, Microsoft:
Мы должны помнить: модель — это не продукт. Как предприниматель, вы понимаете: кто ваши пользователи? В чем их проблема? Что вы можете сделать, чтобы помочь им? Затем определите, действительно ли ИИ является полезной инфраструктурой для решения проблем пользователей — это константа. Искусственный интеллект похож на новую интересную инфраструктуру, которая позволяет вам решать новые классы проблем или решать старые классы проблем более эффективными способами. Мира Мурати, OpenAI:
Мы не знаем точно, как будет выглядеть будущее, поэтому мы пытаемся сделать эти инструменты и методы доступными для многих других людей, чтобы они могли экспериментировать, а мы могли видеть, что произойдет. Это стратегия, которую мы используем с самого начала. За неделю до запуска ChatGPT мы беспокоились, что он недостаточно хорош. Мы все видели, что происходит: мы публикуем это, а затем люди говорят нам, что это достаточно хорошо, чтобы открывать новые варианты использования, и вы видите все эти новые варианты использования. ## 7 Память ваших ИИ-друзей станет лучше
В то время как данные, вычисления и параметры модели служат основой для общих рассуждений LLM, контекстные окна питают их кратковременную память. Контекстные окна обычно измеряются количеством токенов, которые они могут обработать. Сегодня размер большинства контекстных окон составляет около 32 КБ, но появляются и более крупные контекстные окна, а вместе с ними появляется возможность запускать более крупные документы с большим количеством контекста через LLM.
Ноам Шазир, Персонаж.AI:
В настоящее время модели, которые мы предлагаем, используют контекстные окна с тысячами токенов, а это означает, что ваши друзья на всю жизнь будут помнить, что произошло за последние полчаса. Если вы сможете сбросить много информации, дела пойдут лучше. Он должен быть в состоянии узнать о вас миллиард вещей. Пропускная способность HBM есть. Дарио Амодей, Anthropic:
Одна вещь, которую, я думаю, все еще недооценивают, — это более длинный контекст и все, что с ним связано. Я думаю, что у людей в голове сложился образ этого чат-бота. «Я задал ему вопрос, и он ответил на вопрос. Но вы можете загрузить юридический контракт и спросить: «Какие пять самых необычных условий в этом юридическом контракте?» Или загрузите финансовый отчет и скажите: «Краткая информация о том, где находится эта компания. Что удивительного по сравнению с тем, что сказал этот аналитик две недели назад? Все эти знания манипулируют и обрабатывают огромные объемы данных, которые людям приходится подсчитывать». Часы чтения. Я Думаю, это более вероятно, чем то, что делают люди. Мы только начинаем». ##8 Голосовые чат-боты, боты и другие способы взаимодействия с искусственным интеллектом — важная область исследований
Сегодня большинство людей взаимодействуют с искусственным интеллектом в форме чат-ботов, но это потому, что чат-ботов часто легко создать, а не потому, что они являются лучшим интерфейсом для каждого варианта использования.
Многие разработчики сосредоточены на разработке новых способов взаимодействия пользователей с моделями ИИ посредством мультимодального ИИ. Пользователи смогут взаимодействовать с мультимодальными моделями так же, как они взаимодействуют с остальным миром: посредством изображений, текста, голоса и других средств массовой информации. Идем еще дальше: Embodied AI фокусируется на искусственном интеллекте, который может взаимодействовать с физическим миром, например, с беспилотными автомобилями.
Мира Мурати, OpenAI:
Я думаю, что сегодняшняя базовая модель хорошо представляет мир в тексте. Мы добавляем другие модальности, такие как изображения и видео, чтобы эти модели могли получить более полную картину мира, аналогичную тому, как мы понимаем и наблюдаем мир. Ноам Шазир, Персонаж.AI:
Возможно, вы хотите услышать голос, увидеть лицо или просто иметь возможность взаимодействовать с несколькими людьми. Это как если бы вас избрали президентом, у вас были бы наушники и целая команда друзей или советников. Или как будто вы заходите в «веселой бар», и все знают ваше имя и рады, что вы пришли. Дафна Коллер, insitro:
Следующий возможный рубеж воздействия ИИ — это когда ИИ начнет взаимодействовать с физическим миром. Мы все видим, как это тяжело. Мы все видели, насколько сложнее создать беспилотный автомобиль по сравнению с созданием чат-бота, верно? Мы добились больших успехов в создании чат-ботов, а беспилотные автомобили по-прежнему блокируют пожарные машины в Сан-Франциско. Важно понимать эту сложность, а также масштаб воздействия. ## 9 Будут ли у нас какие-то общие модели, несколько специализированных моделей или их сочетание?
Какие варианты использования лучше всего подходят для более крупных базовых моделей с «высоким интеллектом» или для небольших специализированных моделей и наборов данных? Как и в случае с дебатами об облачной и периферийной архитектуре десятилетней давности, ответ зависит от того, сколько вы готовы платить, насколько точными должны быть выходные данные и какую задержку вы можете вытерпеть. Ответы на эти вопросы могут со временем измениться, поскольку исследователи разрабатывают более эффективные в вычислительном отношении методы точной настройки больших базовых моделей для конкретных случаев использования.
В долгосрочной перспективе мы можем переоценить то, какие модели используются для каких сценариев использования, поскольку мы все еще находимся на ранних стадиях создания инфраструктуры и архитектуры для поддержки грядущей волны приложений ИИ.
Али Годси, Databricks:
Это немного похоже на 2000 год: Интернет вот-вот будет доминировать над всем, и важно только то, кто сможет построить лучший маршрутизатор. Рыночная капитализация Cisco достигла пика в 5 триллионов долларов США в 2000 году, превзойдя на тот момент Microsoft. Итак, у кого самая большая LLM (языковая модель)? Очевидно, что тот, кто сможет построить самый большой и полностью обучить его, будет иметь контроль над всем ИИ и будущими людьми. Но, как и в случае с Интернетом, позже кто-то другой придумает такие идеи, как Uber и такси. Другие люди будут думать: «Эй, я хочу посмотреть, что делают мои друзья на Facebook». Это могут быть огромные возможности для бизнеса, и не только такие компании, как OpenAI, Databricks или Anthropic, могут построить модель. Доминируйте над всеми приложениями. сценарии. Чтобы создать врача, которому вы доверяете, нужно приложить немало усилий. Дарио Амодей, Anthropic:
Самым большим фактором является вложение большего количества денег. Самые дорогие модели, выпускаемые сегодня, стоят около 100 миллионов долларов, плюс-минус порядок. В следующем году мы можем увидеть модели от нескольких игроков стоимостью около 1 миллиарда долларов, а к 2025 году мы увидим модели стоимостью в миллиарды или даже 10 миллиардов долларов. Эта 100-кратная разница сочетается с тем, что сами вычисления H100 становятся быстрее — особенно большой скачок из-за снижения точности. Сложите все эти факторы вместе, и если законы масштабирования продолжат действовать, возможности значительно возрастут. Мира Мурати, OpenAI:
Это зависит от того, что вы хотите сделать. Очевидно, что системы искусственного интеллекта будут все чаще брать на себя ту работу, которую делаем мы. Что касается платформы OpenAI, вы можете видеть, что даже сегодня мы предоставляем через API множество моделей, от очень маленьких до самых современных моделей. Не всегда нужно использовать самую мощную и компетентную модель. Иногда им просто нужна модель, которая соответствует их конкретному случаю использования и является более рентабельной. Мы хотим, чтобы люди использовали нашу модель и предоставили им инструменты, которые упростят этот процесс. Мы хотим предоставить им все больше и больше доступа и контроля, чтобы вы могли вносить свои собственные данные и настраивать эти модели. Вам действительно нужно сосредоточиться на вещах, выходящих за рамки модели и определяющих продукт. Дэвид Басуки, Roblox:
В любой компании, такой как Roblox, вероятно, есть 20 или 30 вертикальных приложений для конечных пользователей, которые очень индивидуально настроены — фильтрация естественного языка сильно отличается от создания 3D — и у конечного пользователя мы хотим, чтобы все эти приложения запускались. По мере того, как мы спускаемся по стеку, в такой компании, как наша, может возникнуть естественная кластеризация из 2 или 3 более крупных и толстых моделей. Мы очень точно настроили дисциплины, которые хотим обучать, и сделали множество выводов по этим дисциплинам. ## 10 Когда ИИ получит достаточное распространение на предприятии, что произойдет с этими наборами данных?
Влияние генеративного ИИ на предприятия все еще находится в зачаточном состоянии – отчасти потому, что предприятия обычно медленнее развиваются, а отчасти потому, что они осознали ценность своих собственных наборов данных и не обязательно хотят передавать данные другой компании. Какой бы мощной ни была их модель. Большинство сценариев корпоративного использования требуют высокой степени точности, и у предприятий есть 3 варианта выбора LLM: создать свой собственный LLM, использовать поставщика услуг LLM для его создания или точно настроить базовую модель — создание собственного LLM не является проблемой. легкий.
Али Госди, Databricks:
В головах генеральных директоров и советов директоров возникает одна вещь: они понимают: возможно, я смогу победить своих конкурентов. Возможно, именно криптонит убивает ваших врагов. У меня есть данные для генеративного ИИ, и они думают: «Я должен создать его сам». Хотите создать свой собственный LLM с нуля? Это нетривиально, по-прежнему требует большого количества графических процессоров, стоит больших денег и зависит от вашего набора данных и варианта использования.
У нас есть много клиентов, которым нужна более дешевая, компактная и специализированная модель с очень высокой точностью и производительностью. Они говорят: "Эй, это то, что я хочу сделать. Я хочу получить хорошую классификацию по этим изображениям этого конкретного дефекта в производственном процессе". Здесь важна точность. Каждая унция точности, которую вы можете дать мне, имеет значение. В этом случае вам будет лучше, если у вас будет хороший набор данных для обучения и вы сможете обучить модель меньшего размера. Задержка будет быстрее, дешевле, и да, вы сможете получить точность, превосходящую действительно большие модели. Но модель, которую вы создадите, не развлечет вас по выходным и не поможет вашим детям с домашними заданиями. ## 11 Приведет ли закон масштабирования к AGI?
В настоящее время LLM следует закону масштабирования: производительность модели улучшается по мере добавления дополнительных данных и вычислений, даже если архитектура и алгоритмы остаются прежними. Но как долго может продолжаться это правило? Будет ли это продолжаться бесконечно или достигнет своих естественных пределов до того, как мы разработаем ОИИ?
Мира Мурати, OpenAI:
Нет никаких доказательств того, что мы не получим более совершенные и мощные модели по мере того, как мы продолжаем расширять доступ к данным и вычислениям. Приведет ли это вас к AGI — это другой вопрос. Возможно, на этом пути потребуются еще какие-то прорывы и улучшения, но я думаю, что еще предстоит пройти долгий путь с точки зрения законов масштабирования и действительного получения большой выгоды от этих более крупных моделей. Дарио Амодей, Anthropic:
Даже если здесь не будет никаких алгоритмических улучшений и мы просто масштабируемся до того уровня, где были до сих пор, закон масштабирования продолжит действовать. Ноам Шазир, Персонаж.AI:
Наша цель — стать компанией AGI и компанией, ориентированной на продукты, и способ добиться этого — выбирать правильные продукты, заставлять нас делать вещи, которые можно обобщить, делать модели более умными, делать их тем, что хотят люди, и доставлять их. услуги дешево и в больших масштабах. Закон масштабирования проведет нас далеко. По сути, вычисления не так уж и дороги. Сегодня эксплуатационные расходы составляют около 10-18 долларов. Если вы можете делать эти вещи эффективно, затраты будут намного меньше, чем ценность вашего времени. Существует возможность масштабировать эти вещи на порядки. ## 12 Каковы новые возможности?
Хотя некоторые люди быстро списывают со счетов способность генерировать искусственный интеллект, искусственный интеллект уже намного лучше человека справляется с определенными задачами и будет продолжать совершенствоваться. Лучшие разработчики смогли выявить наиболее многообещающие новые возможности ИИ и создать модели и компании, которые преобразуют эти возможности в надежные возможности. Они признают, что масштаб имеет тенденцию повышать надежность новых возможностей.
Мира Мурати, OpenAI:
Важно обращать внимание на эти новые функции, даже если они очень ненадежны. Особенно людям, которые сегодня создают компании, действительно хочется задуматься: «Хорошо, что возможно сегодня? Что вы видите сегодня?» Потому что очень быстро эти модели станут надежными. Дарио Амодей, Anthropic:
Когда мы выпустили GPT-2, самым впечатляющим в то время считалось следующее: «Вы вводите эти пять примеров перевода с английского на французский непосредственно в языковую модель, а затем вводите шестое английское предложение, и оно действительно будет переведено на французский». Это было для нас безумием, хотя перевод был плохим. Но наша точка зрения такова: «Послушайте, это только начало удивительного пути, потому что нет никаких ограничений, и оно может продолжать масштабироваться». Почему те модели, которые мы видели раньше, не могут продолжать существовать? Существует так много целей для предсказания следующего слова, и вы можете бросить им столько вызовов, что это определенно работает. А потом некоторые люди посмотрели на это и сказали: «Вы сделали очень плохой робот-инструмент для перевода». ## 13 Снизится ли стоимость обслуживания этих моделей?
Вычислительные затраты являются одним из основных ограничений для масштабирования этих моделей, а нынешняя нехватка чипов приводит к увеличению затрат из-за ограничения поставок. Однако, если Nvidia выпустит больше H100 в следующем году, это должно уменьшить нехватку графических процессоров и потенциально снизить затраты на вычисления.
Ноам Шазир, Персонаж.AI:
В прошлом году на обучение модели, которую мы предлагаем сейчас, потребовалось около 2 миллионов долларов вычислительных циклов, и мы, вероятно, собираемся сделать это снова за полмиллиона долларов. Итак, до конца года мы собираемся внедрить десятки более умных вещей для повышения IQ. Я вижу, что эти вещи масштабируются в огромных масштабах. Только не так дорого. Кажется, вчера я видел статью о том, что Nvidia собирается выпустить еще один 1,5-миллионный H100 в следующем году, то есть 2-миллионный H100.
Это примерно четверть триллиона операций в секунду на человека. Это означает, что для каждого человека на планете в модели со 100 миллиардами параметров он может обрабатывать 1 слово в секунду. Но не у всех на самом деле есть к нему доступ, поэтому это не так уж и дорого. Эта штука очень масштабируема, если вы все сделаете правильно, и мы прилагаем все усилия, чтобы это произошло. Дарио Амодей, Anthropic:
Моя основная мысль заключается в том, что вывод не будет таким дорогим. Основная логика закона масштабирования заключается в том, что если вы увеличиваете расчет в n раз, вам необходимо увеличить данные в квадратный корень из n, а размер модели — в квадратный корень из n. Этот квадратный корень по сути означает, что сама модель не станет больше, а оборудование будет работать быстрее по мере того, как вы это делаете. Я думаю, что эти вещи будут актуальны в течение следующих 3-4 лет. Без архитектурных инноваций они становятся немного дороже. Если будут архитектурные инновации, а я надеюсь, что они будут, они станут дешевле. Но даже если вычислительные затраты останутся постоянными, повышение эффективности на уровне модели кажется неизбежным, особенно с учетом того, что в эту область вливается так много талантов, а сам ИИ может стать нашим самым мощным инструментом для улучшения работы ИИ.
Дарио Амодей, Anthropic:
По мере того, как ИИ становится более мощным, он лучше справляется с большинством когнитивных задач. Одной из связанных с этим когнитивных задач является оценка безопасности систем искусственного интеллекта и, в конечном итоге, проведение исследований безопасности. В этом есть компонент самореференции. Мы можем увидеть это, читая внутреннюю часть нейронных сетей, например, область интерпретируемости. Сильные системы ИИ могут помочь нам интерпретировать активность нейронов в более слабых системах ИИ. И эти идеи интерпретируемости часто говорят нам, как работает модель. Когда они рассказывают нам, как работает модель, они часто предлагают способы ее улучшить или сделать более эффективной. Одно из наиболее многообещающих направлений исследований — точная настройка больших моделей для конкретных случаев использования без запуска всей модели.
Али Годси, Databricks:
Если вы создадите тысячу версий LLM, которые хороши в тысяче разных вещей, и вам придется загружать каждую из них в графический процессор и обслуживать его, это обойдется очень дорого. Главный вопрос, который сейчас все ищут: существует ли методика, с помощью которой можно получить очень хорошие результаты лишь с небольшими модификациями? Существует множество технологий, таких как тюнинг приставок, LoRA, CUBE LoRA и т. д. Но ни одно по-настоящему безупречное решение не доказало свою эффективность. Но кто-то найдет. ## 14 Как мы измеряем прогресс в создании общего искусственного интеллекта?
Когда мы расширим эти модели, как мы узнаем, когда ИИ станет общим искусственным интеллектом? Когда мы часто слышим термин AGI, ему бывает сложно дать определение, возможно, отчасти потому, что его трудно измерить.
Количественные тесты, такие как GLUE и SUPERGLUE, уже давно используются в качестве стандартизированных показателей для измерения производительности моделей ИИ. Но, как и стандартизированные тесты, которые мы даем людям, тесты ИИ поднимают вопрос: в какой степени вы измеряете способность магистра рассуждать и в какой степени вы измеряете его способность пройти тест?
Али Годси, Databricks:
Мне кажется, что все тесты — ерунда. Представьте себе, если бы все наши университеты сказали: «Мы собираемся дать вам ответы, которые вы сможете просмотреть вечером перед экзаменом. А на следующий день мы попросим вас ответить на вопросы и выставить им оценку». , каждый мог легко сдать экзамен.
Например, MMLU — это эталон, который многие люди используют для оценки этих моделей. MMLU — это просто вопрос с несколькими вариантами ответов в Интернете. Задайте вопрос: ответ A, B, C, D или E? Тогда он подскажет вам правильный ответ. Его можно обучить онлайн и создать модель LLM, способную превзойти его. Первоначальным качественным тестом AGI был тест Тьюринга, но убедить людей в том, что ИИ — это человек, не является сложной задачей. Заставить искусственный интеллект делать то, что люди делают в реальном мире, — сложная проблема. Итак, какие тесты мы можем использовать, чтобы понять функциональность этих систем?
Дилан Филд, Фигма:
Что мы видим сейчас в этих системах, так это то, что легко заставить людей поверить, что вы человек, но трудно на самом деле делать хорошие вещи. Я могу поручить GPT-4 разработать бизнес-план и продать его вам, но это не значит, что вы будете инвестировать. Когда у вас на самом деле есть два конкурирующих бизнеса — один управляется ИИ, а другой — людьми, и вы решаете инвестировать в бизнес ИИ, это меня беспокоит. Дэвид Басуки, Roblox:
У меня есть вопрос теста Тьюринга для ИИ: если мы поместим ИИ в 1633 год и позволим ему обучаться на всей доступной на тот момент информации, сможет ли он предсказать, будет ли Земля или Солнце центром Солнечной системы - даже хотя 99,9% информации Скажите земля центр солнечной системы? Я думаю, что 5 лет — это уже на грани, но если бы мы провели этот тест ИИ Тьюринга за 10 лет, то, вероятно, было бы написано «Солнце». ## 15 Нужно ли людям по-прежнему участвовать?
Новые технологии часто заменяют некоторые человеческие рабочие места и рабочие места, но они также открывают совершенно новые области, повышают производительность и делают больше типов рабочих мест доступными для большего числа людей. Хотя легко представить, как ИИ автоматизирует существующие рабочие места, гораздо труднее представить себе следующие проблемы и возможности, которые ИИ принесет.
Мартин Касадо, a16z:
Проще говоря, парадокс Джевонса гласит: если спрос эластичен и цена падает, спрос превысит компенсацию. Зачастую это более чем компенсируется. Это определенно относится к Интернету. Вы получаете больше пользы и производительности. Лично я считаю, что спрос эластичен, когда дело касается автоматизации любого творческого актива или работы. Чем больше мы производим, тем больше люди потребляют. Мы с нетерпением ожидаем масштабного роста производительности, появления множества новых рабочих мест и множества новых вещей, точно так же, как мы видели в эпоху микрочипов и Интернета. Кевин Скотт, Microsoft:
Я вырос в сельской местности центральной Вирджинии, где экономика основывалась в основном на выращивании табака, производстве мебели и текстильной промышленности. Когда я окончил среднюю школу, все три отрасли только что рухнули. Когда люди в этих сообществах имеют доступ к невероятно мощным инструментам, они часто делают необычные вещи, создавая экономические возможности для себя, своих семей и своих сообществ. Они решают проблемы, которые мы с вами не можем решить, потому что мы не видим всей проблемы мира. У нас нет их точки зрения. Эти инструменты искусственного интеллекта теперь проще использовать, чем когда-либо прежде. С помощью этих инструментов вы можете делать интересные вещи прямо сейчас и стать предпринимателем в маленьком городке Вирджиния, не имея степени доктора компьютерных наук или опыта в области классического искусственного интеллекта. Вам просто нужно оставаться любопытным и предприимчивым. Дилан Филд, Фигма:
Если вы посмотрите на каждое изменение технологий или платформ на сегодняшний день, это привело к появлению большего количества вещей, требующих проектирования. Есть печатный станок, а потом надо придумать, что поместить на страницу. В последнее время, с появлением мобильного Интернета, вы можете подумать: «Ну, пикселей меньше, дизайнеров меньше». ## 16 Никогда еще не было более захватывающего времени для создания стартапа в области искусственного интеллекта (особенно если вы физик или математик)
Это уникальное и захватывающее время для создания искусственного интеллекта: базовые модели быстро масштабируются, экономика наконец-то склоняется в пользу стартапов, и предстоит решить множество проблем. Решение этих проблем требует большого терпения и настойчивости, и физики и математики до сих пор особенно хорошо подходили для их решения. Но искусственный интеллект — молодая и быстро развивающаяся область, и сейчас самое подходящее время для его создания.
Дарио Амодей, Anthropic:
В любой момент времени существует два типа миров. Одна из них — это область, где опыт и накопленные знания очень богаты, и чтобы стать экспертом, нужно много лет. Биология является классическим примером: если вы работаете в биологии всего 6 месяцев, очень сложно сделать новаторскую работу уровня или уровня Нобелевской премии... Другая область - это очень молодая или очень быстро развивающаяся область. Искусственный интеллект был и в некоторой степени остается одной из этих категорий. Действительно талантливые специалисты широкого профиля часто могут превзойти людей, которые долгое время работают в этой области, потому что все меняется очень быстро. Во всяком случае, наличие большого количества предварительных знаний может быть недостатком. Мира Мурати, OpenAI:
Одним из выводов из теоретического пространства математики является то, что вам нужно долго думать о проблемах. Иногда вы засыпаете и просыпаетесь с новыми идеями, постепенно находя окончательное решение в течение дней или недель. Это не процесс с быстрой отдачей, а иногда и не итеративный процесс. Это почти другой образ мышления, при котором вы развиваете интуицию и дисциплину, чтобы противостоять проблеме и доверяете себе ее решение. Со временем вы разовьете интуицию и поймете, над какими проблемами действительно стоит поработать. Дафна Коллер, insitro:
Со временем совершенствуется не только машинное обучение, но и биологические инструменты, на которые мы полагаемся. Раньше не было технологии CRISPR, была только siRNA. Затем появилась технология редактирования генов CRISPR, а теперь есть технология CRISPR Prime, которая может заменить целые области генома. В результате инструменты, которые мы создаем, становятся все лучше и лучше, что открывает для нас возможность бороться с большим количеством заболеваний более значимыми способами. Множество возможностей существует на пересечении искусственного интеллекта/машинного обучения с областями биологии и медицины. Это сближение — момент, который позволяет нам оказать огромное влияние на мир, в котором мы живем, используя инструменты, которые существуют сегодня, но не существовали пять лет назад. Кевин Скотт, Microsoft:
Если вы подумаете о некоторых крупных изменениях платформ, произошедших в прошлом, то самыми ценными вещами на этих платформах были не те вещи, которые были развернуты в первые два года смены платформы. Если вы думаете о том, где вы проводите больше всего времени на своем смартфоне, то это не приложение для обмена сообщениями, веб-браузер или почтовый клиент. Скорее, это что-то новое, созданное в течение нескольких лет после того, как платформа станет доступной.
Какие вещи, которые раньше были невозможны, теперь возможны? Вот о чем должны думать люди. Не гонитесь за тривиальными вещами.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
a16z Статья на 10 000 слов: Мы вступаем в третью эру вычислений
Эта волна развития ИИ настолько быстро распространила свое влияние на различные области, что действительно превзошла ожидания большинства людей. На прошлой неделе компания Sequoia (Sequoia America) посчитала, что ИИ открыл свою вторую главу, и нарисовала новую карту ИИ и карту стека (стека) разработчиков LLM с точки зрения сценариев применения.
Однако, судя по направлению средств, нынешнее развитие ИИ, похоже, все еще находится на стадии борьбы между богами, и эта закономерность, похоже, уже почти сформировалась. После того, как OpenAI получила почти 11 миллиардов долларов США от Microsoft и других и была оценена почти в 29 миллиардов долларов США, ее конкурент Anthropic вчера объявила об альянсе с Amazon. Amazon инвестирует в него до 4 миллиардов долларов США, что делает Anthropic вторым после OpenAI. с точки зрения финансирования AI-стартапов.
После этого финансирования, за исключением Apple, в индустрии искусственного интеллекта сформировалась такая модель борьбы богов:
Конечно, стратегия Nvidia как поставщика низкоуровневой инфраструктуры такова, что очевидно, что все этого хотят, и не существует очень серьезной позиции в отношении какой-либо конкретной компании. Ниже представлена общая ситуация с 15 «единорогами» ИИ.
Сегодня a16z поделились своими беседами с основателями нескольких ведущих ИИ-компаний, полагая, что мы живем в третью эпоху вычислений, и обсудили 16 интересных тем с точки зрения настоящего, будущего и открытости ИИ. Среди участников этого разговора:
Поскольку статья слишком длинная, почти 10 000 слов, я использовал AI для ее краткого составления. Некоторые термины могут быть неточными. Заинтересованные друзья могут прочитать оригинальный английский текст:
1 Мы находимся в начале третьей эры вычислений
Мартин Касадо, a16z:
Я действительно думаю, что мы, возможно, вступаем в третью эру вычислений. Микрочипы сократили предельные издержки вычислений до нуля, Интернет снизил предельные издержки распространения до нуля, а теперь большие модели фактически снизили предельные издержки создания до нуля. Когда происходили предыдущие эпохи, вы понятия не имели, какие новые компании будут созданы. Никто не предсказал Amazon, никто не предсказал Yahoo. Нам следует готовиться к новой волне знаковых компаний. Ноам Шазир, AI персонажа:
Мы действительно переживаем момент «первого самолета братьев Райт». У нас уже есть что-то, что работает и теперь полезно для большого количества сценариев применения. Похоже, он очень хорошо масштабируется и станет еще лучше. Но впереди нас ждут еще большие прорывы, потому что сейчас все ученые в области искусственного интеллекта в мире усердно работают над тем, чтобы сделать эти вещи лучше. Кевин Скотт, Microsoft:
Особенно в последние несколько лет, а может быть, особенно в последние 12 месяцев, с запуском ChatGPT и GPT-4, вы действительно можете увидеть, что потенциал этой платформы такой же, как у ПК или смартфона. Ряд технологий сделает возможным множество новых вещей, и многие люди будут создавать вещи на основе этих новых вещей. ## 2 Эта волна генеративного искусственного интеллекта имеет экономические принципы, которые способствуют рыночной трансформации.
Чтобы технологические инновации вызвали рыночную трансформацию, экономические выгоды должны быть очень привлекательными. Хотя в предыдущих циклах ИИ было много технологических достижений, им не хватало преобразующих экономических выгод. В нынешней волне развития ИИ мы уже видим первые признаки экономического улучшения в 10 000 раз (или более) в некоторых случаях использования, и в результате внедрение и развитие ИИ, по-видимому, происходит быстрее, чем любой предыдущий сдвиг. Гораздо больше.
Мартин Касадо, a16z:
Рыночная трансформация не происходит за счет десятикратного экономического улучшения. Они создаются тогда, когда становятся в десять тысяч раз лучше, чем раньше. Допустим, я хочу создать изображение, которое превращает меня в персонажа Pixar. Если я использую одну из этих моделей изображений, стоимость вывода составит одну десятую цента и, скажем, это займет 1 секунду. Если сравнивать с наймом художника-графика, предположим, что почасовая ставка составляет 100 долларов. С точки зрения стоимости и времени вы увидите огромную разницу в 4–5 порядков. Для экономистов это тот тип поворотного момента, который они ищут, когда на самом деле происходит огромный переворот на рынке. Если вам нужен пример того, насколько это может быть безумием, я не вижу причин, по которым вы не могли бы создать полную игру — 3D-модели, персонажей, звуки, музыку, сюжет и т. д. Стартапы сейчас делают все это, и если вы сравните стоимость сотен миллионов долларов и лет со стоимостью нескольких долларов, то теперь мы имеем асимметрию в экономике на уровне Интернета и микрочипов.
3 Для некоторых ранних сценариев применения: Креативность > Корректность.
Галлюцинации — хорошо известная проблема сегодняшних LLM для больших моделей, но для некоторых приложений способность выдумывать вещи является особенностью, а не ошибкой. По сравнению с ранними вариантами применения машинного обучения, где корректность n-уровня имеет решающее значение (например, беспилотные автомобили), многие из ранних вариантов использования LLM (виртуальные друзья и компаньоны, концепции мозгового штурма или создание онлайн-игр) характеризуются: Фокус В областях, где творчество важнее правильности.
Ноам Шазир, Персонаж.AI:
Развлечения — это индустрия с оборотом в 2 триллиона долларов в год. И темный секрет в том, что развлечения — это ваши несуществующие виртуальные друзья. Это крутой вариант первого использования общего искусственного интеллекта. Если бы вы хотели запустить, например, врача, это было бы намного медленнее, потому что вам нужно быть очень, очень, очень осторожным, чтобы не выдать неверную информацию. А вот с друзьями это можно сделать очень быстро, это просто весело, а придумывание становится фишкой. Дэвид Басуки, Роблокс:
Из 65 миллионов пользователей Roblox большинство творят не на том уровне, на котором им хотелось бы. Долгое время мы представляли себе игру-симулятор Project Runway, в которой вы могли бы использовать швейную машину и ткань и смоделировать все это в 3D, но даже это было немного сложно для большинства из нас. Я думаю, что теперь, когда Project Runway выйдет в Roblox, это будет текстовая подсказка, графическая подсказка или голосовая подсказка. Если бы я помогал вам шить эту рубашку, я бы сказал: мне нужна синяя джинсовая рубашка, несколько пуговиц и более облегающий крой. На самом деле, я думаю, мы увидим ускорение творения. Дилан Филд, Фигма:
Прямо сейчас мы находимся на этапе, когда ИИ может завершить первый черновик, но переход от него к конечному продукту все еще довольно сложен и часто требует, чтобы это сделала команда. Но если вы сможете заставить ИИ предлагать людям элементы интерфейса и делать это так, чтобы это действительно имело смысл, я думаю, это откроет совершенно новую эру дизайна, создавая контекстные проекты, реагирующие на намерения пользователя. Я считаю, что для всех дизайнеров наступит увлекательная эпоха совместной работы с системами искусственного интеллекта. ## 4 Другие примеры: точность программирования «второго пилота» улучшится при использовании человеком.
Хотя ИИ потенциально может улучшить человеческую работу во многих областях, программирование «вторых пилотов» стало первым широко распространенным помощником ИИ по нескольким причинам:
Во-первых, разработчики часто первыми внедряют новые технологии: анализ советов ChatGPT, проведенный в мае/июне 2023 года, показал, что 30% советов ChatGPT были связаны с программированием. Во-вторых, крупнейшие LLM обучаются на наборах данных с большим количеством кода (таких как Интернет), что делает их особенно эффективными в ответах на запросы, связанные с программированием. Наконец, люди в цикле — это пользователи. Таким образом, хотя точность важна, разработчик-человек вместе со вторым пилотом ИИ может добиться корректности быстрее, чем разработчик-человек в одиночку.
Мартин Касадо, a16z:
Если вам нужно сделать все правильно и существует множество сложных вариантов использования, либо выполняйте всю техническую работу самостоятельно, либо наймите людей. Обычно мы нанимаем людей. Это переменные затраты. Во-вторых, поскольку хвост решений зачастую очень длинный (как, например, многие аномалии, которые могут возникнуть при автономном вождении), инвестиции, необходимые для того, чтобы оставаться впереди, увеличиваются, а ценность снижается. Это создает обратный эффект масштаба. Тот человек в цикле, который раньше был в центральной компании, теперь является пользователем, поэтому это больше не является переменными затратами для бизнеса и экономики затрат на работу. Человек, участвовавший в цикле, был удален, поэтому вы можете делать то, где важна правильность, например, разрабатывать код, а поскольку этот процесс итеративный, количество накопленных ошибок уменьшается, поскольку вы постоянно получаете отзывы и исправления от пользователей. Когда разработчики могут обращаться к чат-боту с искусственным интеллектом, чтобы тот помог им написать код и устранить неполадки в коде, это меняет способ разработки двумя важными способами: 1) это упрощает разработку для большего количества людей. Совместная работа, поскольку она происходит через интерфейс на естественном языке. 2) Разработчики, работающие вместе. производить больше продукции и поддерживать ее производство дольше.
Мира Мурати, OpenAI:
Программирование становится все менее и менее абстрактным. На самом деле мы можем разговаривать с компьютерами с высокой пропускной способностью на естественном языке. Мы используем эту технологию, и она помогает нам понять, как с ней работать, а не «программировать». Кевин Скотт, Microsoft:
GitHub — это первый пример этой модели второго пилота, которую мы пытаемся построить, а именно: как взять интеллектуальную работу, которую выполняет кто-то, и использовать ИИ, чтобы помочь ему быть значительно более продуктивным при выполнении определенных типов когнитивной работы. ? Самое приятное то, что, судя по тому, что мы наблюдали у разработчиков, ИИ помогает им оставаться в состоянии потока дольше, чем в противном случае. Не застревайте, когда вы пишете кусок кода и думаете: «Я не знаю, как сделать следующее. Мне нужно поискать документацию. Мне нужно спросить другого инженера, который, возможно, работает над «Чрезвычайно ценно иметь возможность освободиться от потока до того, как вы выйдете из состояния потока. Тем, кто рассматривает полезность генеративных инструментов ИИ, созданных для целей, отличных от разработки программного обеспечения, полезно рассмотреть концепцию состояний потока. Дилан Филд, Фигма:
Лучшие дизайнеры начинают больше думать о коде, а лучшие разработчики — о дизайне. Например, помимо дизайнеров и разработчиков, если вы думаете о людях, занимающихся продуктом, они, возможно, раньше работали над спецификациями, но теперь они больше работают над макетами, чтобы более эффективно донести свои идеи. По сути, это позволит любому сотруднику организации быстрее перейти от идеи к проектированию и, возможно, даже к производству. Но вам все равно придется оттачивать каждый шаг. Вам нужен кто-то, кто действительно подумает: «Хорошо, какие идеи мы собираемся исследовать? от первого проекта до конечного продукта. ## 5 Сочетание ИИ и биологии может ускорить появление новых способов лечения болезней и оказать глубокое влияние на здоровье человека
Биология невероятно сложна — возможно, даже за пределами возможностей человеческого разума. Однако пересечение искусственного интеллекта и биологии может ускорить наше понимание биологии и привести к самым захватывающим и революционным технологическим достижениям нашего времени. Биологические платформы, управляемые искусственным интеллектом, могут раскрыть ранее неизвестные биологические идеи, что приведет к новым прорывам в медицине, новым методам диагностики и способности выявлять и лечить заболевания на более раннем этапе, потенциально даже предотвращая их до того, как они возникнут.
Дафна Коллер, insitro:
В определенные периоды нашей истории определенные научные дисциплины добивались невероятных успехов за относительно короткий период времени. В 1950-х годах нашей дисциплиной были вычисления, и мы использовали эти машины для выполнения вычислений, которые до этого могли выполнять только люди. Затем, в 1990-е годы, произошло интересное расхождение. С одной стороны, наука о данных и статистика в конечном итоге принесли нам современное машинное обучение и искусственный интеллект. Другая сторона — это то, что я называю количественной биологией: это первый раз, когда мы начинаем измерять биологию в масштабе, выходящем за рамки отслеживания трех генов, в эксперименте, который занял 5 лет. Теперь, 2020 год — это последний раз, когда эти две дисциплины по-настоящему слились воедино, принеся нам эпоху цифровой биологии, способности измерять биологию с беспрецедентной точностью и масштабом; интерпретировать непостижимое с помощью инструментов машинного обучения и науки о данных. Уверенно огромные объемы данных, различные биологических масштабах и различных системах, а затем использовать такие инструменты, как редактирование генома CRISPR, чтобы вернуть это понимание в инженерную биологию, чтобы мы могли заставить биологию делать то, для чего она не предназначена. Теперь мы, наконец, можем измерить биологию в масштабе, на клеточном (а иногда и субклеточном) и организменном уровнях. Это позволяет нам впервые по-настоящему эффективно использовать машинное обучение. Мы построили биологическую модель языка. Это как GPT, но для ячеек. У нас есть язык клеток и то, как они выглядят. Вы измеряете сотни миллионов клеток в разных состояниях, а затем, как большая языковая модель естественного языка, с небольшим количеством данных, вы можете начать спрашивать: «Хорошо, как болезнь перемещает вызывающий болезнь ген из одного состояния?» «Как лечение вернет вас из состояния болезни обратно в состояние здоровья?» Это очень мощный метод. Как и в случае с другими языковыми моделями, чем больше данных вы в нее подаете, тем лучше она становится. ## 6 Передача модели в руки пользователей поможет нам открыть новые сценарии применения.
В то время как предыдущие версии моделей ИИ были направлены на то, чтобы превзойти людей в определенных задачах, LLM на основе Трансформеров превосходят общие рассуждения. Но то, что мы создали хорошую общую модель, не означает, что мы поняли, как применить ее к конкретному варианту использования. Точно так же, как привлечение людей к работе в форме RLHF имеет решающее значение для повышения производительности современных моделей искусственного интеллекта, передача новых технологий в руки пользователей и понимание того, как они их используют, будет иметь ключевое значение для определения того, какие приложения создавать на основе этих базовых технологий. модели.
Кевин Скотт, Microsoft:
Мы должны помнить: модель — это не продукт. Как предприниматель, вы понимаете: кто ваши пользователи? В чем их проблема? Что вы можете сделать, чтобы помочь им? Затем определите, действительно ли ИИ является полезной инфраструктурой для решения проблем пользователей — это константа. Искусственный интеллект похож на новую интересную инфраструктуру, которая позволяет вам решать новые классы проблем или решать старые классы проблем более эффективными способами. Мира Мурати, OpenAI:
Мы не знаем точно, как будет выглядеть будущее, поэтому мы пытаемся сделать эти инструменты и методы доступными для многих других людей, чтобы они могли экспериментировать, а мы могли видеть, что произойдет. Это стратегия, которую мы используем с самого начала. За неделю до запуска ChatGPT мы беспокоились, что он недостаточно хорош. Мы все видели, что происходит: мы публикуем это, а затем люди говорят нам, что это достаточно хорошо, чтобы открывать новые варианты использования, и вы видите все эти новые варианты использования. ## 7 Память ваших ИИ-друзей станет лучше
В то время как данные, вычисления и параметры модели служат основой для общих рассуждений LLM, контекстные окна питают их кратковременную память. Контекстные окна обычно измеряются количеством токенов, которые они могут обработать. Сегодня размер большинства контекстных окон составляет около 32 КБ, но появляются и более крупные контекстные окна, а вместе с ними появляется возможность запускать более крупные документы с большим количеством контекста через LLM.
Ноам Шазир, Персонаж.AI:
В настоящее время модели, которые мы предлагаем, используют контекстные окна с тысячами токенов, а это означает, что ваши друзья на всю жизнь будут помнить, что произошло за последние полчаса. Если вы сможете сбросить много информации, дела пойдут лучше. Он должен быть в состоянии узнать о вас миллиард вещей. Пропускная способность HBM есть. Дарио Амодей, Anthropic:
Одна вещь, которую, я думаю, все еще недооценивают, — это более длинный контекст и все, что с ним связано. Я думаю, что у людей в голове сложился образ этого чат-бота. «Я задал ему вопрос, и он ответил на вопрос. Но вы можете загрузить юридический контракт и спросить: «Какие пять самых необычных условий в этом юридическом контракте?» Или загрузите финансовый отчет и скажите: «Краткая информация о том, где находится эта компания. Что удивительного по сравнению с тем, что сказал этот аналитик две недели назад? Все эти знания манипулируют и обрабатывают огромные объемы данных, которые людям приходится подсчитывать». Часы чтения. Я Думаю, это более вероятно, чем то, что делают люди. Мы только начинаем». ##8 Голосовые чат-боты, боты и другие способы взаимодействия с искусственным интеллектом — важная область исследований
Сегодня большинство людей взаимодействуют с искусственным интеллектом в форме чат-ботов, но это потому, что чат-ботов часто легко создать, а не потому, что они являются лучшим интерфейсом для каждого варианта использования.
Многие разработчики сосредоточены на разработке новых способов взаимодействия пользователей с моделями ИИ посредством мультимодального ИИ. Пользователи смогут взаимодействовать с мультимодальными моделями так же, как они взаимодействуют с остальным миром: посредством изображений, текста, голоса и других средств массовой информации. Идем еще дальше: Embodied AI фокусируется на искусственном интеллекте, который может взаимодействовать с физическим миром, например, с беспилотными автомобилями.
Мира Мурати, OpenAI:
Я думаю, что сегодняшняя базовая модель хорошо представляет мир в тексте. Мы добавляем другие модальности, такие как изображения и видео, чтобы эти модели могли получить более полную картину мира, аналогичную тому, как мы понимаем и наблюдаем мир. Ноам Шазир, Персонаж.AI:
Возможно, вы хотите услышать голос, увидеть лицо или просто иметь возможность взаимодействовать с несколькими людьми. Это как если бы вас избрали президентом, у вас были бы наушники и целая команда друзей или советников. Или как будто вы заходите в «веселой бар», и все знают ваше имя и рады, что вы пришли. Дафна Коллер, insitro:
Следующий возможный рубеж воздействия ИИ — это когда ИИ начнет взаимодействовать с физическим миром. Мы все видим, как это тяжело. Мы все видели, насколько сложнее создать беспилотный автомобиль по сравнению с созданием чат-бота, верно? Мы добились больших успехов в создании чат-ботов, а беспилотные автомобили по-прежнему блокируют пожарные машины в Сан-Франциско. Важно понимать эту сложность, а также масштаб воздействия. ## 9 Будут ли у нас какие-то общие модели, несколько специализированных моделей или их сочетание?
Какие варианты использования лучше всего подходят для более крупных базовых моделей с «высоким интеллектом» или для небольших специализированных моделей и наборов данных? Как и в случае с дебатами об облачной и периферийной архитектуре десятилетней давности, ответ зависит от того, сколько вы готовы платить, насколько точными должны быть выходные данные и какую задержку вы можете вытерпеть. Ответы на эти вопросы могут со временем измениться, поскольку исследователи разрабатывают более эффективные в вычислительном отношении методы точной настройки больших базовых моделей для конкретных случаев использования.
В долгосрочной перспективе мы можем переоценить то, какие модели используются для каких сценариев использования, поскольку мы все еще находимся на ранних стадиях создания инфраструктуры и архитектуры для поддержки грядущей волны приложений ИИ.
Али Годси, Databricks:
Это немного похоже на 2000 год: Интернет вот-вот будет доминировать над всем, и важно только то, кто сможет построить лучший маршрутизатор. Рыночная капитализация Cisco достигла пика в 5 триллионов долларов США в 2000 году, превзойдя на тот момент Microsoft. Итак, у кого самая большая LLM (языковая модель)? Очевидно, что тот, кто сможет построить самый большой и полностью обучить его, будет иметь контроль над всем ИИ и будущими людьми. Но, как и в случае с Интернетом, позже кто-то другой придумает такие идеи, как Uber и такси. Другие люди будут думать: «Эй, я хочу посмотреть, что делают мои друзья на Facebook». Это могут быть огромные возможности для бизнеса, и не только такие компании, как OpenAI, Databricks или Anthropic, могут построить модель. Доминируйте над всеми приложениями. сценарии. Чтобы создать врача, которому вы доверяете, нужно приложить немало усилий. Дарио Амодей, Anthropic:
Самым большим фактором является вложение большего количества денег. Самые дорогие модели, выпускаемые сегодня, стоят около 100 миллионов долларов, плюс-минус порядок. В следующем году мы можем увидеть модели от нескольких игроков стоимостью около 1 миллиарда долларов, а к 2025 году мы увидим модели стоимостью в миллиарды или даже 10 миллиардов долларов. Эта 100-кратная разница сочетается с тем, что сами вычисления H100 становятся быстрее — особенно большой скачок из-за снижения точности. Сложите все эти факторы вместе, и если законы масштабирования продолжат действовать, возможности значительно возрастут. Мира Мурати, OpenAI:
Это зависит от того, что вы хотите сделать. Очевидно, что системы искусственного интеллекта будут все чаще брать на себя ту работу, которую делаем мы. Что касается платформы OpenAI, вы можете видеть, что даже сегодня мы предоставляем через API множество моделей, от очень маленьких до самых современных моделей. Не всегда нужно использовать самую мощную и компетентную модель. Иногда им просто нужна модель, которая соответствует их конкретному случаю использования и является более рентабельной. Мы хотим, чтобы люди использовали нашу модель и предоставили им инструменты, которые упростят этот процесс. Мы хотим предоставить им все больше и больше доступа и контроля, чтобы вы могли вносить свои собственные данные и настраивать эти модели. Вам действительно нужно сосредоточиться на вещах, выходящих за рамки модели и определяющих продукт. Дэвид Басуки, Roblox:
В любой компании, такой как Roblox, вероятно, есть 20 или 30 вертикальных приложений для конечных пользователей, которые очень индивидуально настроены — фильтрация естественного языка сильно отличается от создания 3D — и у конечного пользователя мы хотим, чтобы все эти приложения запускались. По мере того, как мы спускаемся по стеку, в такой компании, как наша, может возникнуть естественная кластеризация из 2 или 3 более крупных и толстых моделей. Мы очень точно настроили дисциплины, которые хотим обучать, и сделали множество выводов по этим дисциплинам. ## 10 Когда ИИ получит достаточное распространение на предприятии, что произойдет с этими наборами данных?
Влияние генеративного ИИ на предприятия все еще находится в зачаточном состоянии – отчасти потому, что предприятия обычно медленнее развиваются, а отчасти потому, что они осознали ценность своих собственных наборов данных и не обязательно хотят передавать данные другой компании. Какой бы мощной ни была их модель. Большинство сценариев корпоративного использования требуют высокой степени точности, и у предприятий есть 3 варианта выбора LLM: создать свой собственный LLM, использовать поставщика услуг LLM для его создания или точно настроить базовую модель — создание собственного LLM не является проблемой. легкий.
Али Госди, Databricks:
В головах генеральных директоров и советов директоров возникает одна вещь: они понимают: возможно, я смогу победить своих конкурентов. Возможно, именно криптонит убивает ваших врагов. У меня есть данные для генеративного ИИ, и они думают: «Я должен создать его сам». Хотите создать свой собственный LLM с нуля? Это нетривиально, по-прежнему требует большого количества графических процессоров, стоит больших денег и зависит от вашего набора данных и варианта использования. У нас есть много клиентов, которым нужна более дешевая, компактная и специализированная модель с очень высокой точностью и производительностью. Они говорят: "Эй, это то, что я хочу сделать. Я хочу получить хорошую классификацию по этим изображениям этого конкретного дефекта в производственном процессе". Здесь важна точность. Каждая унция точности, которую вы можете дать мне, имеет значение. В этом случае вам будет лучше, если у вас будет хороший набор данных для обучения и вы сможете обучить модель меньшего размера. Задержка будет быстрее, дешевле, и да, вы сможете получить точность, превосходящую действительно большие модели. Но модель, которую вы создадите, не развлечет вас по выходным и не поможет вашим детям с домашними заданиями. ## 11 Приведет ли закон масштабирования к AGI?
В настоящее время LLM следует закону масштабирования: производительность модели улучшается по мере добавления дополнительных данных и вычислений, даже если архитектура и алгоритмы остаются прежними. Но как долго может продолжаться это правило? Будет ли это продолжаться бесконечно или достигнет своих естественных пределов до того, как мы разработаем ОИИ?
Мира Мурати, OpenAI:
Нет никаких доказательств того, что мы не получим более совершенные и мощные модели по мере того, как мы продолжаем расширять доступ к данным и вычислениям. Приведет ли это вас к AGI — это другой вопрос. Возможно, на этом пути потребуются еще какие-то прорывы и улучшения, но я думаю, что еще предстоит пройти долгий путь с точки зрения законов масштабирования и действительного получения большой выгоды от этих более крупных моделей. Дарио Амодей, Anthropic:
Даже если здесь не будет никаких алгоритмических улучшений и мы просто масштабируемся до того уровня, где были до сих пор, закон масштабирования продолжит действовать. Ноам Шазир, Персонаж.AI:
Наша цель — стать компанией AGI и компанией, ориентированной на продукты, и способ добиться этого — выбирать правильные продукты, заставлять нас делать вещи, которые можно обобщить, делать модели более умными, делать их тем, что хотят люди, и доставлять их. услуги дешево и в больших масштабах. Закон масштабирования проведет нас далеко. По сути, вычисления не так уж и дороги. Сегодня эксплуатационные расходы составляют около 10-18 долларов. Если вы можете делать эти вещи эффективно, затраты будут намного меньше, чем ценность вашего времени. Существует возможность масштабировать эти вещи на порядки. ## 12 Каковы новые возможности?
Хотя некоторые люди быстро списывают со счетов способность генерировать искусственный интеллект, искусственный интеллект уже намного лучше человека справляется с определенными задачами и будет продолжать совершенствоваться. Лучшие разработчики смогли выявить наиболее многообещающие новые возможности ИИ и создать модели и компании, которые преобразуют эти возможности в надежные возможности. Они признают, что масштаб имеет тенденцию повышать надежность новых возможностей.
Мира Мурати, OpenAI:
Важно обращать внимание на эти новые функции, даже если они очень ненадежны. Особенно людям, которые сегодня создают компании, действительно хочется задуматься: «Хорошо, что возможно сегодня? Что вы видите сегодня?» Потому что очень быстро эти модели станут надежными. Дарио Амодей, Anthropic:
Когда мы выпустили GPT-2, самым впечатляющим в то время считалось следующее: «Вы вводите эти пять примеров перевода с английского на французский непосредственно в языковую модель, а затем вводите шестое английское предложение, и оно действительно будет переведено на французский». Это было для нас безумием, хотя перевод был плохим. Но наша точка зрения такова: «Послушайте, это только начало удивительного пути, потому что нет никаких ограничений, и оно может продолжать масштабироваться». Почему те модели, которые мы видели раньше, не могут продолжать существовать? Существует так много целей для предсказания следующего слова, и вы можете бросить им столько вызовов, что это определенно работает. А потом некоторые люди посмотрели на это и сказали: «Вы сделали очень плохой робот-инструмент для перевода». ## 13 Снизится ли стоимость обслуживания этих моделей?
Вычислительные затраты являются одним из основных ограничений для масштабирования этих моделей, а нынешняя нехватка чипов приводит к увеличению затрат из-за ограничения поставок. Однако, если Nvidia выпустит больше H100 в следующем году, это должно уменьшить нехватку графических процессоров и потенциально снизить затраты на вычисления.
Ноам Шазир, Персонаж.AI:
В прошлом году на обучение модели, которую мы предлагаем сейчас, потребовалось около 2 миллионов долларов вычислительных циклов, и мы, вероятно, собираемся сделать это снова за полмиллиона долларов. Итак, до конца года мы собираемся внедрить десятки более умных вещей для повышения IQ. Я вижу, что эти вещи масштабируются в огромных масштабах. Только не так дорого. Кажется, вчера я видел статью о том, что Nvidia собирается выпустить еще один 1,5-миллионный H100 в следующем году, то есть 2-миллионный H100. Это примерно четверть триллиона операций в секунду на человека. Это означает, что для каждого человека на планете в модели со 100 миллиардами параметров он может обрабатывать 1 слово в секунду. Но не у всех на самом деле есть к нему доступ, поэтому это не так уж и дорого. Эта штука очень масштабируема, если вы все сделаете правильно, и мы прилагаем все усилия, чтобы это произошло. Дарио Амодей, Anthropic:
Моя основная мысль заключается в том, что вывод не будет таким дорогим. Основная логика закона масштабирования заключается в том, что если вы увеличиваете расчет в n раз, вам необходимо увеличить данные в квадратный корень из n, а размер модели — в квадратный корень из n. Этот квадратный корень по сути означает, что сама модель не станет больше, а оборудование будет работать быстрее по мере того, как вы это делаете. Я думаю, что эти вещи будут актуальны в течение следующих 3-4 лет. Без архитектурных инноваций они становятся немного дороже. Если будут архитектурные инновации, а я надеюсь, что они будут, они станут дешевле. Но даже если вычислительные затраты останутся постоянными, повышение эффективности на уровне модели кажется неизбежным, особенно с учетом того, что в эту область вливается так много талантов, а сам ИИ может стать нашим самым мощным инструментом для улучшения работы ИИ.
Дарио Амодей, Anthropic:
По мере того, как ИИ становится более мощным, он лучше справляется с большинством когнитивных задач. Одной из связанных с этим когнитивных задач является оценка безопасности систем искусственного интеллекта и, в конечном итоге, проведение исследований безопасности. В этом есть компонент самореференции. Мы можем увидеть это, читая внутреннюю часть нейронных сетей, например, область интерпретируемости. Сильные системы ИИ могут помочь нам интерпретировать активность нейронов в более слабых системах ИИ. И эти идеи интерпретируемости часто говорят нам, как работает модель. Когда они рассказывают нам, как работает модель, они часто предлагают способы ее улучшить или сделать более эффективной. Одно из наиболее многообещающих направлений исследований — точная настройка больших моделей для конкретных случаев использования без запуска всей модели.
Али Годси, Databricks:
Если вы создадите тысячу версий LLM, которые хороши в тысяче разных вещей, и вам придется загружать каждую из них в графический процессор и обслуживать его, это обойдется очень дорого. Главный вопрос, который сейчас все ищут: существует ли методика, с помощью которой можно получить очень хорошие результаты лишь с небольшими модификациями? Существует множество технологий, таких как тюнинг приставок, LoRA, CUBE LoRA и т. д. Но ни одно по-настоящему безупречное решение не доказало свою эффективность. Но кто-то найдет. ## 14 Как мы измеряем прогресс в создании общего искусственного интеллекта?
Когда мы расширим эти модели, как мы узнаем, когда ИИ станет общим искусственным интеллектом? Когда мы часто слышим термин AGI, ему бывает сложно дать определение, возможно, отчасти потому, что его трудно измерить.
Количественные тесты, такие как GLUE и SUPERGLUE, уже давно используются в качестве стандартизированных показателей для измерения производительности моделей ИИ. Но, как и стандартизированные тесты, которые мы даем людям, тесты ИИ поднимают вопрос: в какой степени вы измеряете способность магистра рассуждать и в какой степени вы измеряете его способность пройти тест?
Али Годси, Databricks:
Мне кажется, что все тесты — ерунда. Представьте себе, если бы все наши университеты сказали: «Мы собираемся дать вам ответы, которые вы сможете просмотреть вечером перед экзаменом. А на следующий день мы попросим вас ответить на вопросы и выставить им оценку». , каждый мог легко сдать экзамен. Например, MMLU — это эталон, который многие люди используют для оценки этих моделей. MMLU — это просто вопрос с несколькими вариантами ответов в Интернете. Задайте вопрос: ответ A, B, C, D или E? Тогда он подскажет вам правильный ответ. Его можно обучить онлайн и создать модель LLM, способную превзойти его. Первоначальным качественным тестом AGI был тест Тьюринга, но убедить людей в том, что ИИ — это человек, не является сложной задачей. Заставить искусственный интеллект делать то, что люди делают в реальном мире, — сложная проблема. Итак, какие тесты мы можем использовать, чтобы понять функциональность этих систем?
Дилан Филд, Фигма:
Что мы видим сейчас в этих системах, так это то, что легко заставить людей поверить, что вы человек, но трудно на самом деле делать хорошие вещи. Я могу поручить GPT-4 разработать бизнес-план и продать его вам, но это не значит, что вы будете инвестировать. Когда у вас на самом деле есть два конкурирующих бизнеса — один управляется ИИ, а другой — людьми, и вы решаете инвестировать в бизнес ИИ, это меня беспокоит. Дэвид Басуки, Roblox:
У меня есть вопрос теста Тьюринга для ИИ: если мы поместим ИИ в 1633 год и позволим ему обучаться на всей доступной на тот момент информации, сможет ли он предсказать, будет ли Земля или Солнце центром Солнечной системы - даже хотя 99,9% информации Скажите земля центр солнечной системы? Я думаю, что 5 лет — это уже на грани, но если бы мы провели этот тест ИИ Тьюринга за 10 лет, то, вероятно, было бы написано «Солнце». ## 15 Нужно ли людям по-прежнему участвовать?
Новые технологии часто заменяют некоторые человеческие рабочие места и рабочие места, но они также открывают совершенно новые области, повышают производительность и делают больше типов рабочих мест доступными для большего числа людей. Хотя легко представить, как ИИ автоматизирует существующие рабочие места, гораздо труднее представить себе следующие проблемы и возможности, которые ИИ принесет.
Мартин Касадо, a16z:
Проще говоря, парадокс Джевонса гласит: если спрос эластичен и цена падает, спрос превысит компенсацию. Зачастую это более чем компенсируется. Это определенно относится к Интернету. Вы получаете больше пользы и производительности. Лично я считаю, что спрос эластичен, когда дело касается автоматизации любого творческого актива или работы. Чем больше мы производим, тем больше люди потребляют. Мы с нетерпением ожидаем масштабного роста производительности, появления множества новых рабочих мест и множества новых вещей, точно так же, как мы видели в эпоху микрочипов и Интернета. Кевин Скотт, Microsoft:
Я вырос в сельской местности центральной Вирджинии, где экономика основывалась в основном на выращивании табака, производстве мебели и текстильной промышленности. Когда я окончил среднюю школу, все три отрасли только что рухнули. Когда люди в этих сообществах имеют доступ к невероятно мощным инструментам, они часто делают необычные вещи, создавая экономические возможности для себя, своих семей и своих сообществ. Они решают проблемы, которые мы с вами не можем решить, потому что мы не видим всей проблемы мира. У нас нет их точки зрения. Эти инструменты искусственного интеллекта теперь проще использовать, чем когда-либо прежде. С помощью этих инструментов вы можете делать интересные вещи прямо сейчас и стать предпринимателем в маленьком городке Вирджиния, не имея степени доктора компьютерных наук или опыта в области классического искусственного интеллекта. Вам просто нужно оставаться любопытным и предприимчивым. Дилан Филд, Фигма:
Если вы посмотрите на каждое изменение технологий или платформ на сегодняшний день, это привело к появлению большего количества вещей, требующих проектирования. Есть печатный станок, а потом надо придумать, что поместить на страницу. В последнее время, с появлением мобильного Интернета, вы можете подумать: «Ну, пикселей меньше, дизайнеров меньше». ## 16 Никогда еще не было более захватывающего времени для создания стартапа в области искусственного интеллекта (особенно если вы физик или математик)
Это уникальное и захватывающее время для создания искусственного интеллекта: базовые модели быстро масштабируются, экономика наконец-то склоняется в пользу стартапов, и предстоит решить множество проблем. Решение этих проблем требует большого терпения и настойчивости, и физики и математики до сих пор особенно хорошо подходили для их решения. Но искусственный интеллект — молодая и быстро развивающаяся область, и сейчас самое подходящее время для его создания.
Дарио Амодей, Anthropic:
В любой момент времени существует два типа миров. Одна из них — это область, где опыт и накопленные знания очень богаты, и чтобы стать экспертом, нужно много лет. Биология является классическим примером: если вы работаете в биологии всего 6 месяцев, очень сложно сделать новаторскую работу уровня или уровня Нобелевской премии... Другая область - это очень молодая или очень быстро развивающаяся область. Искусственный интеллект был и в некоторой степени остается одной из этих категорий. Действительно талантливые специалисты широкого профиля часто могут превзойти людей, которые долгое время работают в этой области, потому что все меняется очень быстро. Во всяком случае, наличие большого количества предварительных знаний может быть недостатком. Мира Мурати, OpenAI:
Одним из выводов из теоретического пространства математики является то, что вам нужно долго думать о проблемах. Иногда вы засыпаете и просыпаетесь с новыми идеями, постепенно находя окончательное решение в течение дней или недель. Это не процесс с быстрой отдачей, а иногда и не итеративный процесс. Это почти другой образ мышления, при котором вы развиваете интуицию и дисциплину, чтобы противостоять проблеме и доверяете себе ее решение. Со временем вы разовьете интуицию и поймете, над какими проблемами действительно стоит поработать. Дафна Коллер, insitro:
Со временем совершенствуется не только машинное обучение, но и биологические инструменты, на которые мы полагаемся. Раньше не было технологии CRISPR, была только siRNA. Затем появилась технология редактирования генов CRISPR, а теперь есть технология CRISPR Prime, которая может заменить целые области генома. В результате инструменты, которые мы создаем, становятся все лучше и лучше, что открывает для нас возможность бороться с большим количеством заболеваний более значимыми способами. Множество возможностей существует на пересечении искусственного интеллекта/машинного обучения с областями биологии и медицины. Это сближение — момент, который позволяет нам оказать огромное влияние на мир, в котором мы живем, используя инструменты, которые существуют сегодня, но не существовали пять лет назад. Кевин Скотт, Microsoft:
Если вы подумаете о некоторых крупных изменениях платформ, произошедших в прошлом, то самыми ценными вещами на этих платформах были не те вещи, которые были развернуты в первые два года смены платформы. Если вы думаете о том, где вы проводите больше всего времени на своем смартфоне, то это не приложение для обмена сообщениями, веб-браузер или почтовый клиент. Скорее, это что-то новое, созданное в течение нескольких лет после того, как платформа станет доступной. Какие вещи, которые раньше были невозможны, теперь возможны? Вот о чем должны думать люди. Не гонитесь за тривиальными вещами.