Пока большинство людей сокрушаются об огромных волнах, увлеченные мореплаватели уже отправились на поиски нового континента. Недавно Карпати, директор Tesla по искусственному интеллекту и ведущий стример по искусственному интеллекту, недавно вернувшийся в OpenAI, ретвитнул последний эпизод подкаста Latent Space, думая, что следить за развитием искусственного интеллекта стало его работой на полную ставку. необходимо, и спрос намного превысит сегодняшних инженеров алгоритмов машинного обучения. В этом выпуске мы продолжим дальнейший анализ портрета талантов ИИ, которые потребуются в будущем.
Чувственное мышление
Мы пытаемся выдвинуть более расходящиеся выводы и глубокие размышления, основанные на содержании статьи, добро пожаловать на обмен.
**Модельная технология против приземления продукта: **В то время как большинство людей жалуются на огромные волны, увлеченные моряки отправились на поиски новых континентов. Ремесленники, которые изобрели компас и построили корабли, сыграли свою роль в эпоху, а затем моряки и рабочие расширили территорию.
**Эпоха программного обеспечения 3.0:**SenseAI еще раз делает акцент на сети агентов.На этот раз машина приходит к нам, и естественный язык станет языковым пакетом, который удовлетворяет большинство потребностей разработки, еще больше освобождая человеческое воображение. Агенты используют плотность взаимодействия и сетевое сотрудничество, чтобы решить задачу, а люди должны предложить низкоуровневое воображение, разрушить и восстановить.
В этой статье всего 3255 слов, и на внимательное прочтение уходит около 9 минут.
01. Новая профессия: инженер по искусственному интеллекту
Мы наблюдаем «сдвиг вправо» прикладного ИИ поколений, обусловленный новыми возможностями и наличием открытого исходного кода/API базовых моделей. Ряд задач искусственного интеллекта, на выполнение которых в 2013 году ушло 5 лет и исследовательская группа, теперь можно выполнить, имея только документацию по API и свободный день.
API универсален: инженеры ИИ могут пойти налево, чтобы оптимизировать/разместить модели, а инженеры-исследователи могут пойти направо, чтобы создавать приложения поверх API, но их относительные сильные стороны и техническая база очевидны.
Однако самая сложная работа связана с конкретными деталями реализации.В настоящее время LLM по-прежнему сталкивается со следующими проблемами с точки зрения успешной оценки, применения и производства:
** 1. Модель: ** От оценки самых больших моделей GPT-4 и Claude до самых маленьких моделей с открытым исходным кодом Huggingface, LLaMA и других.
** 2. Инструменты: ** от самых популярных инструментов связывания, поиска и векторного поиска, таких как LangChain, LlamaIndex и Pinecone, до новой области прокси-инструментов, таких как Auto-GPT и BabyAGT.
3. Новости: Количество статей, моделей и методов, публикуемых каждый день, растет в геометрической прогрессии благодаря вниманию и капиталу, до такой степени, что следить за всеми этими передовыми разработками стало почти работой на полный рабочий день. .
LLM создает работу на полный рабочий день. Инженерия программного обеспечения породит новую субдисциплину, сосредоточится на применении ИИ и эффективно использует появляющийся технологический стек, точно так же, как «инженер по надежности сайта», «инженер по разработке, эксплуатации и обслуживанию», «инженер данных» и «Инженер-аналитик» как перспективный.
**Инженеры искусственного интеллекта поднимутся, чтобы представлять эту роль. **
Почти в каждом стартапе есть какая-то дискуссионная группа по ИИ. Эти группы перейдут от неформальных групп к формальным командам, как это уже сделали Amplitude, Replit и Notion. Тысячи инженеров-программистов, работающих над созданием API-интерфейсов ИИ и моделей OSS, будь то в рабочее время, по ночам и в выходные дни, в корпоративном Slack или автономном Discord, будут специализированы и объединены под одним названием — инженер ИИ. Вероятно, это будет самая востребованная инженерная профессия в следующем десятилетии.
От крупнейших компаний, таких как Microsoft и Google, до передовых стартапов, таких как Figma (приобретена Diagram), Vercel (RoomGPT от Хасана Эль Мгари) и Notion (Notion AI от Ивана Чжао и Саймона Ласта), до независимых хакеров, таких как Саймон Уиллисон. Питер Левелс (Photo/InteriorAI) и Райли Гудсайд (теперь в Scale AI). Они зарабатывают 300 000 долларов в год, разрабатывая подсказки в Anthropic и 900 000 долларов за разработку программного обеспечения в OpenAI. Они проводят свободные выходные, работая над идеями в AGI House и делясь советами на /r/LocalLLaMA2. Всех их объединяет то, что они превращают достижения в области искусственного интеллекта в настоящие продукты, которыми миллионы людей пользуются практически мгновенно.
** Никто не имеет докторской степени. Когда дело доходит до выпуска продуктов ИИ, вам нужны инженеры, а не исследователи. **
02, инженеры ИИ заменят инженеров машинного обучения
Спрос на инженеров ИИ будет быстро расти в будущем. В настоящее время у инженеров машинного обучения в 10 раз больше возможностей трудоустройства, чем у инженеров ИИ, но более высокие темпы роста ИИ наводят на мысль, что это соотношение изменится на противоположное в течение 5 лет.
Ежемесячная диаграмма тенденций занятости для HN Who's Hiring
Все названия должностей односторонние, но некоторые из них полезны. Мы настороженно относимся к бесконечным семантическим спорам между ИИ и МО, но мы прекрасно понимаем, что обычная роль «инженера-программиста» вполне способна создавать программное обеспечение ИИ. Тем не менее, недавний вопрос на Ask HN о том, как проникнуть в разработку искусственного интеллекта, раскрывает фундаментальное мнение, которое все еще существует на рынке:
Скриншот, июнь 2023 г.: ответы с наибольшим количеством голосов на вопрос «Как пробиться в разработку ИИ»
Большинство людей по-прежнему рассматривают разработку ИИ как форму машинного обучения или обработки данных, поэтому они рекомендуют тот же набор технологий. Но вы можете быть уверены, что ни один из высокоэффективных инженеров ИИ, упомянутых выше, не выполнил работу, эквивалентную курсу Эндрю Нг на Coursera, они не знают PyTorch и не знают разницы между озером данных и хранилищем данных.
** Скоро никто не будет предлагать начинать проектирование ИИ с чтения книги «Внимание — это все, что вам нужно», точно так же, как вы не будете учиться водить, читая чертежи Ford Model T. Конечно, понимание основ и истории всегда полезно, и это действительно может помочь вам найти инновации и повышение эффективности/возможностей, которые еще не вошли в широкое сознание. Но иногда вы можете использовать продукты напрямую и узнать их качества на собственном опыте.
Следует признать, что замена инженеров ИИ и инженеров машинного обучения не произойдет в одночасье. Люди, естественно, хотят конкретизировать свои резюме, заполнить карты рынка и выделиться, цитируя более авторитетные и подробные темы. Тем не менее, быстрое проектирование и разработка искусственного интеллекта будут чувствовать себя в невыгодном положении по сравнению с теми, кто имеет солидный опыт работы с данными / машинным обучением в течение длительного времени. Однако экономика спроса и предложения в конечном итоге победит, и спрос на инженеров ИИ намного превысит спрос на инженеров машинного обучения.
**03. Почему сейчас? **
Базовая модель представляет собой «ученика с несколькими выстрелами», демонстрирующего способность учиться даже передаче с нулевым выстрелом в контексте, что выходит за рамки первоначального намерения обучающего модели. Другими словами, люди, создававшие эти модели, не до конца знали, на что они способны. Те, кто не является исследователем LLM, могут обнаружить и воспользоваться этими возможностями, просто потратив больше времени на взаимодействие с моделями и применяя их в недооцененных областях исследований (например, применение Jasper в копирайтинге).
Microsoft, Google, Meta и крупные лаборатории фундаментальных моделей монополизировали дефицитные исследовательские кадры, по сути предоставляя API-интерфейсы «исследование ИИ как услуга». Их нельзя нанять, но можно арендовать — если в вашей команде есть инженеры-программисты, которые умеют с ними работать. ** Во всем мире насчитывается около 5000 исследователей LLM, но около 50 миллионов инженеров-программистов. Ограничения предложения определяют, что для удовлетворения рыночного спроса появится «центральный» инженер по искусственному интеллекту. **
**3. Резерв GPU. **Конечно, OpenAI/Microsoft были первыми, кто проделал эту работу, но Stability AI спровоцировал гонку вооружений среди стартапов, подчеркнув свой кластер из 4000 GPU.
**4 Быстрое действие непосредственно из продукта. **Вместо того, чтобы требовать от специалистов по данным/инженеров машинного обучения тяжелой работы по сбору данных перед обучением конкретной предметной модели, а затем запускать ее в производство, менеджеры по продуктам/инженеры-программисты могут сначала предложить LLM и создать/подтвердить идею продукта, а затем Затем получите конкретные данные для тонкой настройки.
Предположим, что последний в 100–1000 раз больше, чем первый, и, используя рабочий процесс LLM «выстрелить, подготовиться, прицелиться», вы сможете в 10–100 раз быстрее, чем традиционное машинное обучение. В результате инженеры ИИ смогут проверять продукты ИИ с меньшими затратами в 1000–10 000 раз. Это еще одна разработка Waterfall против Agile, а AI — это Agile.
**5. Python → Java. **Данные/ИИ традиционно в значительной степени полагались на Python, и первые инженерные инструменты ИИ, такие как LangChain, LlamaIndex и Guardrails, также были созданы тем же сообществом. Однако в настоящее время разработчиков на Java столько же, сколько разработчиков на Python, поэтому инструменты, начиная с LangChain.js и Transformers.js и заканчивая новым AI SDK от Vercel, все больше ориентированы на эту расширенную пользовательскую базу. Возможности для расширения рынка огромны.
**6. Генеративный ИИ против классификатора МО. ** Термин «Генеративный ИИ» вышел из моды, уступив место другим категориям, таким как «Двигатели логического вывода», но в кратком изложении разницы между существующими инструментами MLOps и практиками машинного обучения, а также тем, что лучше всего подходит для использования LLM. и По-прежнему очень полезно, когда мы рассматриваем новую и особую роль генератора преобразования текста в изображение. В то время как существующие исследования в области машинного обучения могут быть сосредоточены на таких вещах, как риск мошенничества, рекомендательные системы, обнаружение аномалий и хранение функций, инженеры ИИ создают приложения для письма, персонализированные инструменты обучения, электронные таблицы на естественном языке и приложения, подобные Factorio.Язык визуального программирования.
Всякий раз, когда есть подгруппа с совершенно другим опытом, говорящая на другом языке, производящая совершенно другой продукт и использующая совершенно другой инструмент, они в конечном итоге распадаются на отдельные группы.
04, 1+2=3: Программирование в эпоху программного обеспечения 3.0
6 лет назад Андрей Карпати написал очень влиятельную статью, описывающую Software 2.0, противопоставляя «классический стек» традиционных рукописных языков программирования, которые точно моделируют логику, и новые нейронные сети «машинного обучения», которые аппроксимируют логику. позволяя программному обеспечению решать больше проблем, чем люди могут смоделировать. В этом году в последующей статье он отметил, что самым популярным новым языком программирования является английский, наконец заполнив серую область, которую он не отметил в своей первоначальной статье.
В прошлом году инженерия стала мемом, описывающим, как изменится работа, когда люди начнут пользоваться преимуществами GPT-3 и Stable Diffusion. Люди высмеивают стартапы ИИ за то, что они называют их «обертками OpenAI», и высказывают опасения, что приложения LLM уязвимы для проектирования подсказок и обратного проектирования подсказок. Действительно ли существуют барьеры? (Разум подсказывает: обратитесь к нашей первой статье «Интеллектуальные системы: ров будущих ИИ-предприятий»)
Но одной из самых больших тем в 2023 году будет восстановление роли написанного человеком кода в координации и вытеснении возможностей LLM, от Langchain стоимостью более 200 миллионов долларов до Voyager, поддерживаемого Nvidia, демонстрируя очевидную важность генерации и повторного использования кода. . Инженерия преувеличена и останется, но возрождение парадигмы программного обеспечения 1.0 в приложениях программного обеспечения 3.0 является одновременно огромной возможностью и областью путаницы, создавая пустое пространство для многочисленных стартапов.
Инвестор, который не может проводить маркетинговые исследования, не является хорошим инвестором.
Конечно, это не просто код, написанный людьми. Истории многочисленных проектов (smol-разработчик, шире gpt-engineer и приключения других кодогенерирующих агентов вроде Codium AI, Codegen.ai и Morph/Rift) говорят о том, что они все больше будут становиться частью ИИ. инструментарий инженера. По мере того, как инженеры-люди учатся использовать ИИ, ИИ будет все больше участвовать в разработке.
До тех пор, пока однажды в далеком будущем мы не посмотрим вверх и больше не сможем отличить их друг от друга.
Рекомендации
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
_ Инженер устарел? Рождается новая карьера, продвигаемая ИИ-большими шишками
Источник: SenseAI
Чувственное мышление
Мы пытаемся выдвинуть более расходящиеся выводы и глубокие размышления, основанные на содержании статьи, добро пожаловать на обмен.
**Модельная технология против приземления продукта: **В то время как большинство людей жалуются на огромные волны, увлеченные моряки отправились на поиски новых континентов. Ремесленники, которые изобрели компас и построили корабли, сыграли свою роль в эпоху, а затем моряки и рабочие расширили территорию.
**Эпоха программного обеспечения 3.0:**SenseAI еще раз делает акцент на сети агентов.На этот раз машина приходит к нам, и естественный язык станет языковым пакетом, который удовлетворяет большинство потребностей разработки, еще больше освобождая человеческое воображение. Агенты используют плотность взаимодействия и сетевое сотрудничество, чтобы решить задачу, а люди должны предложить низкоуровневое воображение, разрушить и восстановить.
В этой статье всего 3255 слов, и на внимательное прочтение уходит около 9 минут.
01. Новая профессия: инженер по искусственному интеллекту
Мы наблюдаем «сдвиг вправо» прикладного ИИ поколений, обусловленный новыми возможностями и наличием открытого исходного кода/API базовых моделей. Ряд задач искусственного интеллекта, на выполнение которых в 2013 году ушло 5 лет и исследовательская группа, теперь можно выполнить, имея только документацию по API и свободный день.
Однако самая сложная работа связана с конкретными деталями реализации.В настоящее время LLM по-прежнему сталкивается со следующими проблемами с точки зрения успешной оценки, применения и производства:
** 1. Модель: ** От оценки самых больших моделей GPT-4 и Claude до самых маленьких моделей с открытым исходным кодом Huggingface, LLaMA и других.
** 2. Инструменты: ** от самых популярных инструментов связывания, поиска и векторного поиска, таких как LangChain, LlamaIndex и Pinecone, до новой области прокси-инструментов, таких как Auto-GPT и BabyAGT.
3. Новости: Количество статей, моделей и методов, публикуемых каждый день, растет в геометрической прогрессии благодаря вниманию и капиталу, до такой степени, что следить за всеми этими передовыми разработками стало почти работой на полный рабочий день. .
LLM создает работу на полный рабочий день. Инженерия программного обеспечения породит новую субдисциплину, сосредоточится на применении ИИ и эффективно использует появляющийся технологический стек, точно так же, как «инженер по надежности сайта», «инженер по разработке, эксплуатации и обслуживанию», «инженер данных» и «Инженер-аналитик» как перспективный.
**Инженеры искусственного интеллекта поднимутся, чтобы представлять эту роль. **
Почти в каждом стартапе есть какая-то дискуссионная группа по ИИ. Эти группы перейдут от неформальных групп к формальным командам, как это уже сделали Amplitude, Replit и Notion. Тысячи инженеров-программистов, работающих над созданием API-интерфейсов ИИ и моделей OSS, будь то в рабочее время, по ночам и в выходные дни, в корпоративном Slack или автономном Discord, будут специализированы и объединены под одним названием — инженер ИИ. Вероятно, это будет самая востребованная инженерная профессия в следующем десятилетии.
От крупнейших компаний, таких как Microsoft и Google, до передовых стартапов, таких как Figma (приобретена Diagram), Vercel (RoomGPT от Хасана Эль Мгари) и Notion (Notion AI от Ивана Чжао и Саймона Ласта), до независимых хакеров, таких как Саймон Уиллисон. Питер Левелс (Photo/InteriorAI) и Райли Гудсайд (теперь в Scale AI). Они зарабатывают 300 000 долларов в год, разрабатывая подсказки в Anthropic и 900 000 долларов за разработку программного обеспечения в OpenAI. Они проводят свободные выходные, работая над идеями в AGI House и делясь советами на /r/LocalLLaMA2. Всех их объединяет то, что они превращают достижения в области искусственного интеллекта в настоящие продукты, которыми миллионы людей пользуются практически мгновенно.
** Никто не имеет докторской степени. Когда дело доходит до выпуска продуктов ИИ, вам нужны инженеры, а не исследователи. **
02, инженеры ИИ заменят инженеров машинного обучения
Спрос на инженеров ИИ будет быстро расти в будущем. В настоящее время у инженеров машинного обучения в 10 раз больше возможностей трудоустройства, чем у инженеров ИИ, но более высокие темпы роста ИИ наводят на мысль, что это соотношение изменится на противоположное в течение 5 лет.
Все названия должностей односторонние, но некоторые из них полезны. Мы настороженно относимся к бесконечным семантическим спорам между ИИ и МО, но мы прекрасно понимаем, что обычная роль «инженера-программиста» вполне способна создавать программное обеспечение ИИ. Тем не менее, недавний вопрос на Ask HN о том, как проникнуть в разработку искусственного интеллекта, раскрывает фундаментальное мнение, которое все еще существует на рынке:
Большинство людей по-прежнему рассматривают разработку ИИ как форму машинного обучения или обработки данных, поэтому они рекомендуют тот же набор технологий. Но вы можете быть уверены, что ни один из высокоэффективных инженеров ИИ, упомянутых выше, не выполнил работу, эквивалентную курсу Эндрю Нг на Coursera, они не знают PyTorch и не знают разницы между озером данных и хранилищем данных.
** Скоро никто не будет предлагать начинать проектирование ИИ с чтения книги «Внимание — это все, что вам нужно», точно так же, как вы не будете учиться водить, читая чертежи Ford Model T. Конечно, понимание основ и истории всегда полезно, и это действительно может помочь вам найти инновации и повышение эффективности/возможностей, которые еще не вошли в широкое сознание. Но иногда вы можете использовать продукты напрямую и узнать их качества на собственном опыте.
Следует признать, что замена инженеров ИИ и инженеров машинного обучения не произойдет в одночасье. Люди, естественно, хотят конкретизировать свои резюме, заполнить карты рынка и выделиться, цитируя более авторитетные и подробные темы. Тем не менее, быстрое проектирование и разработка искусственного интеллекта будут чувствовать себя в невыгодном положении по сравнению с теми, кто имеет солидный опыт работы с данными / машинным обучением в течение длительного времени. Однако экономика спроса и предложения в конечном итоге победит, и спрос на инженеров ИИ намного превысит спрос на инженеров машинного обучения.
**03. Почему сейчас? **
Базовая модель представляет собой «ученика с несколькими выстрелами», демонстрирующего способность учиться даже передаче с нулевым выстрелом в контексте, что выходит за рамки первоначального намерения обучающего модели. Другими словами, люди, создававшие эти модели, не до конца знали, на что они способны. Те, кто не является исследователем LLM, могут обнаружить и воспользоваться этими возможностями, просто потратив больше времени на взаимодействие с моделями и применяя их в недооцененных областях исследований (например, применение Jasper в копирайтинге).
Microsoft, Google, Meta и крупные лаборатории фундаментальных моделей монополизировали дефицитные исследовательские кадры, по сути предоставляя API-интерфейсы «исследование ИИ как услуга». Их нельзя нанять, но можно арендовать — если в вашей команде есть инженеры-программисты, которые умеют с ними работать. ** Во всем мире насчитывается около 5000 исследователей LLM, но около 50 миллионов инженеров-программистов. Ограничения предложения определяют, что для удовлетворения рыночного спроса появится «центральный» инженер по искусственному интеллекту. **
**3. Резерв GPU. **Конечно, OpenAI/Microsoft были первыми, кто проделал эту работу, но Stability AI спровоцировал гонку вооружений среди стартапов, подчеркнув свой кластер из 4000 GPU.
**4 Быстрое действие непосредственно из продукта. **Вместо того, чтобы требовать от специалистов по данным/инженеров машинного обучения тяжелой работы по сбору данных перед обучением конкретной предметной модели, а затем запускать ее в производство, менеджеры по продуктам/инженеры-программисты могут сначала предложить LLM и создать/подтвердить идею продукта, а затем Затем получите конкретные данные для тонкой настройки.
**5. Python → Java. **Данные/ИИ традиционно в значительной степени полагались на Python, и первые инженерные инструменты ИИ, такие как LangChain, LlamaIndex и Guardrails, также были созданы тем же сообществом. Однако в настоящее время разработчиков на Java столько же, сколько разработчиков на Python, поэтому инструменты, начиная с LangChain.js и Transformers.js и заканчивая новым AI SDK от Vercel, все больше ориентированы на эту расширенную пользовательскую базу. Возможности для расширения рынка огромны.
**6. Генеративный ИИ против классификатора МО. ** Термин «Генеративный ИИ» вышел из моды, уступив место другим категориям, таким как «Двигатели логического вывода», но в кратком изложении разницы между существующими инструментами MLOps и практиками машинного обучения, а также тем, что лучше всего подходит для использования LLM. и По-прежнему очень полезно, когда мы рассматриваем новую и особую роль генератора преобразования текста в изображение. В то время как существующие исследования в области машинного обучения могут быть сосредоточены на таких вещах, как риск мошенничества, рекомендательные системы, обнаружение аномалий и хранение функций, инженеры ИИ создают приложения для письма, персонализированные инструменты обучения, электронные таблицы на естественном языке и приложения, подобные Factorio.Язык визуального программирования.
Всякий раз, когда есть подгруппа с совершенно другим опытом, говорящая на другом языке, производящая совершенно другой продукт и использующая совершенно другой инструмент, они в конечном итоге распадаются на отдельные группы.
04, 1+2=3: Программирование в эпоху программного обеспечения 3.0
6 лет назад Андрей Карпати написал очень влиятельную статью, описывающую Software 2.0, противопоставляя «классический стек» традиционных рукописных языков программирования, которые точно моделируют логику, и новые нейронные сети «машинного обучения», которые аппроксимируют логику. позволяя программному обеспечению решать больше проблем, чем люди могут смоделировать. В этом году в последующей статье он отметил, что самым популярным новым языком программирования является английский, наконец заполнив серую область, которую он не отметил в своей первоначальной статье.
Но одной из самых больших тем в 2023 году будет восстановление роли написанного человеком кода в координации и вытеснении возможностей LLM, от Langchain стоимостью более 200 миллионов долларов до Voyager, поддерживаемого Nvidia, демонстрируя очевидную важность генерации и повторного использования кода. . Инженерия преувеличена и останется, но возрождение парадигмы программного обеспечения 1.0 в приложениях программного обеспечения 3.0 является одновременно огромной возможностью и областью путаницы, создавая пустое пространство для многочисленных стартапов.
Конечно, это не просто код, написанный людьми. Истории многочисленных проектов (smol-разработчик, шире gpt-engineer и приключения других кодогенерирующих агентов вроде Codium AI, Codegen.ai и Morph/Rift) говорят о том, что они все больше будут становиться частью ИИ. инструментарий инженера. По мере того, как инженеры-люди учатся использовать ИИ, ИИ будет все больше участвовать в разработке.
До тех пор, пока однажды в далеком будущем мы не посмотрим вверх и больше не сможем отличить их друг от друга.
Рекомендации