Коли більшість людей оплакує величезні хвилі, завзяті мореплавці вже вирушили на пошуки нового континенту. Нещодавно Карпаті, директор із штучного інтелекту Tesla та найкращий стример із штучного інтелекту, який нещодавно повернувся до OpenAI, ретвітнув останній епізод подкасту Latent Space, вважаючи, що слідкувати за розвитком штучного інтелекту стало роботою на повний робочий день. необхідні, і попит значно перевищить сьогоднішніх розробників алгоритмів машинного навчання. У цьому випуску ми продовжимо аналізувати портрет можливостей талантів ШІ, які знадобляться в майбутньому.
Чутке мислення
Ми намагаємося висунути більш різноманітні висновки та глибоке мислення на основі змісту статті, ласкаво просимо до обміну.
**Модельна технологія проти висадки продукту: **Поки більшість людей скаржаться на величезні хвилі, захоплені моряки вирушили шукати нові континенти. Ремісники, які винайшли компас і побудували кораблі, зіграли свою роль в епоху, а потім моряки і робітники розширили територію.
**Епоха програмного забезпечення 3.0:**SenseAI знову наголошує на мережі агентів. Цього разу машина приходить до нас, і природна мова стане мовним пакетом, який задовольняє більшість потреб розробки, ще більше звільняючи людську уяву. Агенти використовують щільність взаємодії та мережеву співпрацю, щоб розв’язати виконання, а люди повинні запропонувати уяву нижнього рівня, знищити та реконструювати.
Ця стаття складається з 3255 слів, і її уважне читання займає близько 9 хвилин
01. Нова робота: інженер ШІ
Ми спостерігаємо «зсув праворуч» прикладного штучного інтелекту з покоління в покоління завдяки новим можливостям і доступності відкритого коду/API базових моделей. Низку завдань зі штучного інтелекту, на виконання яких у 2013 році пішла 5 років і дослідницька група, тепер можна виконати лише за допомогою документації API та вільного дня.
API є універсальним: інженери штучного інтелекту можуть йти ліворуч, щоб оптимізувати/розміщувати моделі, а інженери-дослідники можуть йти праворуч, щоб створювати додатки на основі API, але їхні відносні переваги та технічна основа зрозумілі.
Однак найскладніша робота полягає в конкретних деталях впровадження.Наразі LLM все ще має такі проблеми з точки зору успішної оцінки, застосування та виробництва:
**1. Модель: **Від оцінки найбільших моделей GPT-4 і Claude до найменших моделей Huggingface з відкритим кодом, LLaMA та інших.
2. Інструменти: від найпопулярніших інструментів зв’язування, пошуку та векторного пошуку, таких як LangChain, LlamaIndex і Pinecone, до нової галузі проксі-інструментів, таких як Auto-GPT і BabyAGT.
3. Новини: кількість статей, моделей і методів, що публікуються щодня, зростає в геометричній прогресії завдяки увазі та капіталу, аж до того моменту, коли нюхати всі ці передові розробки стало майже повною роботою. .
LLM створює роботу на повний робочий день. Розробка програмного забезпечення створить нову субдисципліну, зосередиться на застосуванні штучного інтелекту та ефективно використовуватиме нові технології, як «інженер з надійності сайту», «інженер з розробки та обслуговування», «інженер з обробки даних» та «Інженер-аналітик» як перспективний.
**Інженери штучного інтелекту піднімуться, щоб представляти цю роль. **
Майже кожен стартап має певну форму дискусійної групи ШІ. Ці групи перейдуть від неформальних груп до формальних, як це вже зробили Amplitude, Replit і Notion. Ті тисячі інженерів програмного забезпечення, які працюють над розробкою API-інтерфейсів штучного інтелекту та OSS-моделей, чи то в корпоративний час, чи то ввечері чи на вихідних, у корпоративному Slack чи автономному Discord, будуть спеціалізовані та об’єднані під однією назвою — інженер штучного інтелекту. Ймовірно, це буде найбільш затребувана інженерна робота в наступному десятилітті.
Від найбільших компаній, таких як Microsoft і Google, до передових стартапів, таких як Figma (придбана Diagram), Vercel (RoomGPT від Хасана Ель Мгарі) і Notion (Notion AI від Івана Чжао та Саймона Ласта), до незалежних хакерів, як Саймон Віллісон, Пітер Левелз (Photo/Interior AI) і Райлі Гудсайд (тепер у Scale AI). Вони заробляють 300 000 доларів на рік, розробляючи підказки в Anthropic, і 900 000 доларів, створюючи програмне забезпечення в OpenAI. Вони проводять вільні вихідні, працюючи над ідеями в AGI House і діляться порадами на /r/LocalLLaMA2. Спільним для них є те, що вони перетворюють досягнення в області штучного інтелекту в реальні продукти, якими користуються мільйони майже миттєво.
**Ніхто не має докторського ступеня. Коли справа доходить до випуску продуктів ШІ, вам потрібні інженери, а не дослідники. **
02, інженери AI замінять інженерів ML
У майбутньому попит на інженерів штучного інтелекту швидко зростатиме. Наразі на Indeed інженери ML мають у 10 разів більше можливостей для працевлаштування, ніж інженери штучного інтелекту, але вищі темпи зростання штучного інтелекту змушують вважати, що це співвідношення зміниться протягом 5 років.
Місячна діаграма тенденцій зайнятості для HN Who's Hiring
Усі назви посад односторонні, але деякі корисні. Ми насторожені та втомлені від нескінченних семантичних дебатів між AI та ML, але ми добре усвідомлюємо, що звичайна роль «інженера програмного забезпечення» цілком здатна створити програмне забезпечення AI. Однак нещодавнє запитання на Ask HN про те, як проникнути в інжиніринг ШІ, розкриває фундаментальне сприйняття, яке все ще існує на ринку:
Знімок екрана, червень 2023: найкращі відповіді на запитання «Як проникнути в розробку штучного інтелекту»
Більшість людей все ще сприймають розробку штучного інтелекту як форму машинного навчання або розробки даних, тому рекомендують той самий стек технологій. Але ви можете бути впевнені, що жоден зі згаданих вище високоефективних інженерів зі штучного інтелекту не виконав роботу, еквівалентну курсам Ендрю Нга Coursera, вони не знають PyTorch і не знають різниці між озерами даних і сховищами даних.
**Невдовзі ніхто не запропонує розпочати розробку штучного інтелекту, прочитавши книгу «Увага — все, що вам потрібно», так само, як ви не навчитеся водити, прочитавши креслення Ford Model T. Звичайно, розуміння основ та історії завжди корисно, і це дійсно може допомогти вам знайти інновації та підвищення ефективності/можливостей, які ще не увійшли в загальну свідомість. Але інколи ви можете використовувати продукти безпосередньо та знати їхні якості на досвіді.
Слід визнати, що зміна інженерів штучного інтелекту та інженерів машинного навчання не відбудеться миттєво. Люди, природно, хочуть уточнювати свої резюме, заповнювати карти ринку та виділятися, посилаючись на більш авторитетні та глибокі теми. Тим не менш, оперативна інженерія та розробка штучного інтелекту протягом тривалого часу будуть відчувати себе в невигідному становищі порівняно з тими, хто має серйозний досвід у галузі науки про дані/машинного навчання. Однак економіка попиту та пропозиції врешті-решт переможе, і попит на інженерів ШІ значно перевищить попит на інженерів ML.
**03 Чому зараз? **
Базова модель — це «учень із кількома кадрами», який демонструє здатність вивчати навіть нульовий переказ у контексті, що виходить за рамки початкового наміру тренера моделі. Іншими словами, люди, які створили ці моделі, не до кінця знали, на що вони здатні. Ті, хто не є дослідниками LLM, можуть виявити та скористатися цими можливостями, просто витративши більше часу на взаємодію з моделями та застосувавши їх у недооцінених областях дослідження (наприклад, застосування Jasper для копірайтингу).
Microsoft, Google, Meta та великі лабораторії фундаментальних моделей монополізували дефіцитні дослідницькі таланти, по суті, надаючи API «дослідження ШІ як послугу». Ви не можете найняти їх, але можете взяти в оренду - якщо у вашій команді є програмні інженери, які знають, як з ними працювати. **У світі налічується близько 5000 дослідників магістра права, але є близько 50 мільйонів інженерів програмного забезпечення. Обмеження пропозиції визначають, що для задоволення ринкового попиту з’явиться «центровий» інженер ШІ. **
**3. Резерв GPU. **Звичайно, OpenAI/Microsoft були першими, хто зробив цю роботу, але Stability AI викликав гонку озброєнь графічних процесорів серед стартапів, зробивши акцент на їхньому кластері з 4000 графічних процесорів.
**4 гнучкі дії безпосередньо з продукту. **Замість того, щоб вимагати від спеціалістів із обробки даних/інженерів ML виконувати важку роботу зі збору даних перед навчанням конкретної моделі предметної області та запуском її у виробництво, менеджери з продуктів/інженери з програмного забезпечення можуть спочатку запропонувати LLM, створити/підтвердити ідею продукту, а потім Потім отримати конкретні дані для точного налаштування.
Скажімо, останнє у 100-1000 разів більше, ніж перше, і, керуючись робочим процесом LLM «стріляти, готуватися, прицілюватися», ви отримуєте в 10-100 разів швидше, ніж традиційне машинне навчання. У результаті інженери штучного інтелекту зможуть перевіряти продукти штучного інтелекту за ціною в 1000-10 000 разів нижчою. Це ще одна розробка Waterfall проти Agile, і AI є Agile.
**5 Python → Java. **Data/AI традиційно значною мірою покладався на Python, і перші інженерні інструменти штучного інтелекту, такі як LangChain, LlamaIndex і Guardrails, також виникли в тій же спільноті. Однак тепер розробників Java стільки ж, скільки розробників Python, тому інструменти тепер все більше задовольняють цю розширену базу користувачів, від LangChain.js і Transformers.js до нового пакета SDK для штучного інтелекту Vercel. Можливості для розширення ринку величезні.
**6. Generative AI проти Classifier ML. ** «Генеративний штучний інтелект» як термін вийшов з моди, поступившись місцем іншим категоріям, таким як «інференційні механізми», але в стислому описі різниця між існуючими інструментами MLOps і практиками машинного навчання, а також те, що найкраще підходить для використання LLM. і Все ще дуже корисно, якщо дивитися на нову та чітку роль генератора тексту в зображення. Хоча існуючі дослідження машинного навчання можуть зосереджуватися на таких речах, як ризик шахрайства, системи рекомендацій, виявлення аномалій і зберігання функцій, інженери штучного інтелекту створюють програми для написання, персоналізовані інструменти навчання, електронні таблиці природною мовою та програми, схожі на Factorio.Візуальна мова програмування.
Щоразу, коли є підгрупа з абсолютно іншим походженням, яка розмовляє іншою мовою, виробляє зовсім інший продукт і використовує зовсім інший інструмент, вони зрештою розбиваються на окремі групи.
04, 1+2=3: Програмування в епоху програмного забезпечення 3.0
6 років тому Андрій Карпаті написав дуже впливову статтю, описуючи програмне забезпечення 2.0, протиставляючи «класичний стек» традиційних рукописних мов програмування, які точно моделюють логіку, і нові нейронні мережі «машинного навчання», які апроксимують логіку. дозволяючи програмному забезпеченню вирішувати більше проблем, ніж люди можуть моделювати. Цього року він зазначив у наступній статті, що Найпопулярнішою новою мовою програмування є англійська, нарешті заповнивши сіру зону, яку він не помітив у своїй оригінальній статті.
Інженерія стала мемом минулого року, описуючи, як зміниться робота, коли люди почнуть користуватися перевагами GPT-3 і Stable Diffusion. Люди знущаються над стартапами зі штучним інтелектом за те, що вони називають їх «обгортками OpenAI», і висловлюють занепокоєння, що додатки LLM вразливі до розробки підказок і зворотної розробки підказок. Чи справді існують перешкоди? (Sense каже: зверніться до нашої першої статті «Інтелектуальні системи: рів майбутніх підприємств ШІ»).
Але однією з головних тем у 2023 році стане відновлення ролі написаного людиною коду в координації та витісненні можливостей LLM від Langchain вартістю понад 200 мільйонів доларів до Voyager, який підтримується Nvidia, демонструючи очевидну важливість генерації та повторного використання коду. . Інженерна справа є водночас надміру розкрученою та тут залишиться, але повторна поява парадигми програмного забезпечення 1.0 у програмах програмного забезпечення 3.0 є одночасно величезною можливістю та зоною плутанини, створюючи пробіл для численних стартапів.
Інвестор, який не може провести дослідження ринку, не є хорошим інвестором
Звичайно, це не просто код, написаний людьми. Історії численних проектів (smol-developer, ширше gpt-engineer та пригоди інших агентів, що генерують код, як-от Codium AI, Codegen.ai та Morph/Rift) свідчать про те, що вони все частіше будуть частиною AI інструментарій інженера. Оскільки інженери-люди навчаться використовувати штучний інтелект, штучний інтелект буде все більше залучатися до розробки.
Поки колись у далекому майбутньому ми не подивимось і більше не зможемо відрізнити їх.
Список літератури
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
_ Інженер застарів? Народжується нова кар’єра, яку просувають провідники ШІ
Джерело: SenseAI
Чутке мислення
Ми намагаємося висунути більш різноманітні висновки та глибоке мислення на основі змісту статті, ласкаво просимо до обміну.
**Модельна технологія проти висадки продукту: **Поки більшість людей скаржаться на величезні хвилі, захоплені моряки вирушили шукати нові континенти. Ремісники, які винайшли компас і побудували кораблі, зіграли свою роль в епоху, а потім моряки і робітники розширили територію.
**Епоха програмного забезпечення 3.0:**SenseAI знову наголошує на мережі агентів. Цього разу машина приходить до нас, і природна мова стане мовним пакетом, який задовольняє більшість потреб розробки, ще більше звільняючи людську уяву. Агенти використовують щільність взаємодії та мережеву співпрацю, щоб розв’язати виконання, а люди повинні запропонувати уяву нижнього рівня, знищити та реконструювати.
Ця стаття складається з 3255 слів, і її уважне читання займає близько 9 хвилин
01. Нова робота: інженер ШІ
Ми спостерігаємо «зсув праворуч» прикладного штучного інтелекту з покоління в покоління завдяки новим можливостям і доступності відкритого коду/API базових моделей. Низку завдань зі штучного інтелекту, на виконання яких у 2013 році пішла 5 років і дослідницька група, тепер можна виконати лише за допомогою документації API та вільного дня.
Однак найскладніша робота полягає в конкретних деталях впровадження.Наразі LLM все ще має такі проблеми з точки зору успішної оцінки, застосування та виробництва:
**1. Модель: **Від оцінки найбільших моделей GPT-4 і Claude до найменших моделей Huggingface з відкритим кодом, LLaMA та інших.
2. Інструменти: від найпопулярніших інструментів зв’язування, пошуку та векторного пошуку, таких як LangChain, LlamaIndex і Pinecone, до нової галузі проксі-інструментів, таких як Auto-GPT і BabyAGT.
3. Новини: кількість статей, моделей і методів, що публікуються щодня, зростає в геометричній прогресії завдяки увазі та капіталу, аж до того моменту, коли нюхати всі ці передові розробки стало майже повною роботою. .
LLM створює роботу на повний робочий день. Розробка програмного забезпечення створить нову субдисципліну, зосередиться на застосуванні штучного інтелекту та ефективно використовуватиме нові технології, як «інженер з надійності сайту», «інженер з розробки та обслуговування», «інженер з обробки даних» та «Інженер-аналітик» як перспективний.
**Інженери штучного інтелекту піднімуться, щоб представляти цю роль. **
Майже кожен стартап має певну форму дискусійної групи ШІ. Ці групи перейдуть від неформальних груп до формальних, як це вже зробили Amplitude, Replit і Notion. Ті тисячі інженерів програмного забезпечення, які працюють над розробкою API-інтерфейсів штучного інтелекту та OSS-моделей, чи то в корпоративний час, чи то ввечері чи на вихідних, у корпоративному Slack чи автономному Discord, будуть спеціалізовані та об’єднані під однією назвою — інженер штучного інтелекту. Ймовірно, це буде найбільш затребувана інженерна робота в наступному десятилітті.
Від найбільших компаній, таких як Microsoft і Google, до передових стартапів, таких як Figma (придбана Diagram), Vercel (RoomGPT від Хасана Ель Мгарі) і Notion (Notion AI від Івана Чжао та Саймона Ласта), до незалежних хакерів, як Саймон Віллісон, Пітер Левелз (Photo/Interior AI) і Райлі Гудсайд (тепер у Scale AI). Вони заробляють 300 000 доларів на рік, розробляючи підказки в Anthropic, і 900 000 доларів, створюючи програмне забезпечення в OpenAI. Вони проводять вільні вихідні, працюючи над ідеями в AGI House і діляться порадами на /r/LocalLLaMA2. Спільним для них є те, що вони перетворюють досягнення в області штучного інтелекту в реальні продукти, якими користуються мільйони майже миттєво.
**Ніхто не має докторського ступеня. Коли справа доходить до випуску продуктів ШІ, вам потрібні інженери, а не дослідники. **
02, інженери AI замінять інженерів ML
У майбутньому попит на інженерів штучного інтелекту швидко зростатиме. Наразі на Indeed інженери ML мають у 10 разів більше можливостей для працевлаштування, ніж інженери штучного інтелекту, але вищі темпи зростання штучного інтелекту змушують вважати, що це співвідношення зміниться протягом 5 років.
Усі назви посад односторонні, але деякі корисні. Ми насторожені та втомлені від нескінченних семантичних дебатів між AI та ML, але ми добре усвідомлюємо, що звичайна роль «інженера програмного забезпечення» цілком здатна створити програмне забезпечення AI. Однак нещодавнє запитання на Ask HN про те, як проникнути в інжиніринг ШІ, розкриває фундаментальне сприйняття, яке все ще існує на ринку:
Більшість людей все ще сприймають розробку штучного інтелекту як форму машинного навчання або розробки даних, тому рекомендують той самий стек технологій. Але ви можете бути впевнені, що жоден зі згаданих вище високоефективних інженерів зі штучного інтелекту не виконав роботу, еквівалентну курсам Ендрю Нга Coursera, вони не знають PyTorch і не знають різниці між озерами даних і сховищами даних.
**Невдовзі ніхто не запропонує розпочати розробку штучного інтелекту, прочитавши книгу «Увага — все, що вам потрібно», так само, як ви не навчитеся водити, прочитавши креслення Ford Model T. Звичайно, розуміння основ та історії завжди корисно, і це дійсно може допомогти вам знайти інновації та підвищення ефективності/можливостей, які ще не увійшли в загальну свідомість. Але інколи ви можете використовувати продукти безпосередньо та знати їхні якості на досвіді.
Слід визнати, що зміна інженерів штучного інтелекту та інженерів машинного навчання не відбудеться миттєво. Люди, природно, хочуть уточнювати свої резюме, заповнювати карти ринку та виділятися, посилаючись на більш авторитетні та глибокі теми. Тим не менш, оперативна інженерія та розробка штучного інтелекту протягом тривалого часу будуть відчувати себе в невигідному становищі порівняно з тими, хто має серйозний досвід у галузі науки про дані/машинного навчання. Однак економіка попиту та пропозиції врешті-решт переможе, і попит на інженерів ШІ значно перевищить попит на інженерів ML.
**03 Чому зараз? **
Базова модель — це «учень із кількома кадрами», який демонструє здатність вивчати навіть нульовий переказ у контексті, що виходить за рамки початкового наміру тренера моделі. Іншими словами, люди, які створили ці моделі, не до кінця знали, на що вони здатні. Ті, хто не є дослідниками LLM, можуть виявити та скористатися цими можливостями, просто витративши більше часу на взаємодію з моделями та застосувавши їх у недооцінених областях дослідження (наприклад, застосування Jasper для копірайтингу).
Microsoft, Google, Meta та великі лабораторії фундаментальних моделей монополізували дефіцитні дослідницькі таланти, по суті, надаючи API «дослідження ШІ як послугу». Ви не можете найняти їх, але можете взяти в оренду - якщо у вашій команді є програмні інженери, які знають, як з ними працювати. **У світі налічується близько 5000 дослідників магістра права, але є близько 50 мільйонів інженерів програмного забезпечення. Обмеження пропозиції визначають, що для задоволення ринкового попиту з’явиться «центровий» інженер ШІ. **
**3. Резерв GPU. **Звичайно, OpenAI/Microsoft були першими, хто зробив цю роботу, але Stability AI викликав гонку озброєнь графічних процесорів серед стартапів, зробивши акцент на їхньому кластері з 4000 графічних процесорів.
**4 гнучкі дії безпосередньо з продукту. **Замість того, щоб вимагати від спеціалістів із обробки даних/інженерів ML виконувати важку роботу зі збору даних перед навчанням конкретної моделі предметної області та запуском її у виробництво, менеджери з продуктів/інженери з програмного забезпечення можуть спочатку запропонувати LLM, створити/підтвердити ідею продукту, а потім Потім отримати конкретні дані для точного налаштування.
**5 Python → Java. **Data/AI традиційно значною мірою покладався на Python, і перші інженерні інструменти штучного інтелекту, такі як LangChain, LlamaIndex і Guardrails, також виникли в тій же спільноті. Однак тепер розробників Java стільки ж, скільки розробників Python, тому інструменти тепер все більше задовольняють цю розширену базу користувачів, від LangChain.js і Transformers.js до нового пакета SDK для штучного інтелекту Vercel. Можливості для розширення ринку величезні.
**6. Generative AI проти Classifier ML. ** «Генеративний штучний інтелект» як термін вийшов з моди, поступившись місцем іншим категоріям, таким як «інференційні механізми», але в стислому описі різниця між існуючими інструментами MLOps і практиками машинного навчання, а також те, що найкраще підходить для використання LLM. і Все ще дуже корисно, якщо дивитися на нову та чітку роль генератора тексту в зображення. Хоча існуючі дослідження машинного навчання можуть зосереджуватися на таких речах, як ризик шахрайства, системи рекомендацій, виявлення аномалій і зберігання функцій, інженери штучного інтелекту створюють програми для написання, персоналізовані інструменти навчання, електронні таблиці природною мовою та програми, схожі на Factorio.Візуальна мова програмування.
Щоразу, коли є підгрупа з абсолютно іншим походженням, яка розмовляє іншою мовою, виробляє зовсім інший продукт і використовує зовсім інший інструмент, вони зрештою розбиваються на окремі групи.
04, 1+2=3: Програмування в епоху програмного забезпечення 3.0
6 років тому Андрій Карпаті написав дуже впливову статтю, описуючи програмне забезпечення 2.0, протиставляючи «класичний стек» традиційних рукописних мов програмування, які точно моделюють логіку, і нові нейронні мережі «машинного навчання», які апроксимують логіку. дозволяючи програмному забезпеченню вирішувати більше проблем, ніж люди можуть моделювати. Цього року він зазначив у наступній статті, що Найпопулярнішою новою мовою програмування є англійська, нарешті заповнивши сіру зону, яку він не помітив у своїй оригінальній статті.
Але однією з головних тем у 2023 році стане відновлення ролі написаного людиною коду в координації та витісненні можливостей LLM від Langchain вартістю понад 200 мільйонів доларів до Voyager, який підтримується Nvidia, демонструючи очевидну важливість генерації та повторного використання коду. . Інженерна справа є водночас надміру розкрученою та тут залишиться, але повторна поява парадигми програмного забезпечення 1.0 у програмах програмного забезпечення 3.0 є одночасно величезною можливістю та зоною плутанини, створюючи пробіл для численних стартапів.
Звичайно, це не просто код, написаний людьми. Історії численних проектів (smol-developer, ширше gpt-engineer та пригоди інших агентів, що генерують код, як-от Codium AI, Codegen.ai та Morph/Rift) свідчать про те, що вони все частіше будуть частиною AI інструментарій інженера. Оскільки інженери-люди навчаться використовувати штучний інтелект, штучний інтелект буде все більше залучатися до розробки.
Поки колись у далекому майбутньому ми не подивимось і більше не зможемо відрізнити їх.
Список літератури