На відкритті першого дня розробника OpenAI Сем Альтман детально розповів про низку важливих розробок для компанії, не обмежуючись GPT-4 Turbo, новою моделлю з більшою потужністю, довшим контекстом і більшим контролем, а також запуском Assistance API, щоб спростити для розробників досвід створення допоміжних агентів, OpenAI підкреслив, що природна мова буде важливим способом взаємодії з комп'ютерами в майбутньому, а також представив програмування GPT через розмову Альтман оголосив про майбутній запуск магазину GPT, який дозволить користувачам ділитися та відкривати для себе інноваційні програми GPT та надаватиме стимули для розподілу доходів. Альтман також розповів про поглиблення співпраці з Microsoft, продемонструвавши нову модель перетворення тексту в мову та покращені виклики функцій, які можна підсумувати на наступних сесіях:
GPT-4 Turbo: Випущено нові моделі зі збільшеною довжиною контексту та точнішим керуванням.
Допоміжний API: Надає розробникам спрощений процес створення вторинного агента.
Програмування природною мовою: показує, як створити GPT за допомогою розмов.
Магазин GPT: дозволяє користувачам ділитися та знаходити програми GPT, а також забезпечує розподіл доходу для творців.
Співпраця з Microsoft: Продемонстровано нову модель перетворення тексту в мовлення, а також виступ генерального директора Microsoft Сатьї Наделли.
Командна подяка: Альтман висловив подяку команді OpenAI за їхню роботу.
Технологічна вітрина: Були продемонстровані нові функції, включаючи демонстраційну версію додатків для подорожей і голосового помічника.
Ось весь повний контент першого дня розробника OpenAI:
По-перше, Альтман згадує випуск ChatGPT від 30 листопада як стриманий попередній перегляд досліджень і з гордістю оголошує про запуск GPT-4 у березні, найпотужнішої моделі у світі на даний момент.
Альтман також представив мовні та візуальні можливості, представлені в ChatGPT за останні кілька місяців, надавши йому можливість бачити, чути та говорити, і оголосив, що DALL· Запуск E 3, найдосконалішої у світі моделі зображення, яка була інтегрована в ChatGPT.
Для клієнтів корпоративного рівня OpenAI запустила ChatGPT Enterprise, який забезпечує швидший доступ до GPT, довші контекстні вікна та більше захисту безпеки та конфіденційності корпоративного рівня. Альтман розповів, що близько 2 мільйонів розробників використовують свої API, понад 92% компаній зі списку Fortune 500 створюють рішення на основі своїх продуктів, а ChatGPT зараз має близько 100 мільйонів активних користувачів щотижня. Зокрема, він зазначив, що це досягнення повністю покладається на сарафанне радіо, оскільки користувачі вважають продукт корисним і рекомендують його друзям. На завершення він зазначив, що, хоча дані вражають, важливіше те, як люди використовують ці продукти та як вони використовують штучний інтелект, а потім показав відео, яке візуалізує ці досягнення.
На конференції розробників OpenAI Сем Альтман у відео показав нам, як штучний інтелект може глибоко впливати на особисте життя та творчість людей. Один із випадків у відео розповідає про чоловіка, який використовує ChatGPT у неромантичній, але шанобливій та ласкавій манері, щоб сказати батькові про свою любов і підтримку рідною мовою батька – тагальською – і складною граматичною структурою. Цей кейс демонструє здатність ChatGPT розуміти та застосовувати культурні та мовні нюанси.
За словами Альтмана, творчі програми ChatGPT дивовижні і можуть допомогти творцям розширити своє мислення та підвищити впевненість у собі. Одним із прикладів є хтось, хто використовує ChatGPT, щоб допомогти їм у повсякденних завданнях, таких як перевірка того, чого не вистачає в холодильнику, планування вегетаріанського рецепту або навіть допомога зі створенням електронних таблиць і написанням коду, а персонаж в іншому відео виявляє спорідненість, терпіння, обізнаність і чуйність ChatGPT. Для учениці 4.0 і матері чотирьох дітей здатність ChatGPT надавати відповіді на запитання та пояснення зменшує її залежність від репетиторів і виграє більше часу з сім'єю та собою. Нарешті, на відео також є чоловік, який розповідає, як він обмежився використанням лівої руки після того, як переніс операцію на спинному та головному мозку. Тепер, використовуючи голосове введення та розмовні функції ChatGPT, цьому користувачеві значно допомогли та полегшили. Ці кейси ілюструють потенціал ChatGPT допомагати в повсякденному житті, підтримувати навчання та долати перешкоди, а також демонструють, як штучний інтелект може об'єднувати та розширювати можливості користувачів у глобальному масштабі, як ніколи раніше.
Потім Сем Альтман розповів, як люди використовують свої технології, і підкреслив, що це саме те, що вони роблять. Потім він оголосив про низку нових розробок. Альтман каже, що вони витратили багато часу, спілкуючись з розробниками по всьому світу та вислуховуючи їхні відгуки, що глибоко вплинуло на те, що ми збираємося показати сьогодні.
Компанія OpenAI випустила нову модель GPT-4 Turbo. Ця нова модель задовольнить потреби багатьох розробників. Він докладно описав шість основних оновлень: перше – це довжина контексту, GPT-4 підтримує контексти до 8 000 токенів, а в деяких випадках може досягати 32 000. GPT-4 Turbo підтримує контексти до 128 000 токенів, що еквівалентно 300 сторінкам стандартної книги та в 16 разів довше, ніж контекст 8 000 токенів. На додаток до більшої довжини контексту, точність цієї моделі при роботі з довгими контекстами також була значно покращена.
Друге оновлення – це більше контролю. Щоб дати розробникам більше контролю над відповідями та виходами моделей, вони представили нову функцію під назвою JSON Schema, щоб гарантувати, що моделі реагують на дійсний JSON, що значно спростить виклики API. Модель також покращилася з точки зору викликів функцій, що дозволило викликати кілька функцій одночасно та краще слідувати інструкціям. Вони також представили нову функцію під назвою «Відтворюваний вихід», яка дозволяє моделі повертати послідовний результат, передаючи початковий параметр, що, очевидно, забезпечує вищий ступінь контролю над поведінкою моделі. Наразі ця функція перебуває на стадії бета-тестування.
У найближчі тижні вони розгорнуть нову функцію, яка дозволить переглядати зондування журналів в API. Третє оновлення – краще пізнання світу. Щоб надати моделі доступ до більш точних світових знань, вони представили функцію пошуку, яка дозволяє витягувати знання із зовнішніх документів або баз даних. Вони також оновили термін надання знань, а світові знання GPT-4 Turbo були оновлені до квітня 2023 року і продовжуватимуть вдосконалюватися.
Четверте оновлення – це нова модальність, DALL· Візуальні можливості E 3, GPT-4 Turbo та нова модель перетворення тексту в мову з'являються в API сьогодні, і кілька клієнтів вже використовують DALL· E 3 Програмно генерує зображення та дизайни. Сьогодні Coca-Cola запускає кампанію, щоб дати можливість клієнтам використовувати DALL· E 3 Створіть вітальні листівки Дівалі.
Звичайно, їхні системи безпеки допомагають розробникам запобігати неправильному використанню програм, і ці інструменти можна використовувати в API. GPT-4 Turbo тепер може приймати введені зображення через API та генерувати підписи, класифікацію та аналіз. Наприклад, Miis використовує цю технологію, щоб допомагати сліпим або слабозорим людям у виконанні повсякденних завдань, таких як ідентифікація продукту перед ними. А за допомогою нової моделі перетворення тексту в мовлення ви зможете генерувати звук з природним звучанням з тексту в API з шістьма попередньо встановленими звуками на вибір.
Альтман показав приклад звуку, який показав природність їхньої нової моделі перетворення тексту в мову. Ця технологія перетворення голосу в голос робить взаємодію з додатком більш природною та доступною, а також відкриває багато варіантів використання, таких як вивчення мови та голосові помічники.
Altman також оголосив про наступну версію своєї моделі розпізнавання мови з відкритим вихідним кодом, Whisper v3, і сказав, що незабаром додасть API. Ця версія має покращену продуктивність кількома мовами, і він думає, що вона дуже сподобається розробникам.
Далі він обговорив питання кастомізації. З моменту запуску GPT 3.5 кілька місяців тому функція тонкого налаштування показала хороші результати. Починаючи з сьогоднішнього дня, це буде розширено до версії моделі 16K. Вони також запрошують користувачів, які активно використовують тонке налаштування, подати заявку на участь у програмі GPT-4 Fine-Tuning Experiment Access Program. API тонкого налаштування ідеально підходить для підвищення продуктивності моделі з відносно невеликою кількістю даних у різних програмах, будь то вивчення абсолютно нових областей знань або робота з великими обсягами власних даних.
У п'ятому оновленні Альтман оголосив про нову ініціативу під назвою «Користувацькі моделі», де дослідники OpenAI тісно співпрацюватимуть з компанією, щоб використовувати їхні інструменти для створення спеціалізованих користувацьких моделей для конкретних випадків використання. Це включає в себе модифікацію кожного етапу процесу навчання моделі, проведення попередньої підготовки для конкретної предметної області, налаштування процесу навчання з підкріпленням після тренування та багато іншого. Він зізнається, що спочатку вони не зможуть працювати з багатьма компаніями, а це буде багато роботи і недешево, принаймні спочатку. Але якщо є компанії, які хочуть довести справу до своїх поточних меж, зверніться до них.
Крім того, Альтман оголосив про підвищення лімітів ставок. Вони подвоять кількість токенів на хвилину для всіх існуючих клієнтів GPT-4, що полегшить виконання більшого, і можуть вимагати подальших змін ліміту швидкості та квоти безпосередньо в налаштуваннях облікового запису API. На додаток до цих обмежень ставок, вони також запровадили Copyright Shield, що означає, що якщо клієнт зіткнеться з судовим позовом про порушення авторських прав, OpenAI втрутиться, щоб захистити клієнта та покрити понесені витрати. Це стосується як ChatGPT Enterprise, так і API. Він чітко нагадує всім, що вони ніколи не використовують дані з API або ChatGPT Enterprise для навчання.
Далі Альтман розповів про запит розробника, який був більшим, ніж усі попередні, і це було питання ціноутворення. Він оголосив, що GPT-4 Turbo не тільки розумніший за GPT-4, але й дешевший, що призвело до 3-кратного зменшення токена та 2-кратного зменшення токена завершення. Нова ціна становить $0,01 за 1 000 токенів підказок і $0,03 за 1 000 токенів завершення. Це призводить до того, що комбінований тариф GPT-4 Turbo більш ніж у 2,75 рази дешевший, ніж GPT-4. Вони дуже наполегливо працювали, щоб досягти цього, і сподіваються, що всі будуть у захваті від цього.
Їм доводилося вибирати між ціною і швидкістю, коли вони вирішували пріоритезувати питання ціни, але далі вони працюватимуть над збільшенням швидкості. Він також оголосив про зниження ціни на GPT 3.5 Turbo 16K, зі зменшенням вхідних токенів у 3 рази та 2-кратним зменшенням вихідних токенів, що означає, що GPT 3,516K тепер дешевший, ніж попередня модель GPT 3,54K. Точно налаштована версія GPT 3.5 Turbo 16K також дешевша в експлуатації, ніж старіша версія 4K, і він сподівається, що зміни врахують відгуки всіх, і з радістю представить ці покращення всім.
Представляючи все це, він зазначив, що OpenAI пощастило мати партнера, який відіграє життєво важливу роль у тому, щоб це стало можливим. Тому він запросив спеціального гостя, Сатья Наделлу, генерального директора Microsoft.
Наделла згадує, як вперше зіткнувся з OpenAI, де Альтман запитав його, чи є у нього кредити Azure, і з тих пір вони пройшли довгий шлях. Він похвалив OpenAI за створення чогось магічного, і поділився двома думками Microsoft про партнерство: по-перше, робочі навантаження, де вони працюють разом над створенням систем, які підтримують моделі, які будує OpenAI, від живлення до центрів обробки даних, до стійок і прискорювачів і мереж. Мета Microsoft полягає в тому, щоб побудувати найкращу систему, щоб OpenAI могла побудувати найкращу модель і зробити її доступною для розробників. По-друге, Microsoft сама є розробником і створює продукти. Наделла згадував, що коли він вперше зустрів GitHub Copilot і GPT, його віра в ціле покоління базових моделей повністю змінилася. Вони прагнуть створити свій продукт на основі API OpenAI і сподіваються зробити GitHub Copilot Enterprise доступним для всіх присутніх, щоб випробувати його.
Альтман також попросив Наделлу поділитися своїми думками про майбутнє партнерства та майбутнє штучного інтелекту. Наделла підкреслив, що Microsoft повністю віддана наданню систем і обчислювальних ресурсів, необхідних для підтримки OpenAI в її сміливому прогресі в її дорожній карті. Вони прагнуть забезпечити найкращі системи навчання та висновків, а також найбільшу кількість обчислювальних ресурсів, щоб OpenAI міг продовжувати просувати передові технології. Наделла вважає, що справжня цінність штучного інтелекту полягає в його здатності розширювати можливості людей, що узгоджується з місією OpenAI та Microsoft, яка полягає в тому, щоб дати можливість кожній людині та кожній організації на планеті робити більше. Він зазначив, що безпека є ключовим напрямком їхньої співпраці, і що це фокус їхніх спільних зусиль, а не другорядна думка. Слова Наделли підкреслюють глибину та мету партнерства OpenAI та Microsoft, демонструючи спільне бачення двох компаній щодо стимулювання зростання та впровадження штучного інтелекту.
Потім Альтман звернувся до теми конференції, і хоча це була конференція для розробників, вони внесли деякі покращення в ChatGPT. Тепер ChatGPT використовує GPT-4 Turbo та всі останні покращення, включаючи останні граничні часи знань, і продовжуватиме оновлюватися, які вже набули чинності того ж дня. ChatGPT тепер може переглядати веб-сторінки, писати та запускати код, аналізувати дані, генерувати зображення та багато іншого, коли це необхідно. Вони також почули відгуки користувачів про те, що селектор моделей надзвичайно дратує і тому був видалений. З сьогоднішнього дня користувачам не потрібно натискати на випадаюче меню, і ChatGPT автоматично знатиме, яку функцію коли використовувати.
Альтман зазначає, що хоча ціна є важливим питанням, воно не є головним у запиті забудовника. Вони вірять, що якщо дати людям кращі інструменти, вони будуть робити дивовижні речі. Люди хочуть, щоб штучний інтелект був розумнішим, більш персоналізованим, більш настроюваним і міг робити більше від імені користувача. Зрештою, користувач просто запитує ПК, і він виконує всі ці завдання за вас. У сфері штучного інтелекту ці можливості часто називають «агентами». Щоб вирішити питання безпеки ШІ, OpenAI вважає, що поступове та ітеративне розгортання є найкращим підходом, і вважає, що особливо важливо обережно рухатися до майбутнього цього «агента». Це вимагатиме великої технічної роботи та великої вдумливості з боку суспільства.
Отже, вони зробили перший маленький крок до цього майбутнього. Альтман був у захваті від того, що представив GPT – версію ChatGPT, заточену під конкретну мету. Ви можете створити індивідуальну версію ChatGPT майже з будь-чого з інструкціями, розширеними знаннями та діями, а потім опублікувати її для використання іншими. Оскільки вони поєднують інструкції, розширені знання та дії, вони можуть бути кориснішими, краще підходити для різних контекстів і забезпечувати кращий контроль.
Вони полегшать виконання різних завдань або просто зроблять його веселішим для вас. Ви можете використовувати їх безпосередньо в ChatGPT. Власне, ви можете запрограмувати GPT мовою, розмовляючи з ним. Поведінку легко налаштувати відповідно до ваших потреб. Це дуже спрощує їх створення та розширює можливості кожного.
Далі Альтман сказав, що вони покажуть, що таке GPT, як їх використовувати, як їх створювати, а потім обговорять, як вони будуть поширюватися та виявлятися. Потім розробники покажуть, як вбудувати цей досвід, схожий на агентський, у власні програми.
Він навів кілька прикладів. Партнери code.org працюють над розширенням шкільної навчальної програми з інформатики, і у них є курси, якими користуються десятки мільйонів учнів по всьому світу. Code.org розробив план уроку та GPT, щоб допомогти вчителям забезпечити більш захоплюючий досвід для учнів середньої школи. Наприклад, якщо вчитель попросить творчо пояснити петлю, він це зробить, і в цьому випадку він пояснить це тим, як персонаж відеогри неодноразово підбирає монети, що дуже легко зрозуміти восьмикласнику. Цей GPT поєднує в собі широку навчальну програму та досвід code.org, що дозволяє вчителям швидко та легко адаптуватися до їхніх потреб.
Далі Canva створює GPT, де ви можете розпочати дизайнерську роботу, описавши потрібний дизайн природною мовою. Якщо ви скажете, зробіть плакат для прийому до Дня розробника сьогодні вдень і надайте деякі подробиці, він згенерує кілька стартових варіантів, викликавши API Canva.
Альтман зазначає, що ця концепція може бути знайома деяким. Вони перетворили плагін на кастомну дію для GPT. Ви можете продовжити спілкування з ним, щоб переглянути різні ітерації, а коли побачите ту, яка вам подобається, ви можете клацнути, щоб перейти до Canva, щоб отримати повний досвід дизайну.
Потім вони хотіли показати GPT у прямому ефірі. Zapier створив GPT, який дозволяє виконувати дії в 6000 додатках, відкриваючи широкий спектр можливостей інтеграції. Альтман представив Джессіку, архітектора рішень в OpenAI, яка відповідатиме за презентацію.
Архітектор рішень Джессіка Шей вийшла на сцену і швидко розпочала демонстрацію, при цьому Джессіка зазначила, що GPT будуть розташовані у верхньому лівому куті інтерфейсу, і показала приклад під назвою дії Zapier AI. Вона показала свій календар на день і згадала, що підключила GPT до свого календаря.
Під час презентації Джессіка запитала про розклад дня. Вона наголосила, що GPT створюються з урахуванням безпеки, і система запитує дозвіл у користувача, перш ніж ділитися будь-якою дією чи даними. Вона дозволяє GPT отримувати доступ до свого розкладу та пояснює, що GPT призначені для отримання інструкцій від користувача, щоб вирішити, яку функцію викликати для виконання відповідної дії.
Далі Джессіка показала, як GPT успішно підключилися до її календаря та витягли інформацію про подію. Вона також доручила GPT перевірити наявність конфліктів у календарі та показала, що вона успішно їх виявила. Потім вона демонструє, як повідомити людині на ім'я Сем, що їй потрібно піти раніше, і переключитися на розмову з Семом, щоб попросити про це.
Коли GPT завершили запит, Джессіка запитала Сема, чи отримала вона сповіщення, і Сем підтвердив отримання. Джессіка використала це як приклад, щоб проілюструвати потенціал GPT, і висловила своє очікування побачити, що побудують інші.
Потім Сем представив більше прикладів GPT. Він зазначив, що окрім продемонстрованих, є багато GPT, які створюються і будуть створені найближчим часом. Він зрозумів, що багато людей, які хотіли створити GPT, не вміли програмувати, тому вони дали можливість людям програмувати GPT через розмову. Альтман вважає, що природна мова буде важливою частиною того, як люди будуть використовувати комп'ютери в майбутньому, і вважає це цікавим раннім прикладом.
Далі Альтман показує, як побудувати GPT. Він хотів створити GPT, який допомагав би засновникам і розробникам надавати поради під час запуску нових проєктів. Він заходить у конструктор GPT, каже йому, що він хоче, і GPT починає створювати детальні інструкції на основі його опису. Він також придумує назву «Startup Mentor» і починає наповнювати інформацією та можливими питаннями в режимі попереднього перегляду. Альтман завантажив стенограму своєї попередньої промови про підприємництво, щоб надати поради на її основі, додавши до директиви «стислий і конструктивний зворотний зв'язок».
Потім Альтман спробував цей GPT у тегу попереднього перегляду і залишився задоволений результатами. Він вирішив поки що просто опублікувати його собі, щоб потім доопрацювати та поділитися. Він згадав, що завжди хотів створити такого робота і тепер щасливий, що зміг це зробити. Альтман підкреслив, що GPT дозволяють людям легко ділитися та відкривати для себе цікаві речі, які вони роблять за допомогою ChatGPT. Люди можуть створювати GPT приватно, або ділитися своїми творіннями публічно за посиланнями, або створювати GPT лише для своєї компанії, якщо вони використовують ChatGPT Enterprise. Пізніше цього місяця вони планують запустити магазин GPT, де люди зможуть розміщувати GPT, а в OpenAI будуть представлені найкращі та найпопулярніші GPT.
Альтман також зазначив, що OpenAI гарантуватиме, що GPT у магазинах дотримується їхньої політики, і що OpenAI цінує розподіл доходів і виплачуватиме частину доходу тим, хто створює найкорисніші та найпопулярніші GPT. Вони з нетерпінням чекають на створення динамічної екосистеми через магазин GPT і з нетерпінням чекають на додаткову інформацію, якою буде поділитися.
Альтман також підкреслив, що це конференція для розробників, які привносять ті ж концепції в API. Він зазначив, що багато людей вже створили проксі-подібний досвід на API, таких як Shopify Sidekick і Collide від Discord, а також мій штучний інтелект, кастомний чат-бот, який можна додавати в групові чати та надавати рекомендації. Цей досвід чудовий, але створити його часто важко, іноді потрібні місяці та команди з десятків інженерів. Щоб спростити цей процес, вони запустили новий Assistance API.
API допомоги включає постійні потоки, вбудований інтерпретатор коду пошуку, робочий інтерпретатор Python і середовище пісочниці, а також покращену функціональність виклику функцій, яку вони обговорювали раніше.
Після цього Раман, керівник відділу досвіду розробників в OpenAI, показав, як це працює. Рамон каже, що його надихає те, що так багато людей впроваджують штучний інтелект у свої програми. Рамон оголосив, що вони не тільки впроваджують нові патерни в API, але й раді покращити досвід розробників, щоб людям було простіше створювати вторинних агентів. Потім він показує безпосередньо процес складання.
Рамон представив додаток для подорожей, який він створює, під назвою «жага подорожей» для дослідників по всьому світу. Він також продемонстрував ідеї пунктів призначення, згенеровані за допомогою GPT-4, а також використання нового DALL· Ілюстрації згенеровані програмно за допомогою E 3 API. Згодом Рамон показав, як покращити додаток, додавши простого помічника. Він перемикається на новий допоміжний інструмент, створює помічника, дає йому назву, надає початкові інструкції, вибирає модель, вмикає інтерпретатор коду та функції пошуку, а потім зберігає.
Далі Рамон пояснив, як інтегрувати асистента в додаток, розглянувши частину коду і продемонструвавши, як створити новий ланцюжок для кожного нового користувача і додати його повідомлення в ці ланцюжки. Також він показує, як запустити помічника в будь-який момент, щоб повернути відповідь додатку.
Далі Рамон продемонстрував функцію виклику, яка йому особливо сподобалася. Виклики функцій тепер гарантують виведення даних у форматі JSON, і можна викликати декілька функцій одночасно. Потім він продемонстрував, як асистент знає функції для включення міток на карту праворуч і додає маркери на карту в режимі реального часу.
Рамон також обговорює функцію пошуку, яка полягає в тому, щоб надати помічникам більше знань, ніж миттєві повідомлення користувачам. Він завантажує PDF-файл, який зчитується системою і виводиться на екран. Потім він також перетягує інформацію про бронювання Airbnb у розмову.
Рамон підкреслив, що розробникам зазвичай потрібно обчислювати вбудовування, налаштовувати алгоритми фрагментації, і тепер все це обробляється новим API зі збереженням стану. Він також показує інформаційну панель розробника, де ви можете побачити кроки, виконані інструментом, включаючи функції, які були викликані, і PDF-файли, які були завантажені.
Потім Рамон обговорив нову функцію, на яку чекали багато розробників: інтерпретатор коду, який тепер також доступний в API. Це дозволяє штучному інтелекту писати та виконувати код і навіть генерувати файли на льоту. Він демонструє, як працюватиме інтерпретатор коду, якщо ви скажете задачу, яка вимагає конвертації валюти та обчислення днів. Нарешті, Рамон описує, як швидко створити агента, який може керувати станом розмов користувачів, використовувати зовнішні інструменти, такі як пошук знань та інтерпретатори коду, а також викликати власні функції для реалізації функціональності.
Рамон також представив функції, які поєднують нещодавно випущені шаблони та виклики функцій, і він створив спеціального помічника для Dev Day. Більше того, він вирішив використовувати голос замість інтерфейсу чату. Він показав простий додаток Swift, який може приймати вхідні дані з мікрофона і показувати, що відбувається у фоновому режимі в журналах терміналів. Він використовував шепіт для перетворення голосового введення в текст, використовував асистента GPT-4 Turbo і використовував новий API TTS, щоб змусити його звучати.
Рамон також демонструє, як асистент може підключатися до Інтернету та виконувати реальні дії за користувача. Він запропонував, щоб асистент дав 500 доларів у вигляді кредитів OpenAI п'ятьом випадковим учасникам Dev Day, і асистент успішно виконав завдання.
Нарешті, у своєму заключному слові на Дні розробника OpenAI Сем Альтман сказав, що Assistive API знаходиться на стадії бета-тестування, і що він радий побачити, як розробники будуть його використовувати. Він підкреслив, що GPT та допоміжні інструменти є піонером на шляху до більш складних агентів, які зможуть планувати та виконувати складніші завдання для користувачів.
Альтман ще раз наголошує на важливості поступового ітеративного розгортання і закликає людей почати використовувати ці агенти вже зараз, щоб адаптуватися до майбутнього світу, де вони стануть більш здібними. Він запевнив, що OpenAI продовжить оновлювати систему на основі відгуків користувачів, сказавши, що OpenAI має видатну щільність талантів, але для досягнення всього цього все одно потрібно багато зусиль і координації. Він відчуває, що у нього найкращі колеги у світі, і неймовірно вдячний за можливість працювати з ними.
Ось чому команда OpenAI так наполегливо працює: вони вірять, що штучний інтелект стане частиною технологічної та соціальної революції, яка багато в чому змінить світ. Альтман згадав, що раніше вони обговорювали, що, даючи людям кращі інструменти, вони можуть змінити світ. Він вважає, що штучний інтелект принесе безпрецедентне розширення особистих прав і можливостей і масштаб агентства, тим самим піднявши людство на безпрецедентний рівень. У міру того, як інтелект стає все більш повсюдним, у всіх нас завжди є надздібності. Він у захваті від того, як ви будете використовувати технології та нове майбутнє, яке ми будуємо разом.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Перша конференція розробників OpenAI: GPT-4 Turbo, GPT Store
Джерело: З'явився новий Newin
На відкритті першого дня розробника OpenAI Сем Альтман детально розповів про низку важливих розробок для компанії, не обмежуючись GPT-4 Turbo, новою моделлю з більшою потужністю, довшим контекстом і більшим контролем, а також запуском Assistance API, щоб спростити для розробників досвід створення допоміжних агентів, OpenAI підкреслив, що природна мова буде важливим способом взаємодії з комп'ютерами в майбутньому, а також представив програмування GPT через розмову Альтман оголосив про майбутній запуск магазину GPT, який дозволить користувачам ділитися та відкривати для себе інноваційні програми GPT та надаватиме стимули для розподілу доходів. Альтман також розповів про поглиблення співпраці з Microsoft, продемонструвавши нову модель перетворення тексту в мову та покращені виклики функцій, які можна підсумувати на наступних сесіях:
Ось весь повний контент першого дня розробника OpenAI:
По-перше, Альтман згадує випуск ChatGPT від 30 листопада як стриманий попередній перегляд досліджень і з гордістю оголошує про запуск GPT-4 у березні, найпотужнішої моделі у світі на даний момент.
Альтман також представив мовні та візуальні можливості, представлені в ChatGPT за останні кілька місяців, надавши йому можливість бачити, чути та говорити, і оголосив, що DALL· Запуск E 3, найдосконалішої у світі моделі зображення, яка була інтегрована в ChatGPT.
Для клієнтів корпоративного рівня OpenAI запустила ChatGPT Enterprise, який забезпечує швидший доступ до GPT, довші контекстні вікна та більше захисту безпеки та конфіденційності корпоративного рівня. Альтман розповів, що близько 2 мільйонів розробників використовують свої API, понад 92% компаній зі списку Fortune 500 створюють рішення на основі своїх продуктів, а ChatGPT зараз має близько 100 мільйонів активних користувачів щотижня. Зокрема, він зазначив, що це досягнення повністю покладається на сарафанне радіо, оскільки користувачі вважають продукт корисним і рекомендують його друзям. На завершення він зазначив, що, хоча дані вражають, важливіше те, як люди використовують ці продукти та як вони використовують штучний інтелект, а потім показав відео, яке візуалізує ці досягнення.
На конференції розробників OpenAI Сем Альтман у відео показав нам, як штучний інтелект може глибоко впливати на особисте життя та творчість людей. Один із випадків у відео розповідає про чоловіка, який використовує ChatGPT у неромантичній, але шанобливій та ласкавій манері, щоб сказати батькові про свою любов і підтримку рідною мовою батька – тагальською – і складною граматичною структурою. Цей кейс демонструє здатність ChatGPT розуміти та застосовувати культурні та мовні нюанси.
За словами Альтмана, творчі програми ChatGPT дивовижні і можуть допомогти творцям розширити своє мислення та підвищити впевненість у собі. Одним із прикладів є хтось, хто використовує ChatGPT, щоб допомогти їм у повсякденних завданнях, таких як перевірка того, чого не вистачає в холодильнику, планування вегетаріанського рецепту або навіть допомога зі створенням електронних таблиць і написанням коду, а персонаж в іншому відео виявляє спорідненість, терпіння, обізнаність і чуйність ChatGPT. Для учениці 4.0 і матері чотирьох дітей здатність ChatGPT надавати відповіді на запитання та пояснення зменшує її залежність від репетиторів і виграє більше часу з сім'єю та собою. Нарешті, на відео також є чоловік, який розповідає, як він обмежився використанням лівої руки після того, як переніс операцію на спинному та головному мозку. Тепер, використовуючи голосове введення та розмовні функції ChatGPT, цьому користувачеві значно допомогли та полегшили. Ці кейси ілюструють потенціал ChatGPT допомагати в повсякденному житті, підтримувати навчання та долати перешкоди, а також демонструють, як штучний інтелект може об'єднувати та розширювати можливості користувачів у глобальному масштабі, як ніколи раніше.
Потім Сем Альтман розповів, як люди використовують свої технології, і підкреслив, що це саме те, що вони роблять. Потім він оголосив про низку нових розробок. Альтман каже, що вони витратили багато часу, спілкуючись з розробниками по всьому світу та вислуховуючи їхні відгуки, що глибоко вплинуло на те, що ми збираємося показати сьогодні.
Компанія OpenAI випустила нову модель GPT-4 Turbo. Ця нова модель задовольнить потреби багатьох розробників. Він докладно описав шість основних оновлень: перше – це довжина контексту, GPT-4 підтримує контексти до 8 000 токенів, а в деяких випадках може досягати 32 000. GPT-4 Turbo підтримує контексти до 128 000 токенів, що еквівалентно 300 сторінкам стандартної книги та в 16 разів довше, ніж контекст 8 000 токенів. На додаток до більшої довжини контексту, точність цієї моделі при роботі з довгими контекстами також була значно покращена.
Друге оновлення – це більше контролю. Щоб дати розробникам більше контролю над відповідями та виходами моделей, вони представили нову функцію під назвою JSON Schema, щоб гарантувати, що моделі реагують на дійсний JSON, що значно спростить виклики API. Модель також покращилася з точки зору викликів функцій, що дозволило викликати кілька функцій одночасно та краще слідувати інструкціям. Вони також представили нову функцію під назвою «Відтворюваний вихід», яка дозволяє моделі повертати послідовний результат, передаючи початковий параметр, що, очевидно, забезпечує вищий ступінь контролю над поведінкою моделі. Наразі ця функція перебуває на стадії бета-тестування.
У найближчі тижні вони розгорнуть нову функцію, яка дозволить переглядати зондування журналів в API. Третє оновлення – краще пізнання світу. Щоб надати моделі доступ до більш точних світових знань, вони представили функцію пошуку, яка дозволяє витягувати знання із зовнішніх документів або баз даних. Вони також оновили термін надання знань, а світові знання GPT-4 Turbo були оновлені до квітня 2023 року і продовжуватимуть вдосконалюватися.
Четверте оновлення – це нова модальність, DALL· Візуальні можливості E 3, GPT-4 Turbo та нова модель перетворення тексту в мову з'являються в API сьогодні, і кілька клієнтів вже використовують DALL· E 3 Програмно генерує зображення та дизайни. Сьогодні Coca-Cola запускає кампанію, щоб дати можливість клієнтам використовувати DALL· E 3 Створіть вітальні листівки Дівалі.
Звичайно, їхні системи безпеки допомагають розробникам запобігати неправильному використанню програм, і ці інструменти можна використовувати в API. GPT-4 Turbo тепер може приймати введені зображення через API та генерувати підписи, класифікацію та аналіз. Наприклад, Miis використовує цю технологію, щоб допомагати сліпим або слабозорим людям у виконанні повсякденних завдань, таких як ідентифікація продукту перед ними. А за допомогою нової моделі перетворення тексту в мовлення ви зможете генерувати звук з природним звучанням з тексту в API з шістьма попередньо встановленими звуками на вибір.
Альтман показав приклад звуку, який показав природність їхньої нової моделі перетворення тексту в мову. Ця технологія перетворення голосу в голос робить взаємодію з додатком більш природною та доступною, а також відкриває багато варіантів використання, таких як вивчення мови та голосові помічники.
Altman також оголосив про наступну версію своєї моделі розпізнавання мови з відкритим вихідним кодом, Whisper v3, і сказав, що незабаром додасть API. Ця версія має покращену продуктивність кількома мовами, і він думає, що вона дуже сподобається розробникам.
Далі він обговорив питання кастомізації. З моменту запуску GPT 3.5 кілька місяців тому функція тонкого налаштування показала хороші результати. Починаючи з сьогоднішнього дня, це буде розширено до версії моделі 16K. Вони також запрошують користувачів, які активно використовують тонке налаштування, подати заявку на участь у програмі GPT-4 Fine-Tuning Experiment Access Program. API тонкого налаштування ідеально підходить для підвищення продуктивності моделі з відносно невеликою кількістю даних у різних програмах, будь то вивчення абсолютно нових областей знань або робота з великими обсягами власних даних.
У п'ятому оновленні Альтман оголосив про нову ініціативу під назвою «Користувацькі моделі», де дослідники OpenAI тісно співпрацюватимуть з компанією, щоб використовувати їхні інструменти для створення спеціалізованих користувацьких моделей для конкретних випадків використання. Це включає в себе модифікацію кожного етапу процесу навчання моделі, проведення попередньої підготовки для конкретної предметної області, налаштування процесу навчання з підкріпленням після тренування та багато іншого. Він зізнається, що спочатку вони не зможуть працювати з багатьма компаніями, а це буде багато роботи і недешево, принаймні спочатку. Але якщо є компанії, які хочуть довести справу до своїх поточних меж, зверніться до них.
Крім того, Альтман оголосив про підвищення лімітів ставок. Вони подвоять кількість токенів на хвилину для всіх існуючих клієнтів GPT-4, що полегшить виконання більшого, і можуть вимагати подальших змін ліміту швидкості та квоти безпосередньо в налаштуваннях облікового запису API. На додаток до цих обмежень ставок, вони також запровадили Copyright Shield, що означає, що якщо клієнт зіткнеться з судовим позовом про порушення авторських прав, OpenAI втрутиться, щоб захистити клієнта та покрити понесені витрати. Це стосується як ChatGPT Enterprise, так і API. Він чітко нагадує всім, що вони ніколи не використовують дані з API або ChatGPT Enterprise для навчання.
Далі Альтман розповів про запит розробника, який був більшим, ніж усі попередні, і це було питання ціноутворення. Він оголосив, що GPT-4 Turbo не тільки розумніший за GPT-4, але й дешевший, що призвело до 3-кратного зменшення токена та 2-кратного зменшення токена завершення. Нова ціна становить $0,01 за 1 000 токенів підказок і $0,03 за 1 000 токенів завершення. Це призводить до того, що комбінований тариф GPT-4 Turbo більш ніж у 2,75 рази дешевший, ніж GPT-4. Вони дуже наполегливо працювали, щоб досягти цього, і сподіваються, що всі будуть у захваті від цього.
Їм доводилося вибирати між ціною і швидкістю, коли вони вирішували пріоритезувати питання ціни, але далі вони працюватимуть над збільшенням швидкості. Він також оголосив про зниження ціни на GPT 3.5 Turbo 16K, зі зменшенням вхідних токенів у 3 рази та 2-кратним зменшенням вихідних токенів, що означає, що GPT 3,516K тепер дешевший, ніж попередня модель GPT 3,54K. Точно налаштована версія GPT 3.5 Turbo 16K також дешевша в експлуатації, ніж старіша версія 4K, і він сподівається, що зміни врахують відгуки всіх, і з радістю представить ці покращення всім.
Представляючи все це, він зазначив, що OpenAI пощастило мати партнера, який відіграє життєво важливу роль у тому, щоб це стало можливим. Тому він запросив спеціального гостя, Сатья Наделлу, генерального директора Microsoft.
Наделла згадує, як вперше зіткнувся з OpenAI, де Альтман запитав його, чи є у нього кредити Azure, і з тих пір вони пройшли довгий шлях. Він похвалив OpenAI за створення чогось магічного, і поділився двома думками Microsoft про партнерство: по-перше, робочі навантаження, де вони працюють разом над створенням систем, які підтримують моделі, які будує OpenAI, від живлення до центрів обробки даних, до стійок і прискорювачів і мереж. Мета Microsoft полягає в тому, щоб побудувати найкращу систему, щоб OpenAI могла побудувати найкращу модель і зробити її доступною для розробників. По-друге, Microsoft сама є розробником і створює продукти. Наделла згадував, що коли він вперше зустрів GitHub Copilot і GPT, його віра в ціле покоління базових моделей повністю змінилася. Вони прагнуть створити свій продукт на основі API OpenAI і сподіваються зробити GitHub Copilot Enterprise доступним для всіх присутніх, щоб випробувати його.
Альтман також попросив Наделлу поділитися своїми думками про майбутнє партнерства та майбутнє штучного інтелекту. Наделла підкреслив, що Microsoft повністю віддана наданню систем і обчислювальних ресурсів, необхідних для підтримки OpenAI в її сміливому прогресі в її дорожній карті. Вони прагнуть забезпечити найкращі системи навчання та висновків, а також найбільшу кількість обчислювальних ресурсів, щоб OpenAI міг продовжувати просувати передові технології. Наделла вважає, що справжня цінність штучного інтелекту полягає в його здатності розширювати можливості людей, що узгоджується з місією OpenAI та Microsoft, яка полягає в тому, щоб дати можливість кожній людині та кожній організації на планеті робити більше. Він зазначив, що безпека є ключовим напрямком їхньої співпраці, і що це фокус їхніх спільних зусиль, а не другорядна думка. Слова Наделли підкреслюють глибину та мету партнерства OpenAI та Microsoft, демонструючи спільне бачення двох компаній щодо стимулювання зростання та впровадження штучного інтелекту.
Потім Альтман звернувся до теми конференції, і хоча це була конференція для розробників, вони внесли деякі покращення в ChatGPT. Тепер ChatGPT використовує GPT-4 Turbo та всі останні покращення, включаючи останні граничні часи знань, і продовжуватиме оновлюватися, які вже набули чинності того ж дня. ChatGPT тепер може переглядати веб-сторінки, писати та запускати код, аналізувати дані, генерувати зображення та багато іншого, коли це необхідно. Вони також почули відгуки користувачів про те, що селектор моделей надзвичайно дратує і тому був видалений. З сьогоднішнього дня користувачам не потрібно натискати на випадаюче меню, і ChatGPT автоматично знатиме, яку функцію коли використовувати.
Альтман зазначає, що хоча ціна є важливим питанням, воно не є головним у запиті забудовника. Вони вірять, що якщо дати людям кращі інструменти, вони будуть робити дивовижні речі. Люди хочуть, щоб штучний інтелект був розумнішим, більш персоналізованим, більш настроюваним і міг робити більше від імені користувача. Зрештою, користувач просто запитує ПК, і він виконує всі ці завдання за вас. У сфері штучного інтелекту ці можливості часто називають «агентами». Щоб вирішити питання безпеки ШІ, OpenAI вважає, що поступове та ітеративне розгортання є найкращим підходом, і вважає, що особливо важливо обережно рухатися до майбутнього цього «агента». Це вимагатиме великої технічної роботи та великої вдумливості з боку суспільства.
Отже, вони зробили перший маленький крок до цього майбутнього. Альтман був у захваті від того, що представив GPT – версію ChatGPT, заточену під конкретну мету. Ви можете створити індивідуальну версію ChatGPT майже з будь-чого з інструкціями, розширеними знаннями та діями, а потім опублікувати її для використання іншими. Оскільки вони поєднують інструкції, розширені знання та дії, вони можуть бути кориснішими, краще підходити для різних контекстів і забезпечувати кращий контроль.
Вони полегшать виконання різних завдань або просто зроблять його веселішим для вас. Ви можете використовувати їх безпосередньо в ChatGPT. Власне, ви можете запрограмувати GPT мовою, розмовляючи з ним. Поведінку легко налаштувати відповідно до ваших потреб. Це дуже спрощує їх створення та розширює можливості кожного.
Далі Альтман сказав, що вони покажуть, що таке GPT, як їх використовувати, як їх створювати, а потім обговорять, як вони будуть поширюватися та виявлятися. Потім розробники покажуть, як вбудувати цей досвід, схожий на агентський, у власні програми.
Він навів кілька прикладів. Партнери code.org працюють над розширенням шкільної навчальної програми з інформатики, і у них є курси, якими користуються десятки мільйонів учнів по всьому світу. Code.org розробив план уроку та GPT, щоб допомогти вчителям забезпечити більш захоплюючий досвід для учнів середньої школи. Наприклад, якщо вчитель попросить творчо пояснити петлю, він це зробить, і в цьому випадку він пояснить це тим, як персонаж відеогри неодноразово підбирає монети, що дуже легко зрозуміти восьмикласнику. Цей GPT поєднує в собі широку навчальну програму та досвід code.org, що дозволяє вчителям швидко та легко адаптуватися до їхніх потреб.
Далі Canva створює GPT, де ви можете розпочати дизайнерську роботу, описавши потрібний дизайн природною мовою. Якщо ви скажете, зробіть плакат для прийому до Дня розробника сьогодні вдень і надайте деякі подробиці, він згенерує кілька стартових варіантів, викликавши API Canva.
Альтман зазначає, що ця концепція може бути знайома деяким. Вони перетворили плагін на кастомну дію для GPT. Ви можете продовжити спілкування з ним, щоб переглянути різні ітерації, а коли побачите ту, яка вам подобається, ви можете клацнути, щоб перейти до Canva, щоб отримати повний досвід дизайну.
Потім вони хотіли показати GPT у прямому ефірі. Zapier створив GPT, який дозволяє виконувати дії в 6000 додатках, відкриваючи широкий спектр можливостей інтеграції. Альтман представив Джессіку, архітектора рішень в OpenAI, яка відповідатиме за презентацію.
Архітектор рішень Джессіка Шей вийшла на сцену і швидко розпочала демонстрацію, при цьому Джессіка зазначила, що GPT будуть розташовані у верхньому лівому куті інтерфейсу, і показала приклад під назвою дії Zapier AI. Вона показала свій календар на день і згадала, що підключила GPT до свого календаря.
Під час презентації Джессіка запитала про розклад дня. Вона наголосила, що GPT створюються з урахуванням безпеки, і система запитує дозвіл у користувача, перш ніж ділитися будь-якою дією чи даними. Вона дозволяє GPT отримувати доступ до свого розкладу та пояснює, що GPT призначені для отримання інструкцій від користувача, щоб вирішити, яку функцію викликати для виконання відповідної дії.
Далі Джессіка показала, як GPT успішно підключилися до її календаря та витягли інформацію про подію. Вона також доручила GPT перевірити наявність конфліктів у календарі та показала, що вона успішно їх виявила. Потім вона демонструє, як повідомити людині на ім'я Сем, що їй потрібно піти раніше, і переключитися на розмову з Семом, щоб попросити про це.
Коли GPT завершили запит, Джессіка запитала Сема, чи отримала вона сповіщення, і Сем підтвердив отримання. Джессіка використала це як приклад, щоб проілюструвати потенціал GPT, і висловила своє очікування побачити, що побудують інші.
Потім Сем представив більше прикладів GPT. Він зазначив, що окрім продемонстрованих, є багато GPT, які створюються і будуть створені найближчим часом. Він зрозумів, що багато людей, які хотіли створити GPT, не вміли програмувати, тому вони дали можливість людям програмувати GPT через розмову. Альтман вважає, що природна мова буде важливою частиною того, як люди будуть використовувати комп'ютери в майбутньому, і вважає це цікавим раннім прикладом.
Далі Альтман показує, як побудувати GPT. Він хотів створити GPT, який допомагав би засновникам і розробникам надавати поради під час запуску нових проєктів. Він заходить у конструктор GPT, каже йому, що він хоче, і GPT починає створювати детальні інструкції на основі його опису. Він також придумує назву «Startup Mentor» і починає наповнювати інформацією та можливими питаннями в режимі попереднього перегляду. Альтман завантажив стенограму своєї попередньої промови про підприємництво, щоб надати поради на її основі, додавши до директиви «стислий і конструктивний зворотний зв'язок».
Потім Альтман спробував цей GPT у тегу попереднього перегляду і залишився задоволений результатами. Він вирішив поки що просто опублікувати його собі, щоб потім доопрацювати та поділитися. Він згадав, що завжди хотів створити такого робота і тепер щасливий, що зміг це зробити. Альтман підкреслив, що GPT дозволяють людям легко ділитися та відкривати для себе цікаві речі, які вони роблять за допомогою ChatGPT. Люди можуть створювати GPT приватно, або ділитися своїми творіннями публічно за посиланнями, або створювати GPT лише для своєї компанії, якщо вони використовують ChatGPT Enterprise. Пізніше цього місяця вони планують запустити магазин GPT, де люди зможуть розміщувати GPT, а в OpenAI будуть представлені найкращі та найпопулярніші GPT.
Альтман також зазначив, що OpenAI гарантуватиме, що GPT у магазинах дотримується їхньої політики, і що OpenAI цінує розподіл доходів і виплачуватиме частину доходу тим, хто створює найкорисніші та найпопулярніші GPT. Вони з нетерпінням чекають на створення динамічної екосистеми через магазин GPT і з нетерпінням чекають на додаткову інформацію, якою буде поділитися.
Альтман також підкреслив, що це конференція для розробників, які привносять ті ж концепції в API. Він зазначив, що багато людей вже створили проксі-подібний досвід на API, таких як Shopify Sidekick і Collide від Discord, а також мій штучний інтелект, кастомний чат-бот, який можна додавати в групові чати та надавати рекомендації. Цей досвід чудовий, але створити його часто важко, іноді потрібні місяці та команди з десятків інженерів. Щоб спростити цей процес, вони запустили новий Assistance API.
API допомоги включає постійні потоки, вбудований інтерпретатор коду пошуку, робочий інтерпретатор Python і середовище пісочниці, а також покращену функціональність виклику функцій, яку вони обговорювали раніше.
Після цього Раман, керівник відділу досвіду розробників в OpenAI, показав, як це працює. Рамон каже, що його надихає те, що так багато людей впроваджують штучний інтелект у свої програми. Рамон оголосив, що вони не тільки впроваджують нові патерни в API, але й раді покращити досвід розробників, щоб людям було простіше створювати вторинних агентів. Потім він показує безпосередньо процес складання.
Рамон представив додаток для подорожей, який він створює, під назвою «жага подорожей» для дослідників по всьому світу. Він також продемонстрував ідеї пунктів призначення, згенеровані за допомогою GPT-4, а також використання нового DALL· Ілюстрації згенеровані програмно за допомогою E 3 API. Згодом Рамон показав, як покращити додаток, додавши простого помічника. Він перемикається на новий допоміжний інструмент, створює помічника, дає йому назву, надає початкові інструкції, вибирає модель, вмикає інтерпретатор коду та функції пошуку, а потім зберігає.
Далі Рамон пояснив, як інтегрувати асистента в додаток, розглянувши частину коду і продемонструвавши, як створити новий ланцюжок для кожного нового користувача і додати його повідомлення в ці ланцюжки. Також він показує, як запустити помічника в будь-який момент, щоб повернути відповідь додатку.
Далі Рамон продемонстрував функцію виклику, яка йому особливо сподобалася. Виклики функцій тепер гарантують виведення даних у форматі JSON, і можна викликати декілька функцій одночасно. Потім він продемонстрував, як асистент знає функції для включення міток на карту праворуч і додає маркери на карту в режимі реального часу.
Рамон також обговорює функцію пошуку, яка полягає в тому, щоб надати помічникам більше знань, ніж миттєві повідомлення користувачам. Він завантажує PDF-файл, який зчитується системою і виводиться на екран. Потім він також перетягує інформацію про бронювання Airbnb у розмову.
Рамон підкреслив, що розробникам зазвичай потрібно обчислювати вбудовування, налаштовувати алгоритми фрагментації, і тепер все це обробляється новим API зі збереженням стану. Він також показує інформаційну панель розробника, де ви можете побачити кроки, виконані інструментом, включаючи функції, які були викликані, і PDF-файли, які були завантажені.
Потім Рамон обговорив нову функцію, на яку чекали багато розробників: інтерпретатор коду, який тепер також доступний в API. Це дозволяє штучному інтелекту писати та виконувати код і навіть генерувати файли на льоту. Він демонструє, як працюватиме інтерпретатор коду, якщо ви скажете задачу, яка вимагає конвертації валюти та обчислення днів. Нарешті, Рамон описує, як швидко створити агента, який може керувати станом розмов користувачів, використовувати зовнішні інструменти, такі як пошук знань та інтерпретатори коду, а також викликати власні функції для реалізації функціональності.
Рамон також представив функції, які поєднують нещодавно випущені шаблони та виклики функцій, і він створив спеціального помічника для Dev Day. Більше того, він вирішив використовувати голос замість інтерфейсу чату. Він показав простий додаток Swift, який може приймати вхідні дані з мікрофона і показувати, що відбувається у фоновому режимі в журналах терміналів. Він використовував шепіт для перетворення голосового введення в текст, використовував асистента GPT-4 Turbo і використовував новий API TTS, щоб змусити його звучати.
Рамон також демонструє, як асистент може підключатися до Інтернету та виконувати реальні дії за користувача. Він запропонував, щоб асистент дав 500 доларів у вигляді кредитів OpenAI п'ятьом випадковим учасникам Dev Day, і асистент успішно виконав завдання.
Нарешті, у своєму заключному слові на Дні розробника OpenAI Сем Альтман сказав, що Assistive API знаходиться на стадії бета-тестування, і що він радий побачити, як розробники будуть його використовувати. Він підкреслив, що GPT та допоміжні інструменти є піонером на шляху до більш складних агентів, які зможуть планувати та виконувати складніші завдання для користувачів.
Альтман ще раз наголошує на важливості поступового ітеративного розгортання і закликає людей почати використовувати ці агенти вже зараз, щоб адаптуватися до майбутнього світу, де вони стануть більш здібними. Він запевнив, що OpenAI продовжить оновлювати систему на основі відгуків користувачів, сказавши, що OpenAI має видатну щільність талантів, але для досягнення всього цього все одно потрібно багато зусиль і координації. Він відчуває, що у нього найкращі колеги у світі, і неймовірно вдячний за можливість працювати з ними.
Ось чому команда OpenAI так наполегливо працює: вони вірять, що штучний інтелект стане частиною технологічної та соціальної революції, яка багато в чому змінить світ. Альтман згадав, що раніше вони обговорювали, що, даючи людям кращі інструменти, вони можуть змінити світ. Він вважає, що штучний інтелект принесе безпрецедентне розширення особистих прав і можливостей і масштаб агентства, тим самим піднявши людство на безпрецедентний рівень. У міру того, як інтелект стає все більш повсюдним, у всіх нас завжди є надздібності. Він у захваті від того, як ви будете використовувати технології та нове майбутнє, яке ми будуємо разом.