преса Wall Street News:
Character.ai — одна з найпопулярніших зірок стартапів у поточному бумі ШІ. Основним продуктом компанії є настроюваний чат-робот зі штучним інтелектом, який орієнтований на розважальні потреби споживачів C-end і має можливість емоційно супроводжувати та створювати вигаданих персонажів. Charater.AI дозволяє користувачам створювати власні чат-боти з певними особистостями, дизайном і запасами знань, такими як світові знаменитості, історичні діячі, вигадані персонажі літератури, кіно та телебачення та навіть тварини, надаючи користувачам новий і захоплюючий досвід спілкування.
Джерело зображення: створено Unbounded AI
На початку цього року Charater.ai завершив A-раунд фінансування на суму 150 мільйонів доларів США з оцінкою понад 1 мільярд доларів США та отримав статус Unicorn з командою лише з 22 осіб.
У квітні генеральний директор Character.ai Ноам Шазір, колишній член команди Google Brain, дав інтерв’ю в подкасті No Priors.
Основна точка зору:
Ще у 2021 році Google мав можливість запустити чат-бота зі штучним інтелектом раніше OpenAI, але відмовився через проблеми безпеки.Боязкість великих компаній також стала причиною того, чому він покинув Google і вирішив відкрити бізнес.
Найбільша перевага Character полягає в його орієнтованій на користувача стратегії продукту. Повністю настроюваний чат-бот зі штучним інтелектом став для багатьох способом позбутися від самотності, а деякі користувачі навіть кажуть, що Персонаж — їхній новий порадник. Ноам вважає, що ШІ має великий потенціал для емоційної підтримки. Робота з емоційної підтримки не потребує високого інтелекту. Наприклад, домашні собаки можуть добре виконувати роботу емоційної підтримки, хоча собаки нерозумні й не вміють говорити. Так само ШІ з обмеженими параметрами також може виконати це завдання.
3 Вимоги до даних, як правило, експоненціально зростають із збільшенням обчислювальної потужності, але даних не бракує. Інтернет може надати майже необмежену кількість даних, і Character також розглядає можливість використання штучного інтелекту для генерування більшої кількості даних.
4 Character.ai все ще перебуває на стадії витрачання грошей на масштаби, а бізнес-модель ще досліджується.У майбутньому команда розгляне розширення бізнесу TOB.
5 Ноам вважає, що AGI є метою багатьох стартапів ШІ. Але ** справжньою причиною його відкриття бізнесу є сприяння розвитку технологій і використання технологій для подолання складних проблем, таких як невирішувані захворювання. Він зазначив, що штучний інтелект може прискорити прогрес багатьох досліджень.Замість безпосереднього вивчення медицини краще вивчати штучний інтелект. **
Нижче наведено дослівну розшифровку аудіо подкасту. ELAD і SARAH є ведучими подкасту. Для розуміння деякі уривки видалено.
Ранній досвід роботи в Google і народження Transformer
НАЖИВО:
Ви тривалий час працювали в НЛП та ШІ. Ви 17 років працювали в Google туди й позаду, де запитання на співбесіді стосувались рішень для перевірки орфографії. Коли я приєднався до Google, однією з основних систем націлювання реклами на той час був Phil Cluster, який, я думаю, написали ви та Джордж Геррік. Я хотів би дізнатися про історію вашої роботи над мовними моделями НЛП для штучного інтелекту, як це все розвивалося, як ви починали, що викликало ваш інтерес?
NOAM:
Дякую, Елад. Так, просто завжди природна тяга до ШІ. Сподіваюся, це змусить комп’ютер зробити щось розумне. Здається, це найсмішніша гра. Мені пощастило рано відкрити для себе Google, і я брав участь у багатьох його ранніх проектах, можливо, зараз це не назвеш штучним інтелектом. З 2012 року я приєднався до команди Google Brain. Робіть цікаві речі з купою дійсно розумних людей. Я ніколи раніше не займався глибоким навчанням або нейронними мережами.
НАЖИВО:
Ви були одним із учасників Transformer paper у 2017 році, а потім брали участь у роботі над Mesh-TensorFlow. Чи можете ви трохи розповісти про те, як усе це працює?
NOAM:
Глибоке навчання є успішним, тому що воно дійсно добре підходить для сучасного апаратного забезпечення, і у вас є це покоління чіпів, які для множення матриць та інших форм потребують багато обчислень, а не спілкування. Отже, по суті, глибоке навчання дійсно набрало популярності, воно працює в тисячі разів швидше, ніж будь-що інше. Опанувавши це, я почав розробляти щось дуже розумне та швидке. Найбільш захоплююча проблема зараз - це моделювання мови. Оскільки існує нескінченна кількість даних, просто перевірте мережу, і ви зможете отримати всі потрібні дані для навчання.
Визначення задачі дуже просте, це передбачити наступне слово, на нього сидить жирний кіт, яке наступне. Це дуже легко визначити, і якщо ви можете це зробити добре, то ви зможете отримати все, що бачите зараз, і ви можете безпосередньо поговорити з цією штукою, це справді штучний інтелект. Отже, приблизно в 2015 році я почав працювати над моделюванням мови та працювати з рекурентними нейронними мережами, що було чудово на той час. Потім з'явився трансформатор.
Я випадково почув, як мої колеги по сусідству розмовляли про бажання замінити RNN на щось краще. Я думав, це звучить добре, я хочу допомогти, RNN дратують, це буде цікавіше.
НАЖИВО:
Чи можете ви швидко описати різницю між рекурентною нейронною мережею та моделлю трансформатора чи уваги?
NOAM:
Повторювані нейронні мережі — це безперервні обчислення, кожне слово, яке ви читаєте до наступного слова, ви обчислюєте свій поточний стан мозку на основі старого стану вашого мозку та вмісту наступного слова. Потім ви, ви передбачаєте наступне слово. Отже, у вас є дуже довга послідовність обчислень, які потрібно виконувати послідовно, і тому магія Transformer полягає в тому, що ви можете обробити всю послідовність одночасно.
Прогноз для наступного слова залежить від того, яким було попереднє слово, але це відбувається постійно, і ви можете скористатися цим паралелізмом, ви можете дивитися на все відразу, як паралелізм, з яким добре справляється сучасне обладнання .
Тепер ви можете скористатися довжиною послідовності, вашим паралелізмом, і все працює дуже добре. сама увага. Це схоже на те, що якщо ви створюєте цю велику асоціацію ключ-значення в пам’яті, ви ніби створюєте цю велику таблицю із записом для кожного слова в послідовності. Потім ви шукаєте речі в цій таблиці. Це все схоже на нечітку, диференційовану та велику французьку функцію, за допомогою якої ви можете зробити зворотне. Люди використовували це для вирішення проблем із двома послідовностями, де у вас є машинний переклад, і ви ніби перекладаєте англійську на французьку, тож коли ви генеруєте французьку послідовність, ви ніби дивитеся на англійську послідовність і намагаєтеся звернути увагу на правильна позиція в послідовності. Але розуміння тут полягає в тому, що ви можете використати ту саму увагу, щоб озирнутися в минуле цієї послідовності, яку ви намагаєтесь створити. Ложка дьогтю полягає в тому, що він добре працює на GPU та графічних процесорах, що паралельно з розвитком глибокого навчання, оскільки він добре працює на існуючому обладнанні. І це приносить те ж саме до послідовностей.
САРА:
Так, я думаю, що класичним прикладом допомоги людям уявити це є те саме речення французькою та англійською, порядок слів інший, ви не зіставляєте один до одного в цій послідовності, і з’ясовуєте, як зробіть це без інформації. Зробіть це за допомогою паралельних обчислень у разі втрати. Тож це дуже елегантна річ.
НАЖИВО:
Також здається, що ця техніка використовується в різних сферах. Очевидно, що це мультимодальні мовні моделі. Тож це як чат GPT або персонаж, яким ви займаєтеся. Мене також вразили деякі додатки, як-от Alpha Folding, робота зі згортання протеїну, яку виконав Google, вона насправді працює з надзвичайною продуктивністю. Чи є якісь сфери застосування, які ви вважаєте справді несподіваними щодо того, як працюють трансформатори та щодо того, що вони можуть робити?
NOAM:
Я просто схиляю голову над мовою, мовляв, ти маєш проблему і можеш все. Я сподіваюся, що ця штука досить хороша. Тож я запитав, як можна вилікувати рак? Тоді це як винайти рішення. Отже, я повністю ігнорував те, що люди роблять у всіх цих інших режимах, і я вважаю, що ранні успіхи глибокого навчання були досягнуті завдяки зображенням, і люди захоплюються зображеннями, але повністю ігнорують це. Тому що зображення варте тисячі слів, але воно має мільйон пікселів, тому текст у тисячу разів щільніший. Отже, я великий шанувальник. Але дуже захоплююче спостерігати за тим, як воно розвивається у всіх цих інших способах. Ці речі чудові. Це дуже корисно для створення продуктів, які люди хочуть використовувати, але я думаю, що багато основного інтелекту буде отримано від цих текстових моделей.
Обмеження великих моделей: обчислювальна потужність не є проблемою, як і дані
НАЖИВО:
Які, на вашу думку, обмеження цих моделей? Люди часто говорять лише про масштабування, ніби ви просто використовуєте більше обчислювальної потужності, і ця річ буде масштабуватися далі. Є дані та різні типи даних, які можуть і не бути там. І алгоритмічні налаштування, і додавання нових речей, таких як пам’ять, петлі чи щось подібне. Як ви думаєте, які великі речі люди ще повинні побудувати, і де, на вашу думку, це використовується як архітектура?
NOAM:
Так, я не знаю, чи буде його ліквідовано. Я маю на увазі, ми ще не бачили, як це вийшло. Напевно, нічого в порівнянні з тим обсягом роботи, який на це йде. Таким чином, імовірно, що люди отримають щось на кшталт двох неефективностей із кращими алгоритмами навчання, кращими архітектурами моделей, кращими способами створення чіпів і використанням квантування тощо. І тоді будуть 10, 100 і 1000 таких факторів, як масштабування та гроші, які люди кинуть на цю річ, тому що всі щойно зрозуміли, що ця річ неймовірно цінна. Водночас я не думаю, що хтось бачить, наскільки це гарна річ для стіни. Тож я думаю, що це просто покращуватиметься. Я не знаю і не знаю, що цьому заважає.
САРА:
Що ви думаєте про цю ідею, ми можемо збільшити обчислювальну потужність, але даних навчання найбільшої моделі недостатньо. Ми використали всі доступні текстові дані в Інтернеті. Ми маємо піти на покращення якості, ми маємо піти на зворотний зв’язок з людьми. що ти думаєш.
NOAM:
З 10 мільярдів людей кожна людина створює 1000 або 10 000 слів, а це величезна кількість даних. Ми всі багато розмовляємо за допомогою систем ШІ. Тож у мене є відчуття, що багато даних піде в деякі системи штучного інтелекту, я маю на увазі, щоб зберегти конфіденційність, я сподіваюся, що дані можуть передаватися. Потім вимоги до даних експоненціально зростають із обчислювальною потужністю, тому що ви тренуєте більшу модель, а потім додаєте їй більше даних. Мене не хвилює брак даних, можливо, ми зможемо згенерувати більше даних за допомогою ШІ.
НАЖИВО:
Тоді які, на вашу думку, основні проблеми, які ці моделі вирішать у майбутньому? Це галюцинація, спогад чи щось інше?
NOAM:
Я поняття не маю. Я якось люблю галюцинації.
САРА:
Це теж особливість.
NOAM:
Найбільше ми хочемо запам’ятати, тому що наші користувачі точно хочуть, щоб їхні віртуальні друзі запам’ятали їх. За допомогою персоналізації можна багато чого зробити, потрібно скинути багато даних і ефективно їх використовувати. Проводиться багато роботи, намагаючись з’ясувати, що є реальним, а що – галюцинаторним. Звичайно, я думаю, що ми це виправимо.
Підприємницька історія Character.ai
НАЖИВО:
Розкажіть мені трохи про LaMDA та вашу роль у ньому, як ви придумали персонажа?
NOAM:
Мій співзасновник Даніель Фрейтас — найпрацьовитіший, найпрацьовитіший і найрозумніший хлопець, якого я коли-небудь зустрічав. Він працював над цим завданням створення чат-ботів усе своє життя. Він намагався створювати чат-боти з дитинства. Тому він приєднався до Google Brain. Він прочитав кілька статей і подумав, що ця техніка моделювання нейронної мови є чимось, що справді може узагальнити та створити справді відкрите поле.
Незважаючи на те, що він не отримав підтримки багатьох людей, він сприйняв цей проект лише як побічний план і витратив на нього 20% свого часу.
Потім він набрав армію з 20 відсотків помічників, які допомогли йому налаштувати систему.
Він навіть ходить, забираючи чужі квоти TPU, він називає свій проект Mina, тому що він йому подобається, я думаю, придумав його уві сні. У якийсь момент я подивився на табло і подумав, що це за штука, яка називається Міна, чому вона має 30 очок TPU?
НАЖИВО:
LaMDA виглядає так, я знаю, що це внутрішній чат-бот, створений Google до GPT. Ця новина стала відомою, тому що один інженер вважав її мудрою.
NOAM:
Так, ми розмістили це на деяких великих мовних моделях, а потім у компанії піднявся галас, і Mina була перейменована на LaMDA, і на той час ми пішли, і були люди, які вірили, що це живе.
САРА:
Чому його не оприлюднили пізніше і що хвилює?
NOAM:
Для великої компанії запуск продукту, який знає все, дещо небезпечний. Я думаю, це просто питання ризику. Отже, після довгих роздумів відкриття бізнесу здавалося правильною ідеєю.
САРА:
Яка історія походження персонажа?
NOAM:
Ми просто хочемо створити щось і вивести це на ринок якомога швидше. Я створив панк-команду інженерів, дослідників, отримав певну обчислювальну потужність і почав бізнес.
НАЖИВО:
Як ви набираєте персонал?
NOAM:
Декого з хлопців, яких ми зустріли в Google, випадково познайомили з М’ятом, який колись був із Meta, і він багато розгорнув, створив багато їхніх великих мовних моделей та інфраструктури нейронних мовних моделей, а також деякі інші люди з Мета пішла за ним, Вони дуже милі.
НАЖИВО:
Чи є у вас особливі вимоги чи методи тестування, коли ви шукаєте талант? Або це просто звичайна співбесіда?
НОАМ
Думаю, багато в чому це залежить від мотивації. Я думаю, що Деніел дуже зосереджений на мотивації, він шукає стан між сильним бажанням і дитячою мрією, тому є багато хороших людей, яких ми не наймаємо, оскільки вони не досягають такого рівня, але ми також наймаємо багато людей, вони ідеально підходять для того, щоб приєднатися до нової компанії, вони дуже талановиті та цілеспрямовані.
На ринку вже є Siri та Alexa, не конкуруйте з великими компаніями щодо функціональності
САРА:
Говорячи про дитячі мрії, чи хотіли б ви описати цей продукт? У вас є ці боти, їх можуть створювати користувачі, вони можуть створювати персонажів, вони можуть бути громадськими діячами, історичними діячами, вигаданими персонажами, як ви придумали цей шаблон?
NOAM:
Користувачі часто знають краще за вас, що вони хочуть з цим зробити. ** Siri, Alexa і Google Assistant уже на ринку, немає необхідності конкурувати з цими великими компаніями за функціональністю. **
Якщо ви намагаєтеся представити публічну персону, яку всі люблять, ви закінчуєте лише нудьгою. І люди не люблять нудьгувати, вони хочуть спілкуватися з речами, які відчувають себе людьми.
Отже, загалом, вам потрібно створювати кількох персонажів і дозволяти людям вигадувати персонажів, як їм заманеться, і є щось, що мені подобається в імені Персонаж, яке має кілька різних значень: текст, персонаж, роль.
САРА:
Отже, чого хочуть люди? друг? писати роман? Щось ще абсолютно нове?
NOAM:
Деякі користувачі спілкуватимуться з віртуальними громадськими діячами та впливовими людьми в наших продуктах. Користувачі можуть створити персонажа та розмовляти з ним. У той час як деякі користувачі можуть почуватися самотніми й потребувати когось, щоб поговорити, багатьом немає з ким поговорити. Дехто сказав би, що тепер ця роль — мій новий радник.
САРА:
Два способи думати про емоції, чи не так? Наприклад, наскільки важливими є стосунки між людьми та персонажами чи на якому рівні ми знаходимося, коли справа доходить до вираження цілісних емоцій?
NOAM:
Так, **я маю на увазі, можливо, вам не потрібен такий високий інтелектуальний рівень для емоційної підтримки. Емоції — це чудово і надзвичайно важливо, але собака також може виконувати чудову функцію емоційної підтримки. Собаки надають чудову емоційну підтримку, але мають мало словесних здібностей, **
НАЖИВО:
Як ви думаєте, що відбувається з системою, коли ви розширюєте її?
NOAM:
Я думаю, що ми повинні мати можливість зробити його розумнішим різними способами. Отримання більшої обчислювальної потужності, навчання більшої моделі та довше навчання мають стати розумнішими, обізнанішими, кращими у тому, що люди хочуть, що люди шукають.
САРА:
У вас є кілька користувачів, які використовують Character багато годин на день. Хто ваша цільова аудиторія? Який ваш очікуваний шаблон використання.
NOAM:
Ми залишимо це на розсуд користувача. Наша мета завжди полягала в тому, щоб розмістити щось і дозволити користувачам вирішувати, для чого, на їхню думку, це корисно.
Ми бачимо, що люди, які сьогодні перебувають на сайті Character, середній час активності становить дві години. Це той, хто сьогодні надіслав повідомлення, божевільне, але важливе, і в ньому сказано, що люди знаходять якусь цінність.
Крім того, як я вже сказав, дуже важко точно сказати, яке це значення, тому що це справді велика змішана річ. Але наша мета полягає в тому, щоб зробити цю річ більш корисною для людей, щоб вони могли її налаштовувати та вирішувати, що вони хочуть з нею робити. Давайте дамо це в руки користувачам і подивимось, що станеться.
Спалювання грошей для масштабування TOC є першочерговим завданням
САРА:
Як ви ставитеся до комерціалізації?
NOAM:
**Ми втрачаємо гроші за кожного користувача та компенсуємо їх обсягом. **
САРА:
добре. Це хороша стратегія.
NOAM:
Ні, я жартую.
НАЖИВО:
Як традиційна бізнес-модель 1990-х років, так що це нормально.
САРА:
Це також бізнес-модель на 2022 рік.
НАЖИВО:
Ви повинні випустити токен і перетворити його на криптовалюту.
NOAM:
** Незабаром ми почнемо монетизацію. Це бізнес, який отримує вигоду від великої обчислювальної потужності. Замість того, щоб спалювати гроші інвесторів, ми сподіваємося надати цінність достатній кількості користувачів і заробити на цьому шляху. Деякі послуги, наприклад преміум-підписки, можна спробувати пізніше. Оскільки ми розробляємо деякі нові функції, подальша плата може зрости. **
НАЖИВО:
Я маю на увазі, що Character як служба TOC справді стала дуже драматичною. Якщо ви подивіться на кількість користувачів і час використання на кожного користувача, це божевілля. Чи плануєте ви почати бізнес TOB у майбутньому? Як робот обслуговування клієнтів?
NOAM:
Зараз у нас 22 співробітники, тому нам потрібно визначити пріоритети, і ми наймаємо. Перший пріоритет – TOC.
САРА:
Тож ви сказали, що однією з ключових причин, чому LaMDA не було запущено одразу, була безпека. Що ви думаєте, хлопці?
NOAM:
Є й інші причини. Наприклад, Google не хоче, щоб люди завдавали шкоди собі або іншим людям, і їй потрібно блокувати порнографію. Навколо цього були певні протести.
НАЖИВО:
Як ви думаєте, все це шлях до AGI чи суперінтелекту? Для деяких компаній це здається частиною мети, а для інших це не здається явною метою.
NOAM:
Так, AGI є метою багатьох стартапів AI. ** Справжня причина в тому, що я хочу просувати технології вперед. У світі існує дуже багато технічних проблем, які можна вирішити, як-от хвороби, які не піддаються лікуванню. Ми можемо придумати технічні рішення. **
Ось чому я досліджував штучний інтелект,** тому що замість безпосереднього вивчення медицини краще вивчати штучний інтелект, і тоді штучний інтелект можна використовувати для прискорення інших досліджень. Ось чому я так старанно працюю над штучним інтелектом, я хочу заснувати компанію, яка насамперед буде AGI і продукт. **
Ваш продукт повністю залежить від якості ШІ. Найважливішим фактором, що визначає якість нашого продукту, є те, наскільки розумним він буде. Тож тепер ми маємо повну мотивацію покращувати штучний інтелект, робити продукти кращими.
НАЖИВО:
Так, це дуже приємна петля «купівля-зворотний зв’язок», тому що, на вашу думку, коли ви робите продукт кращим, більше людей взаємодіють з ним, що допомагає зробити його кращим Продукт. Тож це дуже розумний підхід. Як ви думаєте, наскільки ми далекі від штучного інтелекту, такого ж розумного або розумнішого за людей? Очевидно, у чомусь вони вже розумніші за людей, але я якраз думав про щось подібне.
NOAM:
Ми завжди вражені тим, як штучний інтелект може перевершити людський. Деякий штучний інтелект тепер може виконувати ваше домашнє завдання за вас. Я хотів би мати щось подібне, коли я був дитиною.
НАЖИВО:
Що б ви порадили тим, хто має схоже минуле? Наприклад, чому ви навчилися як засновник, чого не обов’язково навчилися, коли працювали в Google чи деінде?
NOAM:
Гарне питання. По суті, ви вчитеся на своїх жахливих помилках. Хоча я не думаю, що ми зробили якісь дуже-дуже серйозні помилки, або, принаймні, ми їх виправили.
САРА:
Який талант ви шукаєте?
NOAM:
так далеко? 21 із 22 – інженери. Ми також наймемо більше інженерів. Незалежно від того, чи це глибоке навчання, чи фронт-енд і бек-енд, не забудьте найняти більше людей з боку бізнесу та продукту.
НАЖИВО:
Останні два-три коротких запитання, хто ваш улюблений математик чи комп’ютерник.
NOAM:
Я багато працюю з Джеффом Діном (головою Google Brain) у Google. З ним дуже приємно і весело працювати. Я думаю, що він зараз працює над великою мовною моделлю. Трохи шкода залишати Google, і я сподіваюся працювати з ним у майбутньому.
НАЖИВО:
Як ви вважаєте, математику винайшли чи відкрили?
NOAM:
Я думаю, що, можливо, це відкрито, можливо, все відкрито, а ми тільки відкриваємо.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
22 людини оцінені в 1 мільярд! Діалог із генеральним директором Character.ai: Замість безпосереднього вивчення медицини краще вивчати штучний інтелект
На початку цього року Charater.ai завершив A-раунд фінансування на суму 150 мільйонів доларів США з оцінкою понад 1 мільярд доларів США та отримав статус Unicorn з командою лише з 22 осіб.
У квітні генеральний директор Character.ai Ноам Шазір, колишній член команди Google Brain, дав інтерв’ю в подкасті No Priors.
Нижче наведено дослівну розшифровку аудіо подкасту. ELAD і SARAH є ведучими подкасту. Для розуміння деякі уривки видалено.
Ранній досвід роботи в Google і народження Transformer
НАЖИВО:
Ви тривалий час працювали в НЛП та ШІ. Ви 17 років працювали в Google туди й позаду, де запитання на співбесіді стосувались рішень для перевірки орфографії. Коли я приєднався до Google, однією з основних систем націлювання реклами на той час був Phil Cluster, який, я думаю, написали ви та Джордж Геррік. Я хотів би дізнатися про історію вашої роботи над мовними моделями НЛП для штучного інтелекту, як це все розвивалося, як ви починали, що викликало ваш інтерес?
NOAM:
Дякую, Елад. Так, просто завжди природна тяга до ШІ. Сподіваюся, це змусить комп’ютер зробити щось розумне. Здається, це найсмішніша гра. Мені пощастило рано відкрити для себе Google, і я брав участь у багатьох його ранніх проектах, можливо, зараз це не назвеш штучним інтелектом. З 2012 року я приєднався до команди Google Brain. Робіть цікаві речі з купою дійсно розумних людей. Я ніколи раніше не займався глибоким навчанням або нейронними мережами.
НАЖИВО:
Ви були одним із учасників Transformer paper у 2017 році, а потім брали участь у роботі над Mesh-TensorFlow. Чи можете ви трохи розповісти про те, як усе це працює?
NOAM:
Глибоке навчання є успішним, тому що воно дійсно добре підходить для сучасного апаратного забезпечення, і у вас є це покоління чіпів, які для множення матриць та інших форм потребують багато обчислень, а не спілкування. Отже, по суті, глибоке навчання дійсно набрало популярності, воно працює в тисячі разів швидше, ніж будь-що інше. Опанувавши це, я почав розробляти щось дуже розумне та швидке. Найбільш захоплююча проблема зараз - це моделювання мови. Оскільки існує нескінченна кількість даних, просто перевірте мережу, і ви зможете отримати всі потрібні дані для навчання.
Визначення задачі дуже просте, це передбачити наступне слово, на нього сидить жирний кіт, яке наступне. Це дуже легко визначити, і якщо ви можете це зробити добре, то ви зможете отримати все, що бачите зараз, і ви можете безпосередньо поговорити з цією штукою, це справді штучний інтелект. Отже, приблизно в 2015 році я почав працювати над моделюванням мови та працювати з рекурентними нейронними мережами, що було чудово на той час. Потім з'явився трансформатор.
Я випадково почув, як мої колеги по сусідству розмовляли про бажання замінити RNN на щось краще. Я думав, це звучить добре, я хочу допомогти, RNN дратують, це буде цікавіше.
НАЖИВО:
Чи можете ви швидко описати різницю між рекурентною нейронною мережею та моделлю трансформатора чи уваги?
NOAM:
Повторювані нейронні мережі — це безперервні обчислення, кожне слово, яке ви читаєте до наступного слова, ви обчислюєте свій поточний стан мозку на основі старого стану вашого мозку та вмісту наступного слова. Потім ви, ви передбачаєте наступне слово. Отже, у вас є дуже довга послідовність обчислень, які потрібно виконувати послідовно, і тому магія Transformer полягає в тому, що ви можете обробити всю послідовність одночасно.
Прогноз для наступного слова залежить від того, яким було попереднє слово, але це відбувається постійно, і ви можете скористатися цим паралелізмом, ви можете дивитися на все відразу, як паралелізм, з яким добре справляється сучасне обладнання .
Тепер ви можете скористатися довжиною послідовності, вашим паралелізмом, і все працює дуже добре. сама увага. Це схоже на те, що якщо ви створюєте цю велику асоціацію ключ-значення в пам’яті, ви ніби створюєте цю велику таблицю із записом для кожного слова в послідовності. Потім ви шукаєте речі в цій таблиці. Це все схоже на нечітку, диференційовану та велику французьку функцію, за допомогою якої ви можете зробити зворотне. Люди використовували це для вирішення проблем із двома послідовностями, де у вас є машинний переклад, і ви ніби перекладаєте англійську на французьку, тож коли ви генеруєте французьку послідовність, ви ніби дивитеся на англійську послідовність і намагаєтеся звернути увагу на правильна позиція в послідовності. Але розуміння тут полягає в тому, що ви можете використати ту саму увагу, щоб озирнутися в минуле цієї послідовності, яку ви намагаєтесь створити. Ложка дьогтю полягає в тому, що він добре працює на GPU та графічних процесорах, що паралельно з розвитком глибокого навчання, оскільки він добре працює на існуючому обладнанні. І це приносить те ж саме до послідовностей.
САРА:
Так, я думаю, що класичним прикладом допомоги людям уявити це є те саме речення французькою та англійською, порядок слів інший, ви не зіставляєте один до одного в цій послідовності, і з’ясовуєте, як зробіть це без інформації. Зробіть це за допомогою паралельних обчислень у разі втрати. Тож це дуже елегантна річ.
НАЖИВО:
Також здається, що ця техніка використовується в різних сферах. Очевидно, що це мультимодальні мовні моделі. Тож це як чат GPT або персонаж, яким ви займаєтеся. Мене також вразили деякі додатки, як-от Alpha Folding, робота зі згортання протеїну, яку виконав Google, вона насправді працює з надзвичайною продуктивністю. Чи є якісь сфери застосування, які ви вважаєте справді несподіваними щодо того, як працюють трансформатори та щодо того, що вони можуть робити?
NOAM:
Я просто схиляю голову над мовою, мовляв, ти маєш проблему і можеш все. Я сподіваюся, що ця штука досить хороша. Тож я запитав, як можна вилікувати рак? Тоді це як винайти рішення. Отже, я повністю ігнорував те, що люди роблять у всіх цих інших режимах, і я вважаю, що ранні успіхи глибокого навчання були досягнуті завдяки зображенням, і люди захоплюються зображеннями, але повністю ігнорують це. Тому що зображення варте тисячі слів, але воно має мільйон пікселів, тому текст у тисячу разів щільніший. Отже, я великий шанувальник. Але дуже захоплююче спостерігати за тим, як воно розвивається у всіх цих інших способах. Ці речі чудові. Це дуже корисно для створення продуктів, які люди хочуть використовувати, але я думаю, що багато основного інтелекту буде отримано від цих текстових моделей.
Обмеження великих моделей: обчислювальна потужність не є проблемою, як і дані
НАЖИВО:
Які, на вашу думку, обмеження цих моделей? Люди часто говорять лише про масштабування, ніби ви просто використовуєте більше обчислювальної потужності, і ця річ буде масштабуватися далі. Є дані та різні типи даних, які можуть і не бути там. І алгоритмічні налаштування, і додавання нових речей, таких як пам’ять, петлі чи щось подібне. Як ви думаєте, які великі речі люди ще повинні побудувати, і де, на вашу думку, це використовується як архітектура?
NOAM:
Так, я не знаю, чи буде його ліквідовано. Я маю на увазі, ми ще не бачили, як це вийшло. Напевно, нічого в порівнянні з тим обсягом роботи, який на це йде. Таким чином, імовірно, що люди отримають щось на кшталт двох неефективностей із кращими алгоритмами навчання, кращими архітектурами моделей, кращими способами створення чіпів і використанням квантування тощо. І тоді будуть 10, 100 і 1000 таких факторів, як масштабування та гроші, які люди кинуть на цю річ, тому що всі щойно зрозуміли, що ця річ неймовірно цінна. Водночас я не думаю, що хтось бачить, наскільки це гарна річ для стіни. Тож я думаю, що це просто покращуватиметься. Я не знаю і не знаю, що цьому заважає.
САРА:
Що ви думаєте про цю ідею, ми можемо збільшити обчислювальну потужність, але даних навчання найбільшої моделі недостатньо. Ми використали всі доступні текстові дані в Інтернеті. Ми маємо піти на покращення якості, ми маємо піти на зворотний зв’язок з людьми. що ти думаєш.
NOAM:
З 10 мільярдів людей кожна людина створює 1000 або 10 000 слів, а це величезна кількість даних. Ми всі багато розмовляємо за допомогою систем ШІ. Тож у мене є відчуття, що багато даних піде в деякі системи штучного інтелекту, я маю на увазі, щоб зберегти конфіденційність, я сподіваюся, що дані можуть передаватися. Потім вимоги до даних експоненціально зростають із обчислювальною потужністю, тому що ви тренуєте більшу модель, а потім додаєте їй більше даних. Мене не хвилює брак даних, можливо, ми зможемо згенерувати більше даних за допомогою ШІ.
НАЖИВО:
Тоді які, на вашу думку, основні проблеми, які ці моделі вирішать у майбутньому? Це галюцинація, спогад чи щось інше?
NOAM:
Я поняття не маю. Я якось люблю галюцинації.
САРА:
Це теж особливість.
NOAM:
Найбільше ми хочемо запам’ятати, тому що наші користувачі точно хочуть, щоб їхні віртуальні друзі запам’ятали їх. За допомогою персоналізації можна багато чого зробити, потрібно скинути багато даних і ефективно їх використовувати. Проводиться багато роботи, намагаючись з’ясувати, що є реальним, а що – галюцинаторним. Звичайно, я думаю, що ми це виправимо.
Підприємницька історія Character.ai
НАЖИВО:
Розкажіть мені трохи про LaMDA та вашу роль у ньому, як ви придумали персонажа?
NOAM:
Мій співзасновник Даніель Фрейтас — найпрацьовитіший, найпрацьовитіший і найрозумніший хлопець, якого я коли-небудь зустрічав. Він працював над цим завданням створення чат-ботів усе своє життя. Він намагався створювати чат-боти з дитинства. Тому він приєднався до Google Brain. Він прочитав кілька статей і подумав, що ця техніка моделювання нейронної мови є чимось, що справді може узагальнити та створити справді відкрите поле.
Незважаючи на те, що він не отримав підтримки багатьох людей, він сприйняв цей проект лише як побічний план і витратив на нього 20% свого часу.
Потім він набрав армію з 20 відсотків помічників, які допомогли йому налаштувати систему.
Він навіть ходить, забираючи чужі квоти TPU, він називає свій проект Mina, тому що він йому подобається, я думаю, придумав його уві сні. У якийсь момент я подивився на табло і подумав, що це за штука, яка називається Міна, чому вона має 30 очок TPU?
НАЖИВО:
LaMDA виглядає так, я знаю, що це внутрішній чат-бот, створений Google до GPT. Ця новина стала відомою, тому що один інженер вважав її мудрою.
NOAM:
Так, ми розмістили це на деяких великих мовних моделях, а потім у компанії піднявся галас, і Mina була перейменована на LaMDA, і на той час ми пішли, і були люди, які вірили, що це живе.
САРА:
Чому його не оприлюднили пізніше і що хвилює?
NOAM:
Для великої компанії запуск продукту, який знає все, дещо небезпечний. Я думаю, це просто питання ризику. Отже, після довгих роздумів відкриття бізнесу здавалося правильною ідеєю.
САРА:
Яка історія походження персонажа?
NOAM:
Ми просто хочемо створити щось і вивести це на ринок якомога швидше. Я створив панк-команду інженерів, дослідників, отримав певну обчислювальну потужність і почав бізнес.
НАЖИВО:
Як ви набираєте персонал?
NOAM:
Декого з хлопців, яких ми зустріли в Google, випадково познайомили з М’ятом, який колись був із Meta, і він багато розгорнув, створив багато їхніх великих мовних моделей та інфраструктури нейронних мовних моделей, а також деякі інші люди з Мета пішла за ним, Вони дуже милі.
НАЖИВО:
Чи є у вас особливі вимоги чи методи тестування, коли ви шукаєте талант? Або це просто звичайна співбесіда?
НОАМ
Думаю, багато в чому це залежить від мотивації. Я думаю, що Деніел дуже зосереджений на мотивації, він шукає стан між сильним бажанням і дитячою мрією, тому є багато хороших людей, яких ми не наймаємо, оскільки вони не досягають такого рівня, але ми також наймаємо багато людей, вони ідеально підходять для того, щоб приєднатися до нової компанії, вони дуже талановиті та цілеспрямовані.
На ринку вже є Siri та Alexa, не конкуруйте з великими компаніями щодо функціональності
САРА:
Говорячи про дитячі мрії, чи хотіли б ви описати цей продукт? У вас є ці боти, їх можуть створювати користувачі, вони можуть створювати персонажів, вони можуть бути громадськими діячами, історичними діячами, вигаданими персонажами, як ви придумали цей шаблон?
NOAM:
Користувачі часто знають краще за вас, що вони хочуть з цим зробити. ** Siri, Alexa і Google Assistant уже на ринку, немає необхідності конкурувати з цими великими компаніями за функціональністю. **
Якщо ви намагаєтеся представити публічну персону, яку всі люблять, ви закінчуєте лише нудьгою. І люди не люблять нудьгувати, вони хочуть спілкуватися з речами, які відчувають себе людьми.
Отже, загалом, вам потрібно створювати кількох персонажів і дозволяти людям вигадувати персонажів, як їм заманеться, і є щось, що мені подобається в імені Персонаж, яке має кілька різних значень: текст, персонаж, роль.
САРА:
Отже, чого хочуть люди? друг? писати роман? Щось ще абсолютно нове?
NOAM:
Деякі користувачі спілкуватимуться з віртуальними громадськими діячами та впливовими людьми в наших продуктах. Користувачі можуть створити персонажа та розмовляти з ним. У той час як деякі користувачі можуть почуватися самотніми й потребувати когось, щоб поговорити, багатьом немає з ким поговорити. Дехто сказав би, що тепер ця роль — мій новий радник.
САРА:
Два способи думати про емоції, чи не так? Наприклад, наскільки важливими є стосунки між людьми та персонажами чи на якому рівні ми знаходимося, коли справа доходить до вираження цілісних емоцій?
NOAM:
Так, **я маю на увазі, можливо, вам не потрібен такий високий інтелектуальний рівень для емоційної підтримки. Емоції — це чудово і надзвичайно важливо, але собака також може виконувати чудову функцію емоційної підтримки. Собаки надають чудову емоційну підтримку, але мають мало словесних здібностей, **
НАЖИВО:
Як ви думаєте, що відбувається з системою, коли ви розширюєте її?
NOAM:
Я думаю, що ми повинні мати можливість зробити його розумнішим різними способами. Отримання більшої обчислювальної потужності, навчання більшої моделі та довше навчання мають стати розумнішими, обізнанішими, кращими у тому, що люди хочуть, що люди шукають.
САРА:
У вас є кілька користувачів, які використовують Character багато годин на день. Хто ваша цільова аудиторія? Який ваш очікуваний шаблон використання.
NOAM:
Ми залишимо це на розсуд користувача. Наша мета завжди полягала в тому, щоб розмістити щось і дозволити користувачам вирішувати, для чого, на їхню думку, це корисно.
Ми бачимо, що люди, які сьогодні перебувають на сайті Character, середній час активності становить дві години. Це той, хто сьогодні надіслав повідомлення, божевільне, але важливе, і в ньому сказано, що люди знаходять якусь цінність.
Крім того, як я вже сказав, дуже важко точно сказати, яке це значення, тому що це справді велика змішана річ. Але наша мета полягає в тому, щоб зробити цю річ більш корисною для людей, щоб вони могли її налаштовувати та вирішувати, що вони хочуть з нею робити. Давайте дамо це в руки користувачам і подивимось, що станеться.
Спалювання грошей для масштабування TOC є першочерговим завданням
САРА:
Як ви ставитеся до комерціалізації?
NOAM:
**Ми втрачаємо гроші за кожного користувача та компенсуємо їх обсягом. **
САРА:
добре. Це хороша стратегія.
NOAM:
Ні, я жартую.
НАЖИВО:
Як традиційна бізнес-модель 1990-х років, так що це нормально.
САРА:
Це також бізнес-модель на 2022 рік.
НАЖИВО:
Ви повинні випустити токен і перетворити його на криптовалюту.
NOAM:
** Незабаром ми почнемо монетизацію. Це бізнес, який отримує вигоду від великої обчислювальної потужності. Замість того, щоб спалювати гроші інвесторів, ми сподіваємося надати цінність достатній кількості користувачів і заробити на цьому шляху. Деякі послуги, наприклад преміум-підписки, можна спробувати пізніше. Оскільки ми розробляємо деякі нові функції, подальша плата може зрости. **
НАЖИВО:
Я маю на увазі, що Character як служба TOC справді стала дуже драматичною. Якщо ви подивіться на кількість користувачів і час використання на кожного користувача, це божевілля. Чи плануєте ви почати бізнес TOB у майбутньому? Як робот обслуговування клієнтів?
NOAM:
Зараз у нас 22 співробітники, тому нам потрібно визначити пріоритети, і ми наймаємо. Перший пріоритет – TOC.
САРА:
Тож ви сказали, що однією з ключових причин, чому LaMDA не було запущено одразу, була безпека. Що ви думаєте, хлопці?
NOAM:
Є й інші причини. Наприклад, Google не хоче, щоб люди завдавали шкоди собі або іншим людям, і їй потрібно блокувати порнографію. Навколо цього були певні протести.
НАЖИВО:
Як ви думаєте, все це шлях до AGI чи суперінтелекту? Для деяких компаній це здається частиною мети, а для інших це не здається явною метою.
NOAM:
Так, AGI є метою багатьох стартапів AI. ** Справжня причина в тому, що я хочу просувати технології вперед. У світі існує дуже багато технічних проблем, які можна вирішити, як-от хвороби, які не піддаються лікуванню. Ми можемо придумати технічні рішення. **
Ось чому я досліджував штучний інтелект,** тому що замість безпосереднього вивчення медицини краще вивчати штучний інтелект, і тоді штучний інтелект можна використовувати для прискорення інших досліджень. Ось чому я так старанно працюю над штучним інтелектом, я хочу заснувати компанію, яка насамперед буде AGI і продукт. **
Ваш продукт повністю залежить від якості ШІ. Найважливішим фактором, що визначає якість нашого продукту, є те, наскільки розумним він буде. Тож тепер ми маємо повну мотивацію покращувати штучний інтелект, робити продукти кращими.
НАЖИВО:
Так, це дуже приємна петля «купівля-зворотний зв’язок», тому що, на вашу думку, коли ви робите продукт кращим, більше людей взаємодіють з ним, що допомагає зробити його кращим Продукт. Тож це дуже розумний підхід. Як ви думаєте, наскільки ми далекі від штучного інтелекту, такого ж розумного або розумнішого за людей? Очевидно, у чомусь вони вже розумніші за людей, але я якраз думав про щось подібне.
NOAM:
Ми завжди вражені тим, як штучний інтелект може перевершити людський. Деякий штучний інтелект тепер може виконувати ваше домашнє завдання за вас. Я хотів би мати щось подібне, коли я був дитиною.
НАЖИВО:
Що б ви порадили тим, хто має схоже минуле? Наприклад, чому ви навчилися як засновник, чого не обов’язково навчилися, коли працювали в Google чи деінде?
NOAM:
Гарне питання. По суті, ви вчитеся на своїх жахливих помилках. Хоча я не думаю, що ми зробили якісь дуже-дуже серйозні помилки, або, принаймні, ми їх виправили.
САРА:
Який талант ви шукаєте?
NOAM:
так далеко? 21 із 22 – інженери. Ми також наймемо більше інженерів. Незалежно від того, чи це глибоке навчання, чи фронт-енд і бек-енд, не забудьте найняти більше людей з боку бізнесу та продукту.
НАЖИВО:
Останні два-три коротких запитання, хто ваш улюблений математик чи комп’ютерник.
NOAM:
Я багато працюю з Джеффом Діном (головою Google Brain) у Google. З ним дуже приємно і весело працювати. Я думаю, що він зараз працює над великою мовною моделлю. Трохи шкода залишати Google, і я сподіваюся працювати з ним у майбутньому.
НАЖИВО:
Як ви вважаєте, математику винайшли чи відкрили?
NOAM:
Я думаю, що, можливо, це відкрито, можливо, все відкрито, а ми тільки відкриваємо.