Ілля Суцкевер схилив голову і поринув у глибоку задуму. Він розводить руки і пальці по столу, як концертуючий піаніст, який збирається зіграти свою першу ноту. Ми сиділи тихо.
Я прийшов на маловідому вулицю в місіонерському районі Сан-Франциско, щоб зустрітися зі співзасновником і головним науковим співробітником OpenAI Суцкевером у непримітній офісній будівлі, щоб почути про наступні кроки в цій технології, що змінює світ, яку він так просуває. Я також хотів би знати, які його подальші кроки, і, зокрема, чому він більше не зосереджується на створенні флагманської генеративної моделі компанії наступного покоління.
Суцкевер сказав мені, що його новий пріоритет полягає не в тому, щоб створити наступне покоління GPT або моделі DALL-E, а в тому, щоб з'ясувати, як зупинити вихід штучного інтелекту з-під контролю.
Суцкевер розповів мені багато інших речей. Він вважає, що ChatGPT може бути свідомим. Він вважає, що світ повинен визнати справжню силу технології, за створення якої змагаються OpenAI та інші компанії. Він вважає, що одного разу деякі люди вирішать об'єднатися з машинами.
Багато з того, що говорить Суцкевер, є божевіллям. Але не так божевільно, як це звучало рік-два тому. Як він сам сказав мені, ChatGPT переписав очікування багатьох людей щодо того, що буде, від «ніколи не станеться» до «станеться швидше, ніж ви думаєте».
Перш ніж передбачити розвиток загального штучного інтелекту AGI (він називає машини такими ж розумними, як і люди), він сказав: «Важливо обговорити, куди все йде, як якщо б це було як ставка на наступний iPhone:« У якийсь момент у нас дійсно з'явиться AGI. Можливо, він створений OpenAI, можливо, це щось інше. "
Після раптового та несподіваного випуску ChatGPT у листопаді минулого року дискусія навколо OpenAI викликає тривогу навіть у галузі, відомій своїм ажіотажем. Ніхто не втомиться обговорювати цей стартап вартістю $80 млрд. Світові лідери прагнуть (і отримують) приватні або публічні розмови з OpenAI. Назви продуктів OpenAI спливають у випадкових розмовах.
Генеральний директор OpenAI Сем Альтман провів літо в тижневій інформаційній поїздці, з ентузіазмом спілкуючись з політиками та виступаючи перед переповненими аудиторіями по всьому світу. Але Суцкевер не є публічною особою, і інтерв'ю він теж не дає багато.
Говорить спокійно і методично. Коли він думає про те, що він хоче сказати і як це висловити, він робить довгу паузу і думає над проблемою знову і знову, як над головоломкою. Схоже, йому не цікаво розповідати про себе. Він сказав: "Я жив дуже простим життям. Іди на роботу, потім йди додому. Більше я нічого не робив. Люди можуть відвідувати багато світських заходів, вони можуть відвідувати багато конгресів. Я не люблю брати участь. "
Але коли ми говоримо про штучний інтелект і про те, що він вважає епохальними ризиками та винагородами, перспективи розширюються: «Це буде знаково та приголомшливо». "
Краще, краще, краще
Навіть без OpenAI Суцкевер все одно увійшов би в аннали історії штучного інтелекту. Він ізраїльсько-канадський, народився в Радянському Союзі, але з п'яти років виріс в Єрусалимі (досі володіє російською, івритом та англійською). Згодом він переїхав до Канади, щоб навчатися в Університеті Торонто у піонера штучного інтелекту Джеффрі Хінтона, який на початку цього року публічно висловив занепокоєння з приводу технології штучного інтелекту, яку Суцкевер допоміг винайти.
Пізніше Хінтон розділив премію Тюрінга з Янном Лекуном і Йошуа Бенджіо за роботу над нейронними мережами. Але коли Суцкевер приєднався до нього на початку 2000-х, більшість дослідників штучного інтелекту вважали нейронні мережі глухим кутом. Хінтон є винятком. Він вже тренує мікромоделі, які можуть генерувати короткі текстові рядки з одного символу за раз, і Суцкевер каже: «Ось де починається генеративний штучний інтелект». Це дійсно круто – просто не дуже. "
Суцкевер захоплюється конструкцією мозку: як мозок навчається, і як він може відтворити або принаймні імітувати процес у машині. Як і Хінтон, він побачив потенціал нейронних мереж і методику проб і помилок, яку Хінтон використовував для навчання нейронних мереж, а саме глибинне навчання. «Глибоке навчання постійно стає все кращим і кращим», – каже Суцкевер.
У 2012 році Суцкевер, Хінтон і ще один аспірант Хінтона, Алекс Крижевський, побудували нейронну мережу під назвою AlexNet, яку вони навчили розпізнавати об'єкти на фотографіях набагато краще, ніж будь-яке інше програмне забезпечення на той час. Це момент Великого вибуху для глибокого навчання.
Після багатьох років невдач вони довели, що нейронні мережі напрочуд ефективні у розпізнаванні образів. Все, що вам потрібно, це більше даних, ніж більшість дослідників бачили раніше (в даному випадку, мільйон зображень з набору даних ImageNet, який дослідник Прінстонського університету Фейфей Лі створював з 2006 року) і запаморочлива кількість комп'ютерної потужності.
Великі зміни в обчисленнях пов'язані з новими чіпами GPU виробництва Nvidia. Графічні процесори розроблені таким чином, щоб мати можливість проектувати динамічні візуальні ефекти відеоігор на екран із блискавичною швидкістю. Але обчислення, в яких досягають успіху графічні процесори — множення великої кількості цифрових сіток — дуже схожі на обчислення, необхідні для навчання нейронної мережі.
Зараз Nvidia – це компанія вартістю в трильйон доларів. У той час вона відчайдушно шукала застосування новому обладнанню у своїй ніші. Дженсен Хуанг, генеральний директор Nvidia, сказав: «Коли ви винаходите нову технологію, ви повинні бути в змозі прийняти божевільні ідеї. Моє мислення завжди було в пошуках чогось дивовижного, і нейронні мережі збиралися змінити уявлення про комп'ютерні науки – і це була надзвичайно дивовижна ідея. "
Хуанг сказав, що коли команда з Торонто працювала над AlexNet, Nvidia надіслала їм кілька графічних процесорів, щоб вони спробували. Але вони хотіли останню версію, чіп під назвою GTX 580, який швидко розкупили в магазинах. За словами Хуанга, Суцкевер проїхав через кордон з Торонто до Нью-Йорка, щоб купити трохи. "Люди стоять у черзі за рогом магазину, щоб купити. Я не знаю, як він це зробив - я майже впевнений, що ви купите лише по одному; У нас дуже сувора політика, згідно з якою ви можете використовувати лише один графічний процесор на гравця, але він, мабуть, заповнює багажник. Ця валіза, повна GTX 580, змінила світ. "
Це чудова історія – просто можливо, це неправда. Тому що Суцкевер наполягає, що перші графічні процесори він купив онлайн. Але такого роду таємниці поширені в цій жвавій галузі. Сам Суцкевер скромніший: «Я думаю, що якщо я зможу досягти хоч найменшого реального прогресу, я вважатиму це успіхом». Вплив на реальний світ здавався далеким, оскільки комп'ютери на той час були ще слабкими. "
Після успіху AlexNet у двері постукав Google. Вона придбала DNNresearch, спін-офф Хінтона, і найняла Суцкевера. Суцкевер показав у Google, що можливості глибокого навчання розпізнавання образів можна застосувати до послідовностей даних, таких як слова, речення та зображення. Джефф Дін, колишній колега Суцкевера, а нині головний науковий співробітник Google, сказав: «Суцкевер завжди цікавився мовою, і протягом багатьох років у нас були чудові дискусії. У нього сильний інстинкт до того, куди все йде. "
Але Суцкевер ненадовго затримався в Google. У 2014 році його запросили стати співзасновником OpenAI. Маючи 1 мільярд доларів (від Альтмана, Ілона Маска, Пітера Тіля, Microsoft, Y Combinator тощо) і багато духу Кремнієвої долини, нова компанія з самого початку націлилася на розробку AGI, але тоді мало хто сприймав цю перспективу серйозно.
З Суцкевером на борту таке чванливе ставлення цілком зрозуміле. До цього часу він отримував все більше і більше результатів від навчання нейронних мереж. Далтон Колдуелл, керуючий директор Y Combinator Investments, сказав, що його репутація передувала йому, що зробило його великим хітом.
«Я пам'ятаю, як Альтман називав Суцкевера одним із найшанованіших дослідників у світі», — сказав Колдуелл. Він вважає, що Суцкевер приверне багато найкращих талантів у галузі штучного інтелекту. Він навіть згадав, що Йошуа Бенджіо, один із провідних світових експертів зі штучного інтелекту, вважає, що навряд чи кращим кандидатом, ніж Суцкевер, буде знайдено головного наукового співробітника OpenAI. "
Однак спочатку OpenAI був у скрутному становищі. «Був час, коли ми починали OpenAI, я не був зовсім впевнений, як прогрес продовжуватиметься», — сказав Суцкевер. «Але я маю дуже чітке переконання, що люди не збираються заперечувати проти глибокого навчання. Так чи інакше, щоразу, коли вони натикаються на перешкоду, дослідники знаходять рішення протягом шести місяців або року. "
Його віра була винагороджена. Перша велика мовна модель GPT від OpenAI з'явилася у 2016 році. За ними пішли GPT-2 і GPT-3. Крім того, існує DALL-E, переконлива модель перетворення тексту в зображення. Ніхто не побудував чогось такого хорошого. З кожним випуском OpenAI піднімає планку того, що люди вважають можливим.
Керуйте очікуваннями
У листопаді минулого року OpenAI випустила безкоштовний чат-бот, який перепакував частину існуючої технології. Це перезавантажує порядок денний для всієї галузі.
У той час OpenAI не знала, що збирається випустити. Суцкевер каже, що очікування всередині компанії не можуть бути нижчими: «Зізнаюся, це трохи незручно — я не знаю, чи варто мені це робити, але як би там не було, це факт — я не знав, що це добре, коли ми робили ChatGPT». Коли ви ставите йому фактичне запитання, він дає вам неправильну відповідь. Я думаю, що це буде дуже непомітно, і люди скажуть: «Навіщо ви робите цей продукт?». Це нудно! '"
Найпривабливішою частиною, каже Суцкевер, є зручність. Велика мовна модель, що лежить в основі ChatGPT, існує вже кілька місяців. Але загорнувши його в легкодоступний інтерфейс і роздавши безкоштовно, мільярди людей вперше дізналися про те, що створює OpenAI та інші.
«Перший досвід був захоплюючим. Коли ви вперше його використовуєте, я думаю, що це майже духовний досвід. Ви думаєте: "Боже мій, цей комп'ютер, здається, розуміє сам себе". '"
OpenAI зібрала 100 мільйонів користувачів менш ніж за два місяці, і багато з них були засліплені цією дивовижною новою іграшкою. Аарон Леві, генеральний директор компанії зі зберігання даних Box, підсумував атмосферу тижня після запуску в Twitter: «ChatGPT — один із тих рідкісних моментів у технологічному просторі, і ви можете побачити, що в майбутньому все буде інакше. "
Як тільки ChatGPT говорить якусь дурницю, це диво руйнується. Але тоді це не біда. Достатньо поглянути на можливості, каже Суцкевер. ChatGPT змінив кругозір людей.
«AGI більше не є лайливим словом у сфері машинного навчання», — сказав він. "Це велика зміна. Ставлення людей в історії таке: штучний інтелект не працює, кожен крок дуже складний, і за кожну крихту прогресу треба боротися. Коли люди розкручують AGI, дослідники кажуть: «Про що ви говорите? Це не працює, це теж не працює. Питань дуже багато. Але з ChatGPT все почало відчуватися по-іншому. "
Цей зсув почав відбуватися лише рік тому? "Все це сталося через ChatGPT", - сказав він. «ChatGPT дозволяє дослідникам машинного навчання втілювати свої мрії в життя».
Вчені OpenAI були євангелістами з самого початку і надихали на ці мрії за допомогою публікацій у блогах і лекційних турів. І це працює: «Ми говоримо про те, як далеко зараз зайде штучний інтелект — люди говорять про AGI, або суперінтелект. Це не тільки дослідники. "Уряди обговорюють це", - сказав Суцкевер. «Це божевілля».
Неймовірні речі
Суцкевер наполягає, що всі ці розмови про технології, яких ще не існує (і, можливо, ніколи не існує), є хорошою річчю, тому що вони змушують більше людей усвідомлювати майбутнє, яке він сприймав як належне.
«Ви можете зробити багато дивовижних речей, неймовірних речей за допомогою AGI: автоматизувати охорону здоров'я, зробити її в тисячу разів дешевшою, зробити її в тисячу разів кращою, вилікувати стільки хвороб і дійсно вирішити проблему глобального потепління», – сказав він. Але є також багато людей, які хвилюються: «Боже мій, чи може компанія зі штучним інтелектом успішно керувати цією величезною технологією?». '"
Таким чином, AGI більше схожий на джина, що виконує бажання, ніж на реальну перспективу. Мало хто скаже «ні» порятунку життів і боротьбі зі зміною клімату. Але проблема неіснуючої технології полягає в тому, що ви можете говорити їй все, що захочете.
Про що саме говорить Суцкевер, коли говорить про AGI? «AGI – це не науковий термін», – сказав він. «Це має бути корисним порогом, точкою відліку».
— Ось у чому ідея... — почав він, а потім зупинився. «Штучний інтелект став настільки розумним, що якщо людина може виконувати певні завдання, то ШІ теж може це робити. У цей момент можна сказати, що у вас AGI. "
Люди можуть говорити про це, але AGI все ще залишається однією з найбільш суперечливих ідей у цій галузі. Мало хто сприймає його розвиток як належне. Багато дослідників вважають, що потрібен серйозний концептуальний прорив, перш ніж ми зможемо побачити щось подібне до того, що передбачав Суцкевер – деякі вважають, що ми ніколи цього не зробимо.
Однак це бачення надихало його з самого початку. «Мене завжди надихала та мотивувала ця ідея», – сказав Суцкевер. «У той час це ще не називалося AGI, але ви знаєте, це все одно, що дозволити нейромережам робити все. Я не завжди вірю, що вони можуть. Але це гора, на яку потрібно піднятися. "
Він порівняв, як працюють нейронні мережі та мозок. Обидва отримують дані, агрегують сигнали з цих даних, а потім поширюють або не поширюють їх на основі деяких простих процесів (математика в нейронних мережах, хімічні речовини в мозку та біоелектрика). Це величезне спрощення, але принцип діє.
"Якщо ви вірите в це, якщо ви дозволяєте собі в це вірити, то є багато цікавих наслідків", - сказав Суцкевер. «Головний висновок полягає в тому, що якщо у вас дуже велика штучна нейронна мережа, вона повинна робити багато речей. Зокрема, якщо людський мозок може щось робити, то великі штучні нейронні мережі можуть робити щось подібне. "
"Якщо ви поставитеся до цього досить серйозно, все стане на свої місця", - сказав він. «Більшість моєї роботи можна пояснити цим».
Поки ми говоримо про мізки, я хотів би запитати про пост Суцкевера, зроблений на платформі Х. Синопсис Суцкевера читається як том афоризмів: «Якщо ти поставиш інтелект вище всіх інших людських якостей, то у тебе буде погане життя»; «Емпатія в житті і бізнесі недооцінена»; «Досконалість зруйнувала багато краси досконалості».
У лютому 2022 року він написав, що «сьогоднішні великі нейронні мережі можуть мати легку свідомість» (на що Мюррей Шанахан, головний науковий співробітник Google DeepMind, професор Імперського коледжу Лондона та науковий керівник фільму «Ex Machina», відповів: «... Таким же значенням може бути велике пшеничне поле з невеликою кількістю макаронів").
Коли я підняв це питання, Суцкевер засміявся. Він пародія? Це не так. — Чи знайомі ви з концепцією мозку Больцмана? — спитав він.
Він мав на увазі квантово-механічний уявний експеримент, названий на честь фізика 19-го століття Людвіга Больцмана, в якому передбачалося, що випадкові термодинамічні флуктуації у Всесвіті змусять мозок з'являтися і зникати.
«Я думаю, що ці мовні моделі зараз трохи схожі на мозок Больцмана», — сказав Суцкевер. "Ти починаєш з ним розмовляти, говориш деякий час; А потім, коли ти закінчиш, мозок зробить... — Він зробив зникаючий рух рукою. Пуф — прощавай, мозок.
Ви хочете сказати, що коли нейромережа активна, так би мовити, коли вона розряджається, там щось є? — спитав я.
"Я думаю, що це може бути", - сказав він. "Я не впевнений, але це важко спростувати. Але хто знає, що відбувається, чи не так? "
Штучний інтелект, але не такий, яким ми його знаємо
У той час як інші намагаються зробити машини порівнянними з людським інтелектом, Суцкевер готується до машин, які можуть перевершити наші. Він називає це явище суперштучним інтелектом: «Вони дивляться на речі глибше. Вони побачать те, чого не побачимо ми. "
Знову ж таки, мені важко зрозуміти, що це насправді означає. Людський інтелект є еталоном, за яким ми судимо про інтелект. Що Суцкевер має на увазі під інтелектом, який розумніший за людей?
«Ми бачимо дуже вузький приклад суперінтелекту в AlphaGo», — сказав він. У 2016 році настільна гра AI «Alpha Dog» від DeepMind перемогла Лі Седоля, одного з найкращих гравців у го у світі, з рахунком 4:1 у п'яти матчах. «Він з'ясував, як грати в Го так, щоб це відрізнялося від того, як люди розвивалися разом протягом тисячоліть», — сказав Суцкевер. «Він придумує нові ідеї».
Суцкевер згадує знаменитий 37-й хід AlphaGo. У другому матчі проти Лі Седоля хід ШІ спантеличив коментаторів. Вони думають, що AlphaGo зіпсований. По суті, він зіграв переможний хід, якого раніше не було в історії шахів. "Уявіть собі такий рівень розуміння, але охоплюючи все", - сказав Суцкевер.
Саме ця лінія мислення призвела до того, що Суцкевер здійснив найбільшу зміну у своїй кар'єрі. Разом із колегами-вченими з OpenAI Яном Лейком він сформував команду, зосереджену на тому, що вони назвали «супервирівнюванням». Alignment — це жаргон, який означає, що ви дозволяєте моделі штучного інтелекту робити те, що ви хочете, і все. Супервирівнювання — це термін вирівнювання, який OpenAI застосовує до суперінтелекту.
Мета полягає в тому, щоб розробити набір відмовостійких процедур для створення та контролю цієї футуристичної технології. OpenAI заявляє, що виділить п'яту частину своїх величезних обчислювальних ресурсів для вирішення проблеми та її вирішення протягом чотирьох років.
«Існуючі методи вирівнювання не працюють з моделями, які розумніші за людей, тому що вони фундаментально припускають, що люди можуть надійно оцінювати, що роблять системи штучного інтелекту», — каже Лейк. «У міру того, як системи штучного інтелекту стають більш потужними, вони братимуть на себе складніші завдання». Ідея полягає в тому, що це ускладнить людям їх оцінку. «Збираючи команду Super Alignment Team із Суцкевером, ми поставили собі за мету вирішити ці майбутні проблеми вирівнювання», – сказав він.
«Важливо зосередитися не тільки на потенційних можливостях для великих мовних моделей, але й на їхніх ризиках і недоліках», — сказав Дін, головний науковий співробітник Google. "
Компанія оголосила про проєкт у липні з типовою помпою. Але для когось це скоріше фантазія. Публікації OpenAI у Twitter викликали презирство з боку відомих критиків Big Tech, включаючи Абебу Бірхейн, яка працює над підзвітністю ШІ в Mozilla; Тімніт Гебру, співзасновник Distributed AI Institute; та Маргарет Мітчелл, головний науковий співробітник з етики компанії зі штучного інтелекту Hugging Face. Справді, це знайомі незгодні голоси. Але це серйозне нагадування про те, що деякі люди вважають, що OpenAI лідирує, тоді як інші вважають, що OpenAI на межі.
Однак для Суцкевера супервирівнювання є неминучим наступним кроком. "Це невирішене питання", - сказав він. Він вважає, що над цією проблемою працюють такі основні дослідники машинного навчання, як він. "Я роблю це для власної вигоди", - сказав він. «Очевидно, важливо, щоб будь-який суперінтелект, який хтось створює, не вийшов з-під контролю».
Робота над супервирівнюванням тільки почалася. На думку Суцкевера, це вимагатиме широкої зміни науково-дослідних інститутів. Але він мав на увазі модель запобіжних заходів, яку хотів розробити: машину, яка ставиться до людей так, як батьки ставляться до своїх дітей. "На мою думку, це золотий стандарт", - сказав він. «Люди дійсно піклуються про дітей, це в цілому вірне твердження».
«Що після того, як ви подолаєте виклик шахрайського штучного інтелекту, що далі? У світі з розумнішим штучним інтелектом, чи є ще місце для людей? – сказав він.
«Одна з можливостей, яка може бути божевільною за сьогоднішніми мірками, але не такою божевільною за завтрашніми мірками, полягає в тому, що багато людей вирішать стати частиною штучного інтелекту». Суцкевер каже, що це може бути способом для людей намагатися не відставати від підніжки. «На початку лише найсміливіші та найавантюрніші намагалися це зробити. Можливо, інші наслідуватимуть цей приклад. Або ні. "
Довідкові джерела:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Інтерв'ю з головним науковим співробітником OpenAI: У нас буде AGI, і люди вирішать об'єднатися з машинами
Ілля Суцкевер схилив голову і поринув у глибоку задуму. Він розводить руки і пальці по столу, як концертуючий піаніст, який збирається зіграти свою першу ноту. Ми сиділи тихо.
Я прийшов на маловідому вулицю в місіонерському районі Сан-Франциско, щоб зустрітися зі співзасновником і головним науковим співробітником OpenAI Суцкевером у непримітній офісній будівлі, щоб почути про наступні кроки в цій технології, що змінює світ, яку він так просуває. Я також хотів би знати, які його подальші кроки, і, зокрема, чому він більше не зосереджується на створенні флагманської генеративної моделі компанії наступного покоління.
Суцкевер сказав мені, що його новий пріоритет полягає не в тому, щоб створити наступне покоління GPT або моделі DALL-E, а в тому, щоб з'ясувати, як зупинити вихід штучного інтелекту з-під контролю.
Суцкевер розповів мені багато інших речей. Він вважає, що ChatGPT може бути свідомим. Він вважає, що світ повинен визнати справжню силу технології, за створення якої змагаються OpenAI та інші компанії. Він вважає, що одного разу деякі люди вирішать об'єднатися з машинами.
Багато з того, що говорить Суцкевер, є божевіллям. Але не так божевільно, як це звучало рік-два тому. Як він сам сказав мені, ChatGPT переписав очікування багатьох людей щодо того, що буде, від «ніколи не станеться» до «станеться швидше, ніж ви думаєте».
Перш ніж передбачити розвиток загального штучного інтелекту AGI (він називає машини такими ж розумними, як і люди), він сказав: «Важливо обговорити, куди все йде, як якщо б це було як ставка на наступний iPhone:« У якийсь момент у нас дійсно з'явиться AGI. Можливо, він створений OpenAI, можливо, це щось інше. "
Після раптового та несподіваного випуску ChatGPT у листопаді минулого року дискусія навколо OpenAI викликає тривогу навіть у галузі, відомій своїм ажіотажем. Ніхто не втомиться обговорювати цей стартап вартістю $80 млрд. Світові лідери прагнуть (і отримують) приватні або публічні розмови з OpenAI. Назви продуктів OpenAI спливають у випадкових розмовах.
Генеральний директор OpenAI Сем Альтман провів літо в тижневій інформаційній поїздці, з ентузіазмом спілкуючись з політиками та виступаючи перед переповненими аудиторіями по всьому світу. Але Суцкевер не є публічною особою, і інтерв'ю він теж не дає багато.
Говорить спокійно і методично. Коли він думає про те, що він хоче сказати і як це висловити, він робить довгу паузу і думає над проблемою знову і знову, як над головоломкою. Схоже, йому не цікаво розповідати про себе. Він сказав: "Я жив дуже простим життям. Іди на роботу, потім йди додому. Більше я нічого не робив. Люди можуть відвідувати багато світських заходів, вони можуть відвідувати багато конгресів. Я не люблю брати участь. "
Але коли ми говоримо про штучний інтелект і про те, що він вважає епохальними ризиками та винагородами, перспективи розширюються: «Це буде знаково та приголомшливо». "
Краще, краще, краще
Навіть без OpenAI Суцкевер все одно увійшов би в аннали історії штучного інтелекту. Він ізраїльсько-канадський, народився в Радянському Союзі, але з п'яти років виріс в Єрусалимі (досі володіє російською, івритом та англійською). Згодом він переїхав до Канади, щоб навчатися в Університеті Торонто у піонера штучного інтелекту Джеффрі Хінтона, який на початку цього року публічно висловив занепокоєння з приводу технології штучного інтелекту, яку Суцкевер допоміг винайти.
Пізніше Хінтон розділив премію Тюрінга з Янном Лекуном і Йошуа Бенджіо за роботу над нейронними мережами. Але коли Суцкевер приєднався до нього на початку 2000-х, більшість дослідників штучного інтелекту вважали нейронні мережі глухим кутом. Хінтон є винятком. Він вже тренує мікромоделі, які можуть генерувати короткі текстові рядки з одного символу за раз, і Суцкевер каже: «Ось де починається генеративний штучний інтелект». Це дійсно круто – просто не дуже. "
Суцкевер захоплюється конструкцією мозку: як мозок навчається, і як він може відтворити або принаймні імітувати процес у машині. Як і Хінтон, він побачив потенціал нейронних мереж і методику проб і помилок, яку Хінтон використовував для навчання нейронних мереж, а саме глибинне навчання. «Глибоке навчання постійно стає все кращим і кращим», – каже Суцкевер.
У 2012 році Суцкевер, Хінтон і ще один аспірант Хінтона, Алекс Крижевський, побудували нейронну мережу під назвою AlexNet, яку вони навчили розпізнавати об'єкти на фотографіях набагато краще, ніж будь-яке інше програмне забезпечення на той час. Це момент Великого вибуху для глибокого навчання.
Після багатьох років невдач вони довели, що нейронні мережі напрочуд ефективні у розпізнаванні образів. Все, що вам потрібно, це більше даних, ніж більшість дослідників бачили раніше (в даному випадку, мільйон зображень з набору даних ImageNet, який дослідник Прінстонського університету Фейфей Лі створював з 2006 року) і запаморочлива кількість комп'ютерної потужності.
Великі зміни в обчисленнях пов'язані з новими чіпами GPU виробництва Nvidia. Графічні процесори розроблені таким чином, щоб мати можливість проектувати динамічні візуальні ефекти відеоігор на екран із блискавичною швидкістю. Але обчислення, в яких досягають успіху графічні процесори — множення великої кількості цифрових сіток — дуже схожі на обчислення, необхідні для навчання нейронної мережі.
Зараз Nvidia – це компанія вартістю в трильйон доларів. У той час вона відчайдушно шукала застосування новому обладнанню у своїй ніші. Дженсен Хуанг, генеральний директор Nvidia, сказав: «Коли ви винаходите нову технологію, ви повинні бути в змозі прийняти божевільні ідеї. Моє мислення завжди було в пошуках чогось дивовижного, і нейронні мережі збиралися змінити уявлення про комп'ютерні науки – і це була надзвичайно дивовижна ідея. "
Хуанг сказав, що коли команда з Торонто працювала над AlexNet, Nvidia надіслала їм кілька графічних процесорів, щоб вони спробували. Але вони хотіли останню версію, чіп під назвою GTX 580, який швидко розкупили в магазинах. За словами Хуанга, Суцкевер проїхав через кордон з Торонто до Нью-Йорка, щоб купити трохи. "Люди стоять у черзі за рогом магазину, щоб купити. Я не знаю, як він це зробив - я майже впевнений, що ви купите лише по одному; У нас дуже сувора політика, згідно з якою ви можете використовувати лише один графічний процесор на гравця, але він, мабуть, заповнює багажник. Ця валіза, повна GTX 580, змінила світ. "
Це чудова історія – просто можливо, це неправда. Тому що Суцкевер наполягає, що перші графічні процесори він купив онлайн. Але такого роду таємниці поширені в цій жвавій галузі. Сам Суцкевер скромніший: «Я думаю, що якщо я зможу досягти хоч найменшого реального прогресу, я вважатиму це успіхом». Вплив на реальний світ здавався далеким, оскільки комп'ютери на той час були ще слабкими. "
Після успіху AlexNet у двері постукав Google. Вона придбала DNNresearch, спін-офф Хінтона, і найняла Суцкевера. Суцкевер показав у Google, що можливості глибокого навчання розпізнавання образів можна застосувати до послідовностей даних, таких як слова, речення та зображення. Джефф Дін, колишній колега Суцкевера, а нині головний науковий співробітник Google, сказав: «Суцкевер завжди цікавився мовою, і протягом багатьох років у нас були чудові дискусії. У нього сильний інстинкт до того, куди все йде. "
Але Суцкевер ненадовго затримався в Google. У 2014 році його запросили стати співзасновником OpenAI. Маючи 1 мільярд доларів (від Альтмана, Ілона Маска, Пітера Тіля, Microsoft, Y Combinator тощо) і багато духу Кремнієвої долини, нова компанія з самого початку націлилася на розробку AGI, але тоді мало хто сприймав цю перспективу серйозно.
З Суцкевером на борту таке чванливе ставлення цілком зрозуміле. До цього часу він отримував все більше і більше результатів від навчання нейронних мереж. Далтон Колдуелл, керуючий директор Y Combinator Investments, сказав, що його репутація передувала йому, що зробило його великим хітом.
«Я пам'ятаю, як Альтман називав Суцкевера одним із найшанованіших дослідників у світі», — сказав Колдуелл. Він вважає, що Суцкевер приверне багато найкращих талантів у галузі штучного інтелекту. Він навіть згадав, що Йошуа Бенджіо, один із провідних світових експертів зі штучного інтелекту, вважає, що навряд чи кращим кандидатом, ніж Суцкевер, буде знайдено головного наукового співробітника OpenAI. "
Однак спочатку OpenAI був у скрутному становищі. «Був час, коли ми починали OpenAI, я не був зовсім впевнений, як прогрес продовжуватиметься», — сказав Суцкевер. «Але я маю дуже чітке переконання, що люди не збираються заперечувати проти глибокого навчання. Так чи інакше, щоразу, коли вони натикаються на перешкоду, дослідники знаходять рішення протягом шести місяців або року. "
Його віра була винагороджена. Перша велика мовна модель GPT від OpenAI з'явилася у 2016 році. За ними пішли GPT-2 і GPT-3. Крім того, існує DALL-E, переконлива модель перетворення тексту в зображення. Ніхто не побудував чогось такого хорошого. З кожним випуском OpenAI піднімає планку того, що люди вважають можливим.
Керуйте очікуваннями
У листопаді минулого року OpenAI випустила безкоштовний чат-бот, який перепакував частину існуючої технології. Це перезавантажує порядок денний для всієї галузі.
У той час OpenAI не знала, що збирається випустити. Суцкевер каже, що очікування всередині компанії не можуть бути нижчими: «Зізнаюся, це трохи незручно — я не знаю, чи варто мені це робити, але як би там не було, це факт — я не знав, що це добре, коли ми робили ChatGPT». Коли ви ставите йому фактичне запитання, він дає вам неправильну відповідь. Я думаю, що це буде дуже непомітно, і люди скажуть: «Навіщо ви робите цей продукт?». Це нудно! '"
Найпривабливішою частиною, каже Суцкевер, є зручність. Велика мовна модель, що лежить в основі ChatGPT, існує вже кілька місяців. Але загорнувши його в легкодоступний інтерфейс і роздавши безкоштовно, мільярди людей вперше дізналися про те, що створює OpenAI та інші.
«Перший досвід був захоплюючим. Коли ви вперше його використовуєте, я думаю, що це майже духовний досвід. Ви думаєте: "Боже мій, цей комп'ютер, здається, розуміє сам себе". '"
OpenAI зібрала 100 мільйонів користувачів менш ніж за два місяці, і багато з них були засліплені цією дивовижною новою іграшкою. Аарон Леві, генеральний директор компанії зі зберігання даних Box, підсумував атмосферу тижня після запуску в Twitter: «ChatGPT — один із тих рідкісних моментів у технологічному просторі, і ви можете побачити, що в майбутньому все буде інакше. "
Як тільки ChatGPT говорить якусь дурницю, це диво руйнується. Але тоді це не біда. Достатньо поглянути на можливості, каже Суцкевер. ChatGPT змінив кругозір людей.
«AGI більше не є лайливим словом у сфері машинного навчання», — сказав він. "Це велика зміна. Ставлення людей в історії таке: штучний інтелект не працює, кожен крок дуже складний, і за кожну крихту прогресу треба боротися. Коли люди розкручують AGI, дослідники кажуть: «Про що ви говорите? Це не працює, це теж не працює. Питань дуже багато. Але з ChatGPT все почало відчуватися по-іншому. "
Цей зсув почав відбуватися лише рік тому? "Все це сталося через ChatGPT", - сказав він. «ChatGPT дозволяє дослідникам машинного навчання втілювати свої мрії в життя».
Вчені OpenAI були євангелістами з самого початку і надихали на ці мрії за допомогою публікацій у блогах і лекційних турів. І це працює: «Ми говоримо про те, як далеко зараз зайде штучний інтелект — люди говорять про AGI, або суперінтелект. Це не тільки дослідники. "Уряди обговорюють це", - сказав Суцкевер. «Це божевілля».
Неймовірні речі
Суцкевер наполягає, що всі ці розмови про технології, яких ще не існує (і, можливо, ніколи не існує), є хорошою річчю, тому що вони змушують більше людей усвідомлювати майбутнє, яке він сприймав як належне.
«Ви можете зробити багато дивовижних речей, неймовірних речей за допомогою AGI: автоматизувати охорону здоров'я, зробити її в тисячу разів дешевшою, зробити її в тисячу разів кращою, вилікувати стільки хвороб і дійсно вирішити проблему глобального потепління», – сказав він. Але є також багато людей, які хвилюються: «Боже мій, чи може компанія зі штучним інтелектом успішно керувати цією величезною технологією?». '"
Таким чином, AGI більше схожий на джина, що виконує бажання, ніж на реальну перспективу. Мало хто скаже «ні» порятунку життів і боротьбі зі зміною клімату. Але проблема неіснуючої технології полягає в тому, що ви можете говорити їй все, що захочете.
Про що саме говорить Суцкевер, коли говорить про AGI? «AGI – це не науковий термін», – сказав він. «Це має бути корисним порогом, точкою відліку».
— Ось у чому ідея... — почав він, а потім зупинився. «Штучний інтелект став настільки розумним, що якщо людина може виконувати певні завдання, то ШІ теж може це робити. У цей момент можна сказати, що у вас AGI. "
Люди можуть говорити про це, але AGI все ще залишається однією з найбільш суперечливих ідей у цій галузі. Мало хто сприймає його розвиток як належне. Багато дослідників вважають, що потрібен серйозний концептуальний прорив, перш ніж ми зможемо побачити щось подібне до того, що передбачав Суцкевер – деякі вважають, що ми ніколи цього не зробимо.
Однак це бачення надихало його з самого початку. «Мене завжди надихала та мотивувала ця ідея», – сказав Суцкевер. «У той час це ще не називалося AGI, але ви знаєте, це все одно, що дозволити нейромережам робити все. Я не завжди вірю, що вони можуть. Але це гора, на яку потрібно піднятися. "
Він порівняв, як працюють нейронні мережі та мозок. Обидва отримують дані, агрегують сигнали з цих даних, а потім поширюють або не поширюють їх на основі деяких простих процесів (математика в нейронних мережах, хімічні речовини в мозку та біоелектрика). Це величезне спрощення, але принцип діє.
"Якщо ви вірите в це, якщо ви дозволяєте собі в це вірити, то є багато цікавих наслідків", - сказав Суцкевер. «Головний висновок полягає в тому, що якщо у вас дуже велика штучна нейронна мережа, вона повинна робити багато речей. Зокрема, якщо людський мозок може щось робити, то великі штучні нейронні мережі можуть робити щось подібне. "
"Якщо ви поставитеся до цього досить серйозно, все стане на свої місця", - сказав він. «Більшість моєї роботи можна пояснити цим».
Поки ми говоримо про мізки, я хотів би запитати про пост Суцкевера, зроблений на платформі Х. Синопсис Суцкевера читається як том афоризмів: «Якщо ти поставиш інтелект вище всіх інших людських якостей, то у тебе буде погане життя»; «Емпатія в житті і бізнесі недооцінена»; «Досконалість зруйнувала багато краси досконалості».
У лютому 2022 року він написав, що «сьогоднішні великі нейронні мережі можуть мати легку свідомість» (на що Мюррей Шанахан, головний науковий співробітник Google DeepMind, професор Імперського коледжу Лондона та науковий керівник фільму «Ex Machina», відповів: «... Таким же значенням може бути велике пшеничне поле з невеликою кількістю макаронів").
Коли я підняв це питання, Суцкевер засміявся. Він пародія? Це не так. — Чи знайомі ви з концепцією мозку Больцмана? — спитав він.
Він мав на увазі квантово-механічний уявний експеримент, названий на честь фізика 19-го століття Людвіга Больцмана, в якому передбачалося, що випадкові термодинамічні флуктуації у Всесвіті змусять мозок з'являтися і зникати.
«Я думаю, що ці мовні моделі зараз трохи схожі на мозок Больцмана», — сказав Суцкевер. "Ти починаєш з ним розмовляти, говориш деякий час; А потім, коли ти закінчиш, мозок зробить... — Він зробив зникаючий рух рукою. Пуф — прощавай, мозок.
Ви хочете сказати, що коли нейромережа активна, так би мовити, коли вона розряджається, там щось є? — спитав я.
"Я думаю, що це може бути", - сказав він. "Я не впевнений, але це важко спростувати. Але хто знає, що відбувається, чи не так? "
Штучний інтелект, але не такий, яким ми його знаємо
У той час як інші намагаються зробити машини порівнянними з людським інтелектом, Суцкевер готується до машин, які можуть перевершити наші. Він називає це явище суперштучним інтелектом: «Вони дивляться на речі глибше. Вони побачать те, чого не побачимо ми. "
Знову ж таки, мені важко зрозуміти, що це насправді означає. Людський інтелект є еталоном, за яким ми судимо про інтелект. Що Суцкевер має на увазі під інтелектом, який розумніший за людей?
«Ми бачимо дуже вузький приклад суперінтелекту в AlphaGo», — сказав він. У 2016 році настільна гра AI «Alpha Dog» від DeepMind перемогла Лі Седоля, одного з найкращих гравців у го у світі, з рахунком 4:1 у п'яти матчах. «Він з'ясував, як грати в Го так, щоб це відрізнялося від того, як люди розвивалися разом протягом тисячоліть», — сказав Суцкевер. «Він придумує нові ідеї».
Суцкевер згадує знаменитий 37-й хід AlphaGo. У другому матчі проти Лі Седоля хід ШІ спантеличив коментаторів. Вони думають, що AlphaGo зіпсований. По суті, він зіграв переможний хід, якого раніше не було в історії шахів. "Уявіть собі такий рівень розуміння, але охоплюючи все", - сказав Суцкевер.
Саме ця лінія мислення призвела до того, що Суцкевер здійснив найбільшу зміну у своїй кар'єрі. Разом із колегами-вченими з OpenAI Яном Лейком він сформував команду, зосереджену на тому, що вони назвали «супервирівнюванням». Alignment — це жаргон, який означає, що ви дозволяєте моделі штучного інтелекту робити те, що ви хочете, і все. Супервирівнювання — це термін вирівнювання, який OpenAI застосовує до суперінтелекту.
Мета полягає в тому, щоб розробити набір відмовостійких процедур для створення та контролю цієї футуристичної технології. OpenAI заявляє, що виділить п'яту частину своїх величезних обчислювальних ресурсів для вирішення проблеми та її вирішення протягом чотирьох років.
«Існуючі методи вирівнювання не працюють з моделями, які розумніші за людей, тому що вони фундаментально припускають, що люди можуть надійно оцінювати, що роблять системи штучного інтелекту», — каже Лейк. «У міру того, як системи штучного інтелекту стають більш потужними, вони братимуть на себе складніші завдання». Ідея полягає в тому, що це ускладнить людям їх оцінку. «Збираючи команду Super Alignment Team із Суцкевером, ми поставили собі за мету вирішити ці майбутні проблеми вирівнювання», – сказав він.
«Важливо зосередитися не тільки на потенційних можливостях для великих мовних моделей, але й на їхніх ризиках і недоліках», — сказав Дін, головний науковий співробітник Google. "
Компанія оголосила про проєкт у липні з типовою помпою. Але для когось це скоріше фантазія. Публікації OpenAI у Twitter викликали презирство з боку відомих критиків Big Tech, включаючи Абебу Бірхейн, яка працює над підзвітністю ШІ в Mozilla; Тімніт Гебру, співзасновник Distributed AI Institute; та Маргарет Мітчелл, головний науковий співробітник з етики компанії зі штучного інтелекту Hugging Face. Справді, це знайомі незгодні голоси. Але це серйозне нагадування про те, що деякі люди вважають, що OpenAI лідирує, тоді як інші вважають, що OpenAI на межі.
Однак для Суцкевера супервирівнювання є неминучим наступним кроком. "Це невирішене питання", - сказав він. Він вважає, що над цією проблемою працюють такі основні дослідники машинного навчання, як він. "Я роблю це для власної вигоди", - сказав він. «Очевидно, важливо, щоб будь-який суперінтелект, який хтось створює, не вийшов з-під контролю».
Робота над супервирівнюванням тільки почалася. На думку Суцкевера, це вимагатиме широкої зміни науково-дослідних інститутів. Але він мав на увазі модель запобіжних заходів, яку хотів розробити: машину, яка ставиться до людей так, як батьки ставляться до своїх дітей. "На мою думку, це золотий стандарт", - сказав він. «Люди дійсно піклуються про дітей, це в цілому вірне твердження».
«Що після того, як ви подолаєте виклик шахрайського штучного інтелекту, що далі? У світі з розумнішим штучним інтелектом, чи є ще місце для людей? – сказав він.
«Одна з можливостей, яка може бути божевільною за сьогоднішніми мірками, але не такою божевільною за завтрашніми мірками, полягає в тому, що багато людей вирішать стати частиною штучного інтелекту». Суцкевер каже, що це може бути способом для людей намагатися не відставати від підніжки. «На початку лише найсміливіші та найавантюрніші намагалися це зробити. Можливо, інші наслідуватимуть цей приклад. Або ні. "
Довідкові джерела: