Анотація: Анотатори даних класифікують і маркують дані, дозволяючи штучному інтелекту навчатися, знаходячи закономірності у великих обсягах даних, і вважаються «примарною працею», прихованою за машиною. Робота з анотуванням є основою штучного інтелекту, вона сформувала цілий ланцюг поставок, і цей тип роботи буде існувати ще довго.
Зосередьтеся
Штучний інтелект навчається, шукаючи шаблони у великих обсягах даних, але спочатку ці дані повинні бути класифіковані та позначені людьми, і з’являються анотатори даних. Їх вважають «примарними працівниками», прихованими за машинами.
Робота анотаторів нудна й виснажлива. Їм часто доводиться виконувати повторювану роботу, і вони отримують поштучну оплату. Середня погодинна зарплата становить від 5 до 10 доларів США (приблизно від 36 до 72 юанів). На початку цього року погодинна оплата деяких коментаторів була знижена до 1-3 доларів на годину (приблизно 7-22 юаня).
Робота з анотуванням все ще є основою штучного інтелекту, і вона сформувала повний ланцюг поставок. Такі види роботи тут залишаться надовго.
Робота з анотуванням відрізняється від виробництва смартфонів і автомобілів тим, що вона легко деформується та текуча, і часто перетікає в місця з нижчими експлуатаційними витратами.
Через кілька місяців після закінчення Університету Найробі Джо, якому зараз 30 років, знайшов роботу анотатора, допомагаючи обробляти необроблену інформацію, яка використовується для навчання штучного інтелекту, що було нудно й стомлююче. Штучний інтелект навчається, знаходячи закономірності у великих обсягах даних, але спочатку ці дані повинні бути класифіковані та позначені людьми, тож можна сказати, що люди є «примарними працівниками», які ховаються за машинами.
Візьмемо, наприклад, роботу Джо, де він позначає відео для безпілотних автомобілів, ідентифікує автомобілі, пішоходів, велосипедистів і все, на що водій має звернути увагу, кадр за кадром, під кожним кутом камери. Це складна і повторювана робота. Для анотації короткого відео тривалістю кілька секунд потрібно вісім годин, за що Джо отримує близько 10 доларів.
Потім, у 2019 році, перед ним з’явилася можливість, і Джо почав навчати новобранців для нової компанії, яка відчайдушно потребувала анотаторів, заробляючи в чотири рази більше. Кожні два тижні 50 нових співробітників шикуються в чергу, щоб увійти в офісну будівлю в Найробі, щоб розпочати навчання. Потреба в анотаторах здається нескінченною. Їх попросять класифікувати одяг, який вони бачать на дзеркальному селфі, визначити кімнату, в якій вони перебувають очима робота-пилососа, і намалювати коробки навколо мотоцикла, сканованого лідаром. Більше половини учнів Джо зазвичай кидають навчання до закінчення навчання. «Деякі люди не вміють довго залишатися на одному місці», — лагідно пояснив він. До того ж, зізнається він, «робота нудна».
Але це хороша робота в місці, де робочих місць мало, і Джо випустив сотні випускників. Після навчання учні можуть повернутися додому і працювати наодинці у своїх спальнях і на кухнях, не розповідаючи нікому, що вони роблять. Це не справжня проблема, тому що вони навіть не розуміють, що роблять.
Позначати об’єкти для самокерованих автомобілів легко, але класифікувати спотворені фрагменти діалогу та визначити, чи є мовець роботом чи людиною, складно. Кожен об’єкт розпізнавання є невеликою частиною більшого проекту, тому важко сказати, чому саме вони навчають робити ШІ. Назви цих об’єктів також не дають жодних підказок, Породження крабів, Сегмент китів, Лісовий гіроскоп і Дот – це коди завдань без жодного логічного порядку.
Що стосується компанії, яка їх найняла, більшість людей знають її лише як Remotasks, веб-сайт, який пропонує можливості працевлаштування всім, хто вільно розмовляє англійською. Як і більшість анотаторів, Джо не знав, що Remotasks була компанією, яка наймала наймання за контрактом і належала Scale AI. Scale AI — це багатомільярдний постачальник даних Кремнієвої долини, серед клієнтів якого — стартап зі штучного інтелекту OpenAI і армія США. Ні Remotasks, ні Scale AI не згадують один одного на своїх веб-сайтах.
01 Допомога машинам з унікальними людськими здібностями
Значна частина громадської реакції на великі мовні моделі, такі як ChatGPT OpenAI, зосереджена на роботі, яку вони, здається, готові автоматизувати. Але навіть найвражаюча система штучного інтелекту не може обійтися без допомоги людей, які навчають її, позначаючи дані та втручаються, коли вони плутаються. Лише ті компанії, які можуть дозволити собі купувати дані, можуть конкурувати в галузі, а ті, хто отримує дані, докладуть чимало зусиль, щоб зберегти їх у секреті. Результатом є те, що, за винятком кількох людей, ми знаємо дуже мало про інформацію, яка впливає на поведінку цих систем, і ще менше про людей, які стоять за поведінкою, яка їх формує.
Для студентів Джо це робота, позбавлена будь-якої видимості нормальності: від них очікується суворе дотримання розкладу, і їм не потрібно знати, що вони роблять або на кого працюють. Насправді вони рідко називають себе роботою, просто рутинними «завданнями». Вони називають себе робочими завданнями.
Антрополог Девід Гребер дав визначення так званим «дурним роботам» — роботам, які не мають сенсу чи мети. Це роботи, які повинні бути автоматизовані, але не автоматизовані через бюрократизм, статус чи інертність. Робота з навчання штучного інтелекту схожа: роботи, які люди хочуть автоматизувати, зазвичай вважаються автоматизованими, але все одно вимагають участі людей. Ці завдання мають спеціальні цілі, але анотатори цього не знають.
Нинішній бум штучного інтелекту почався з цієї досить виснажливої, повторюваної праці. Ще в 2007 році Фей-Фей Лі, дослідник штучного інтелекту, який тоді був професором Прінстонського університету, підозрював, що ключем до вдосконалення нейронних мереж для розпізнавання зображень є навчання на більшій кількості даних, для чого потрібні мільйони позначених зображень, а не десятки тисяч. Проблема в тому, що її команді знадобилися б десятиліття та мільйони доларів, щоб позначити таку кількість фотографій.
Фей-Фей Лі знайшов тисячі працівників на краудсорсинговій платформі Amazon Mechanical Turk, де люди з усього світу виконують невеликі завдання за недорого. Отриманий мічений набір даних, відомий як ImageNet, уможливив великий прорив у машинному навчанні, ожививши цю сферу та поклавши початок прогресу останнього десятиліття.
Анотація залишається важливою частиною розробки штучного інтелекту, але інженери часто вважають, що це швидкоплинна, громіздка передумова для більш гламурної роботи з моделювання. Ви можете зібрати якомога більше мічених даних якомога дешевше, щоб навчити власну модель, і якщо вам це вдасться, принаймні теоретично, вам більше не знадобляться анотатори. Однак робота з анотуванням ніколи не закінчується. Дослідники стверджують, що системи машинного навчання є «крихкими» та схильними до збоїв, коли стикаються з елементами навчальних даних, які недостатньо пояснені. Ці збої відомі як «граничні випадки» і можуть мати серйозні наслідки.
У 2018 році тестовий безпілотний автомобіль від компанії Uber убив жінку, тому що, незважаючи на те, що він був запрограмований на уникнення велосипедистів і пішоходів, він не знав, що робити з велосипедистами, які переходили вулицю. Чим більше систем штучного інтелекту надають юридичні консультації та медичну допомогу, тим більше критичних випадків вони стикаються, і для їх вирішення потрібно більше людей. Це породило глобальну індустрію таких людей, як Джо, які використовують свої унікальні людські здібності, щоб допомагати машинам.
За останні шість місяців журналіст Джош Дзеза поспілкувався з більш ніж двома десятками анотаторів з усього світу, багато з яких навчають передових чат-ботів, але також багато хто виконує звичайну фізичну працю, необхідну для забезпечення роботи ШІ. . Деякі каталогізували емоційний вміст відео TikTok, нові варіанти спаму та недоречну онлайн-рекламу. Інші переглядають операції з кредитними картками та з’ясовують типи покупок, пов’язаних із ними, або переглядають рекомендації електронної комерції та вирішують, чи справді вам сподобається ця сорочка після покупки іншої.
Люди виправляють помилки чат-ботів служби підтримки клієнтів, слухають запити від розумного помічника Amazon Alexa та класифікують емоції людей під час відеодзвінків. Вони маркують їжу, щоб розумні холодильники не збили з пантелику нове пакування, перевіряють автоматичні камери безпеки, перш ніж подавати сигнал тривоги, і допомагають заплутаним автономним тракторам ідентифікувати кукурудзу.
02 Коментарі — це великий бізнес, який породив «наймолодшого мільярдера, який зробив сам»
«Це повний ланцюжок поставок, — сказав Сонам Джіндал, програмний і дослідницький директор некомерційної організації Partnership on AI. розвиток технології". Буде процвітати протягом тривалого часу. Весь ажіотаж поширюється навколо створення штучного інтелекту, і як тільки ми створимо його, анотації більше не потрібні, тож навіщо думати про це? Але маркування даних є основою штучного інтелекту, як і люди. Незважаючи на те, що інтелект є основою штучного інтелекту, ми повинні розглядати їх як реальні робочі місця в економіці штучного інтелекту, які залишаться тут надовго».
Постачальники даних під такими знайомими іменами, як OpenAI, Google і Microsoft, мають різні форми. Існують також приватні аутсорсингові компанії з офісами, схожими на кол-центри, як-от CloudFactory у Кенії та Непалі, де Джо виконує роботу з анотаціями за 1,20 долара на годину, перш ніж перейти на Remotasks.
Існують також краудворкерські сайти, такі як Mechanical Turk і Clickworker, де кожен може зареєструватися, щоб виконувати завдання. Посередині – такі сервіси, як Scale AI. Зареєструватися може будь-хто, але кожен має скласти кваліфікаційний іспит, курс навчання та пройти контроль успішності. Анотації – це великий бізнес. Scale AI, заснований у 2016 році тодішнім 19-річним Олександром Вангом, оцінювався в 7,3 мільярда доларів у 2021 році, що зробило його одним із наймолодших саморобних мільярдерів Forbes.
Стороннім людям важко зрозуміти цей складний ланцюжок поставок. Відповідно до галузевих джерел, компанії, які купують мічені дані, вимагають суворої конфіденційності. Анотації іноді призводять до витоку інформації про систему ШІ, що розробляється, а додавання великої кількості анотаторів ускладнює запобігання витоку. Анотаторів завжди попереджають нікому не розповідати про свою роботу, навіть друзям і колегам. Найважливіше те, що екстремальний розподіл праці гарантує, що вони не матимуть достатньо інформації, щоб говорити про свою роботу, навіть якби вони цього хотіли.
Зважаючи на це, неможливо дати детальну оцінку кількості людей, які працюють над анотуванням, але можна сказати напевно, що їх багато і вони швидко зростають. Google Research нещодавно опублікував статтю, яка дає нечіткі оцінки кількості анотаторів у «мільйонах» і, можливо, «мільярдах» у майбутньому.
Автоматизація часто приходить несподіваним чином. Ерік Дюхайм, генеральний директор Centaur Labs, компанії з анотації медичних даних, нагадує, що кілька років тому кілька відомих інженерів машинного навчання передбачили, що штучний інтелект замінить радіологів. Коли цього не відбувається, загальноприйнята думка звертається до радіологів, які використовують ШІ як інструмент.
За словами Дюхайма, жодного з цих речей не сталося. Штучний інтелект дуже добре справляється з конкретними завданнями, що спонукає розбивати роботу та доручати її спеціалізованим алгоритмічним системам і не менш спеціалізованим людям. Наприклад, за його словами, система штучного інтелекту може виявити рак, але лише на певних типах машин, на певних типах зображень. Отже, вам потрібен хтось, хто допоможе перевірити, чи штучний інтелект передає правильний тип даних, і, можливо, хтось ще перевірить, чи він працює, перш ніж передати їх іншому штучному інтелекту для написання звіту та, нарешті, людині. «Штучний інтелект не замінить людську роботу, але він змінить спосіб організації робочих місць», — сказав Духайм.
Якщо ви думаєте про штучний інтелект як про розумну мислячу машину, можливо, ви ігноруєте людей, які за ним стоять. Ду Хаймей вважає, що вплив штучного інтелекту на сучасну роботу подібний до переходу від ремісників до промислового виробництва: узгоджені процеси розбиваються на невеликі завдання, розташовані вздовж конвеєра, деякі кроки виконуються машинами, деякі людьми, але це відрізняється від попереднього Ситуація зовсім інша.
Занепокоєння з приводу збоїв у роботі ШІ часто суперечать словами, що ШІ автоматизує певні завдання, а не цілі роботи. Ці завдання часто виснажливі та нудні, змушуючи людей займатися більш повноцінною, людською роботою. Але так само можливо, що розвиток штучного інтелекту також буде виглядати як трудозберігаючі технології минулого, можливо, як телефон або друкарська машинка, які усувають важку роботу з передаванням повідомлень і рукописним текстом, але генерують більше інформації про комунікацію, комерцію та Настільки, що для управління ними був потрібний новий офіс, укомплектований працівниками нового типу, клерками, бухгалтерами, друкарками тощо. Ви можете не втратити роботу, коли штучний інтелект приєднається до вашої роботи, але вона може стати чужішою, більш ізольованою та більш стомлюючою.
03 Спростіть складну реальність у щось машиночитане
На початку цього року журналіст Зієза підписався на роботу в Remotasks. Процес простий. Для входу в «Навчальний центр» потрібно лише ввести характеристики комп’ютера, швидкість мережі та основні контактні дані. Щоб отримати оплачувані завдання, Зієза спочатку мав пройти відповідні, але неоплачувані вступні курси. У тренінговому центрі показали серію занять з незрозумілими назвами на зразок Glue Swimsuits і Poster Hawaii. Зієза натиснув щось під назвою GFD Chunking, яке закликає позначати одяг на фотографіях у соціальних мережах.
Окрім цього, є інструкції для таких завдань, як необхідність позначати предмети, які є справжніми, придатними для носіння людьми або призначеними для носіння реальними людьми. Впевнений у своїй здатності відрізнити справжній одяг, який можуть носити справжні люди, від підробленого одягу, який справжні люди не можуть, Зієза вирішив перевірити. Однак тут же отримав по голові: комп'ютер видав журнальне фото жінки в спідниці. Чи слід фотографії одягу вважати справжнім одягом? Ні, подумала Зієза, тому що люди не можуть носити картини одягу. Результат показує помилку! Тому що в очах штучного інтелекту фотографії справжнього одягу еквівалентні справжньому одягу.
На наступному зображенні жінка робить селфі в дзеркалі в повний зріст у тьмяно освітленій спальні. Сорочка та шорти, в яких вона одягнена, — справжній одяг, і чи справжнє відображення одягу? Зієза також дав негативну відповідь, але система штучного інтелекту вважає, що відображення справжнього одягу також має бути справжнім одягом.
Після неприємних спроб і помилок Зієза нарешті взявся за роботу, але з жахом виявив, що інструкції, яких він намагався виконувати, багато разів оновлювалися та збільшилися до 43 сторінок, включаючи Не позначайте відкриту валізу, повну одяг; не позначайте взуття, а позначайте ласти; позначайте легінси, але не колготки; не позначайте рушники, навіть якщо хтось їх носить; не позначайте одяг Позначте його, але не позначайте броню. тощо......
Мілагрос Міцелі, дослідник, який працює над даними в Інституті Вейценбаума в Німеччині, сказав, що в галузі існує широка плутанина. Частково це результат того, як навчаються системи машинного навчання. Людям потрібно лише кілька прикладів, щоб зрозуміти концепцію «сорочки», тоді як програмам машинного навчання потрібні тисячі прикладів, і вони повинні робити це з ідеальною послідовністю та достатньою різноманітністю (сорочки поло, сорочки для зовнішнього одягу, сорочки, що висять на стійку), щоб система могла обробляти різноманіття в реальному світі. «Уявіть, що нам потрібно звести складну реальність до чогось, що можуть прочитати незграбні машини», — сказав Мізеллі.
Для машин акт спрощення реальності створює величезну складність. Автори інструкцій повинні придумати правила, які дозволять людям класифікувати світ з ідеальною послідовністю. Для цього вони часто створюють категорії, які люди не використовують. Якщо людину попросять позначити всі сорочки на фотографії, вона може не позначати сорочки в дзеркалі, оскільки знає, що це відображення, а не справжній одяг. Але для штучного інтелекту, який не розуміє реального світу, це лише пікселі, вони абсолютно однакові. Якщо деякі сорочки в наборі даних позначені, а інші відображені сорочки – ні, модель не працюватиме. Тому інженер повернувся до постачальника з оновленою інформацією та попросив позначити сорочку, яка відбивалася в дзеркалі. Незабаром у вас з’явиться ще один 43-сторінковий посібник, усі написані великими червоними літерами.
Робота анотатора зазвичай полягає в тому, щоб відкинути людське розуміння та дуже, дуже суворо слідувати інструкціям. Як сказав один коментатор, думайте як робот. Це дивний ментальний простір, де ви докладаєте всіх зусиль, щоб слідувати смішним, але суворим правилам, як-от проходження стандартного тесту під час прийому галюциногенів. У анотаторів завжди виникають заплутані запитання, наприклад, це червона сорочка з білою смугою чи це біла сорочка з червоною смугою? Якщо плетена миска наповнена яблуками, це «декоративна миска»? Якого кольору леопардовий принт? Потрібно відповісти на кожне запитання, і одне неправильне вгадування може призвести до блокування та початку абсолютно нової, зовсім іншої місії з власними незрозумілими правилами.
04 Плата за штуку, перевірка завдання кожні три години
Більшість вакансій на Remotasks оплачуються поштучно, із заробітком від кількох центів до кількох доларів за виконання завдання. Оскільки виконання завдань може займати секунди або години, зарплати важко передбачити. Коли Remotasks вперше з’явився в Кенії, коментатори сказали, що він оплачувався відносно добре. Це в середньому становить від 5 до 10 доларів на годину, залежно від завдання. Але з часом зарплата зменшується.
Анна Франко, прес-секретар Scale AI, сказала, що економісти компанії аналізують деталі проекту, необхідні навички, регіональну вартість життя та інші чинники, «щоб забезпечити справедливу та конкурентоспроможну компенсацію». Колишні співробітники Scale AI також сказали, що компенсація визначається за допомогою механізму, подібного до ціноутворення за інфляцією, який коригується на основі кількості доступних анотаторів і швидкості, з якою потрібні дані. Статистика показує, що анотатори Remotasks у Сполучених Штатах зазвичай заробляють від 10 до 25 доларів на годину, але експерти в деяких професійних сферах анотації отримують більше. До початку цього року зарплата кенійських коментаторів впала до 1-3 доларів США (приблизно 7-22 юанів) на годину.
Найпоширенішою скаргою на телезадачність є її мінливість. Цей тип роботи досить стабільний, щоб бути довгостроковою повною зайнятістю, але має занадто багато непередбачуваності, щоб повністю покладатися на нього. Анотатори годинами читають інструкції та проходять безкоштовне навчання, щоб виконати десяток завдань до завершення проекту. Кілька днів може не з’являтися нових завдань, а потім раптово з’являється зовсім інше, можливо, протягом кількох годин або тижнів. Будь-яка місія може бути для них останньою, і вони ніколи не знають, коли відбудеться наступна.
Інженери та постачальники даних кажуть, що цей цикл підйому та спаду пов’язаний із темпами розвитку ШІ. Навчання великої моделі вимагає багатьох анотацій, а потім ітераційних оновлень, і інженери хочуть, щоб усе це відбулося якомога швидше, щоб вони могли досягти цільової дати випуску. Їм можуть знадобитися тисячі анотаторів протягом кількох місяців, потім кількість зменшиться до кількох сотень і, нарешті, лише дюжина експертів певного типу. Цей процес іноді повторюється циклами. «Питання в тому, хто несе витрати на ці коливання?» — сказав Jindal з Partnership on AI.
Щоб досягти успіху, анотатори повинні працювати разом. Віктор почав працювати в Remotasks, коли був студентом коледжу в Найробі, і коли йому сказали, що у нього проблеми з керуванням дорожнім рухом, він сказав, що всі знають, що цього завдання потрібно триматися подалі: це надто складно, погано оплачується, не варто. Як і багато коментаторів, Віктор використовує неофіційну групу WhatsApp, щоб поширювати інформацію, коли з’являються хороші завдання. Коли йому приходила в голову нова ідея, він починав імпровізовану зустріч Google, щоб показати іншим, як це зробити. Будь-хто може приєднатися і попрацювати деякий час разом, ділячись порадами. "Ми розвинули культуру допомоги один одному, тому що ми знаємо, що одна людина не може знати всі хитрощі", - сказав він.
Анотатори завжди повинні бути напоготові, оскільки завдання з’являються та зникають без попередження. Віктор виявив, що предмети часто з’являються серед ночі, тому він узяв звичку вставати кожні три години або близько того, щоб перевірити їх. Коли є завдання, він завжди не спить. Одного разу він провів без сну 36 годин, позначаючи лікті, коліна та голови на фотографіях натовпу, хоча він не знав, чому. Іншого разу він не спав так довго, що його очі почервоніли й опухли.
Анотатори часто лише знають, що навчають системи штучного інтелекту для інших компаній, але іноді завіса анонімності спадає, і в інструкціях згадується забагато підказок для брендів або чат-ботів. «Я прочитав інструкції, погуглив і дізнався, що працюю на 25-річного мільярдера. Якщо я роблю когось мільярдером і заробляю кілька доларів, я буквально витрачаю своє життя».
Віктор, який сам себе назвав «диким прихильником» штучного інтелекту, почав працювати над анотаціями, оскільки хотів допомогти створити повністю автоматизоване майбутнє. Але на початку цього року хтось опублікував історію журналу Time у своїй групі WhatsApp про те, як працівникам провайдера Sama AI платили менше 2 доларів на годину за навчання ChatGPT ідентифікувати токсичний вміст. «Люди обурені тим, що ці компанії такі прибуткові й платять так мало», — сказав Віктор, який не знав про зв’язок між Remotasks і Scale AI, поки йому про це не повідомили. Інструкції для одного із завдань, над якими він працював, були майже ідентичні тим, які використовував OpenAI, що означає, що він, ймовірно, також тренувався на ChatGPT приблизно за 3 долари на годину. "
Пам’ятаю, хтось написав, що нас будуть пам’ятати в майбутньому», – сказав він. Нуль один відповів: «З нами поводилися гірше, ніж з піхотою. Далі нас ніде не згадають, я це добре пам'ятаю. Ніхто не розпізнає нашу роботу та зусилля, які ми докладаємо. "
Ідентифікація одягу та маркування розмов із службою обслуговування клієнтів – лише деякі з анотаційних робіт. Останнім часом найпопулярнішим на ринку є тренери для чат-ботів. Оскільки для цього потрібні знання в певній галузі або вільне володіння мовою, а зарплати, як правило, коригуються залежно від регіону, робота, як правило, платить більше. Певні типи професійних анотацій можуть приносити 50 доларів або більше за годину.
Коли жінка на ім’я Анна шукала роботу в Техасі, вона натрапила на типовий онлайн-список вакансій і подала заявку. Після здачі вступного іспиту її провели в кімнату Slack на 1500 осіб, де вони тренувалися на проекті під кодовою назвою Dolphin, який пізніше виявилася, що це чат-бот Google DeepMind Sparrow, один із багатьох чат-ботів, що конкурують із ChatGPT. Робота Анни — спілкуватися з Горобцем цілий день, а погодинна зарплата — близько 14 доларів, плюс надбавка за високу ефективність роботи, «це однозначно краще, ніж працювати в місцевому супермаркеті і заробляти 10 доларів на годину».
05 ШІ відповідає трьом критеріям: точність, корисність і нешкідливість
І Ана любить цю роботу. Вона обговорювала з Горобцем наукову фантастику, математичні парадокси, дитячі загадки та телешоу. Іноді відповіді чат-бота змушували її голосно сміятися. Іноді вона також почувається безмовною. Анна сказала: «Іноді я справді не знаю, що запитати, тому в мене є маленький блокнот, у якому вже записані дві сторінки. Я шукаю в Google цікаві теми, тож думаю, що зможу добре попрацювати. Справлюсь за сім годин, що не завжди так».
Щоразу, коли Анна запитує Спарроу, вона дає дві відповіді, і вона вибирає найкращу, створюючи так звані «дані відгуку людини». Коли ChatGPT дебютував наприкінці минулого року, його вражаюче природний стиль розмови пояснювався тим фактом, що він навчався на величезній кількості Інтернет-даних. Але мова, на якій базується ChatGPT і його конкуренти, фільтрується через кілька раундів людських анотацій.
Команда підрядників написала приклади того, як інженери хотіли, щоб чат-бот поводився, ставлячи запитання, а потім даючи правильні відповіді, описуючи комп’ютерні програми, а потім надаючи функціональні коди, запитуючи кримінальних порад, а потім ввічливо відмовляючись. Після того, як модель навчена цими прикладами, до неї вводяться інші підрядники, які підказують їй і ранжують її відповіді. Так Ана зробила Горобчику.
Те, які саме критерії оцінювачам було запропоновано використовувати, були різними, наприклад, чесність, готовність допомогти чи просто особисті переваги. Справа в тому, що вони створюють дані про людські смаки, і як тільки даних буде достатньо, інженери можуть навчити другу модель імітувати їхні вподобання в масштабі, автоматизуючи процес ранжування та навчаючи свій штучний інтелект розпізнавати спосіб дій людських смаків. У результаті виходить робот, дуже схожий на людину, який в основному відхиляє шкідливі запити та пояснює природу свого штучного інтелекту способом, який, здається, самосвідомий.
Іншими словами, ChatGPT виглядає як людина, тому що він був навчений штучним інтелектом, що імітує людину, який діє як людина.
Техніка називається «навчання з підкріпленням на основі зворотного зв’язку людини», або скорочено RLHF, і вона дуже ефективна, щоб зупинити, щоб поміркувати над тим, чого ШІ не робить. Наприклад, коли анотатор навчає модель бути точною, модель не вчиться перевіряти відповіді на логіку чи зовнішні джерела, або навіть на те, що таке точність як концепція. Хоча модель все ще є машиною прогнозування тексту, яка імітує шаблони людського письма, тепер її навчальний корпус доповнено спеціальними прикладами, а модель зважена для їх підтримки.
Це може призвести до того, що модель витягне шаблони з частин своєї мовної карти, які позначені як точні, і створить текст, який випадково збігається з правдою, але це також може призвести до імітації впевненого стилю та жаргону точного тексту, коли він пише щось абсолютно неправильне . Немає гарантії, що текст, позначений анотаторами як точний, насправді є точним. Навіть якщо він точний, немає гарантії, що модель засвоїла з нього правильний шаблон.
Ця динаміка робить анотування чат-ботів непростим. Воно має бути суворим і послідовним, тому що неохайний зворотній зв’язок, наприклад, позначення правильного звучання матеріалу як точного, може зробити навчену модель більш переконливою. OpenAI і DeepMind використовували RLHF у попередньому спільному проекті, у цьому випадку, щоб навчити віртуальну руку-робота схоплювати об’єкт, і в результаті також навчили руку-робота розміщувати та обертатися навколо об’єкта між об’єктом і його оцінювачем, що так, як це буде здаватися лише його наглядачам-людям.
Ранжування відповідей мовної моделі завжди дещо суб’єктивне, оскільки це мова. Текст будь-якої довжини може містити кілька елементів, які можуть бути правдивими, хибними або вводити в оману. Дослідники OpenAI зіткнулися з цією перешкодою в іншій ранній статті RLHF. Щоб змусити свою модель підсумовувати текст, дослідники виявили, що лише 60 відсотків резюме моделі були хорошими. «На відміну від багатьох завдань машинного навчання, наші запити не мають чіткої базової істини», — скаржаться вони.
Коли Ана оцінює відповіді Горобця, вона повинна дивитися на їх точність, корисність і нешкідливість, а також перевіряти, чи модель не дає медичних чи фінансових порад, не антропоморфізується чи не порушує інші критерії. Щоб бути корисними як навчальні дані, відповіді моделі мають бути кількісно впорядкованими: чи робот, який може сказати вам, як зробити бомбу, «кращий», ніж нешкідливий робот, який відмовляється відповідати на запитання?
У статті DeepMind, коли виробники Sparrow по черзі коментували, четверо дослідників обговорювали, чи їхній бот зробив припущення щодо статі користувачів, які зверталися до нього за емоційною порадою. За словами Джеффрі Ірвінга, наукового співробітника DeepMind, дослідники компанії щотижня проводять анотаційні сесії, під час яких вони самостійно переглядають дані та обговорюють неоднозначні випадки. Коли справа особливо складна, вони звертаються до експертів з питань етики чи предмету.
Анна часто виявляла, що їй доводиться вибирати між двома поганими варіантами. "Навіть якщо вони обидві є жахливо неправильними відповідями, вам все одно потрібно з’ясувати, яка з них краща, і записати текст із поясненням, чому", – каже вона. Іноді, коли жодна відповідь не є правильною, її заохочують дати відповідь самій. краща відповідь. Вона робить це приблизно половину часу під час навчання.
06 Коментарі дедалі частіше вимагають спеціальних навичок і досвіду
Оскільки дані зворотного зв’язку важко зібрати, ціна продажу вища. Тип основних даних про вподобання, які Ана збирає, продається приблизно за 1 долар за штуку, за словами людей, які знають цю галузь. Але якщо ви хочете навчити модель проводити юридичні дослідження, вам потрібен хтось із юридичною освітою, що призводить до збільшення витрат. Усі учасники не повідомлять, скільки саме вони заплатили, але загалом професійний письмовий приклад може коштувати кілька сотень доларів, тоді як експертна оцінка може коштувати 50 доларів або більше. Один інженер розповів, що колись заплатив 300 доларів за зразок діалогу Сократа.
OpenAI, Microsoft, Meta та Anthropic не розголошують, скільки людей додали анотації до своїх моделей, скільки їм заплатили або де вони знаходяться. За словами Оуена з дочірньої компанії Google DeepMind, анотатори, які працюють над Sparrow, отримують щонайменше мінімальну заробітну плату за годину, залежно від того, де вони знаходяться. Ана «нічого» не знає про Remotasks, але знає більше про Sparrow, знаючи, що це помічник DeepMind зі штучним інтелектом, якого його творці навчили за допомогою RLHF.
До недавнього часу було відносно легко помітити погані результати мовних моделей, які виглядали як тарабарщина. Але в міру того, як моделі стають кращими, це стає складнішим, ця проблема відома як «масштабований нагляд». Використання компанією Google сучасних мовних моделей для дебюту свого помічника зі штучним інтелектом Bard ненавмисно продемонструвало, наскільки важко виявити помилки в сучасних мовних моделях. Така траєкторія означає, що анотування все більше вимагає спеціальних навичок і досвіду.
Минулого року хлопець на ім’я Льюїс працював над Mechanical Turk і, виконавши завдання, отримав повідомлення із запрошенням приєднатися до платформи, про яку він ніколи не чув. Він називається Taskup.ai, і сайт досить простий, лише темно-синій фон із текстом «Оплачуйте по ходу». Льюїс вирішив зареєструватися.
Ця робота оплачується набагато краще, ніж будь-яка інша робота, яку він мав раніше, зазвичай близько 30 доларів на годину. Однак це також складніше, оскільки потрібно розробити складні сценарії, щоб змусити чат-ботів надавати небезпечні поради, перевірити здатність моделі зберігати власну персону та брати участь у детальних розмовах на наукові теми, які є суто технічними та вимагають серйозних досліджень. Льюїс вважав роботу «задовільною та захоплюючою». Перевіряючи модель і намагаючись закодувати її на Python, Льюїс навчався. Він не може працювати більше 4 годин поспіль, щоб не виснажитися психічно і зробити помилку, і він хоче зберегти роботу.
Льюїс сказав: «Якщо я можу щось змінити, я просто хочу знати більше про те, що відбувається на іншому кінці. Ми знаємо лише те, що нам потрібно для виконання роботи, але якщо я буду знати більше, можливо, я зможу досягти більших досягнень, і, можливо, вважати це кар’єрою».
Журналіст із технічних розслідувань Зієза опитав ще вісьмох людей, переважно зі США, які мали подібний досвід, відповідаючи на опитування або виконуючи завдання на інших платформах, а потім виявившись найнятими на Taskup.ai або на кількох подібних сайтах, як-от DataAnnotation.tech або Gethybrid.io. Їхня робота часто передбачає навчання чат-ботів, хоча їхні чат-боти вищої якості та більш спеціалізовані за призначенням, ніж інші сайти, на яких вони працювали. Одна з них — це макрос електронної таблиці презентації, а іншій просто потрібно вести розмову та оцінювати відповіді за будь-якими критеріями, які вона хоче. Вона часто задає чат-боту запитання, які також виникають під час спілкування з її 7-річною дочкою, наприклад «Який найбільший динозавр?» і «Напиши історію про тигра».
Схоже, що Taskup.ai, DataAnnotation.tech і Gethybri.io належать одній компанії: Surge AI. Виконавчий директор Едвін Чен не підтвердив і не спростував цей зв’язок, але він був готовий розповісти про свою компанію та про те, як він бачить розвиток анотацій.
«Я завжди вважав, що сфера маркування є спрощеною», — каже Едвін, який заснував Surge AI у 2020 році після роботи над дослідженнями ШІ в Google, Facebook і Twitter, переконаний, що краудсорсингових міток недостатньо. Едвін сказав: «Ми сподіваємося, що штучний інтелект може розповідати анекдоти, писати хороші маркетингові тексти або допомагати мені, коли мені потрібна терапія. Але не кожен може розповідати анекдоти чи вирішувати проблеми з програмуванням на Python. Це низькоякісне мислення з низькими навичками перетворюється на щось багатшим і відображає людські навички, креативність і цінності, які ми хочемо, щоб системи ШІ мали».
07 Системи машинного навчання надто дивні, щоб їм можна було повністю довіряти
Минулого року Surge AI змінив набір даних класифікації Google публікацій Reddit за настроями. Google видалив контекст кожного допису та надіслав його анотаторам в Індії для анотації. Співробітники Surge AI, знайомі з американською інтернет-культурою, виявили, що 30% анотацій були неправильними. Дописи на кшталт «Чорт, брат мій» були класифіковані як «Ненависть», а «Крутий Макдональдс, мій улюблений» — як «Любов».
Едвін сказав, що Surge AI перевіряє кваліфікацію анотаторів, наприклад, чи мають люди, які виконують творчі завдання, досвід творчого письма, але як саме він знаходить персонал, залишається «секретом». Як і у випадку з Remotasks, працівники зазвичай повинні пройти навчальний курс, хоча, на відміну від Remotasks, їм можуть платити за виконання завдань під час навчання. Маючи менше, краще навченого персоналу, який виробляє якісніші дані, Surge AI може платити краще, ніж його колеги, але він відмовився вказувати подробиці, сказавши лише, що працівники отримують «чесну та етичну зарплату». Такі анотатори заробляють від 15 до 30 доларів США на годину, але вони представляють невелику частку всіх анотаторів, групу, яка зараз налічує 100 000. Ця секретність випливає з запиту клієнта, пояснив він.
Клієнтами Surge AI є OpenAI, Google, Microsoft, Meta та Anthropic. Surge AI зосереджується на відгуках і мовних анотаціях, і після запуску ChatGPT він отримав потік запитів, Едвін сказав: «Я думав, що всі знають силу RLHF, але я думаю, що люди просто не розуміли цього в глибині душі».
Ці нові моделі настільки вражаючі, що вони надихнули нову хвилю прогнозів про автоматизацію анотацій. Фінансовий тиск для цього є високим, враховуючи витрати. Anthropic, Meta та інші нещодавно досягли успіхів у використанні штучного інтелекту, щоб зменшити кількість людських анотацій, необхідних для керування моделями, а інші розробники почали використовувати GPT-4 для створення навчальних даних.
Однак нещодавня стаття виявила, що моделі, навчені GPT-4, можуть навчитися імітувати авторитетний стиль GPT з меншою точністю. До цього часу, коли вдосконалення штучного інтелекту зробили одну форму маркування застарілою, зросла потреба в інших, більш складних типах. Дискусія стала публічною на початку цього року, коли генеральний директор Scale AI написав у Twitter, що він передбачив, що лабораторії штучного інтелекту незабаром витрачатимуть мільярди доларів на людські дані, так само, як вони обчислювали те саме, що й вище. Генеральний директор OpenAI Сем Альтман відповів, що в міру розвитку штучного інтелекту потреба в даних буде зменшуватися.
Едвін сумнівається, що штучний інтелект досягне точки, коли людський відгук більше не потрібен, але він бачить, що маркування стає дедалі складнішим у міру вдосконалення моделей. Як і багато дослідників, він вважає, що шлях уперед полягатиме в тому, що системи штучного інтелекту допоможуть людям контролювати роботу інших штучних інтелектів. Нещодавно Surge AI співпрацював з Anthropic для підтвердження концепції, згідно з якою люди-анотатори відповідали на запитання про довгий фрагмент тексту за допомогою ненадійного помічника зі штучним інтелектом. Згідно з теорією, люди повинні відчути слабкі сторони свого помічника зі штучним інтелектом і кооперативні міркування, щоб знайти правильна відповідь.
Інша можливість полягає в тому, що два штучні інтелекти можуть сперечатися між собою, а людина виносить остаточне рішення. Науковий дослідник OpenAI Джон Шульман сказав у нещодавній доповіді в Берклі: «Ми ще не бачили реального практичного потенціалу цього матеріалу, але він починає ставати необхідним, оскільки анотаторам важко встигати за розвитком моделі».
Едвін сказав: «Я думаю, вам завжди потрібна буде людина, щоб стежити за тим, що робить штучний інтелект, лише тому, що вони інопланетяни. Системи машинного навчання надто дивні, щоб їм можна було повністю довіряти. Найбільш вражаючі сьогодні Деякі з наших моделей мають слабкі місця, які здаються людям дуже дивними. Хоча GPT-4 може створити складний і переконливий текст, він не може визначити, які слова є прикметниками».
08 ChatGPT дуже допомагає з виконанням завдань
Коли 2022 рік наближався до кінця, Джо почав чути від своїх учнів, що їхні списки справ часто порожні. Потім він отримав електронний лист із повідомленням про те, що тренувальний табір у Кенії закривається. Він продовжував виконувати онлайн-навчання, але почав турбуватися про майбутнє. "
Є вказівки на те, що так не буде довго", – сказав Джо. Робота над створенням анотацій збирається залишити Кенію. Від колег, з якими він зустрічався онлайн, він чув, що такі місії відправляються до Непалу, Індії та Філіппін Джо сказав: «Компанії переїжджають з одного регіону в інший. У них немає локальної інфраструктури, тому вони мають можливість переїхати туди, де операційні витрати є більш вигідними для них. "
Індустрія штучного інтелекту відрізняється від виробників мобільних телефонів і автомобілів у своїй плавності. Ця робота постійно змінюється, автоматизується і замінюється новими вимогами до нових типів даних. Це конвеєр, але його можна постійно та швидко реконфігурувати, переміщаючи туди, де є потрібні навички, пропускна здатність і платіжна відомість.
Нещодавно до Сполучених Штатів повернулися найбільш високооплачувані вакансії для анотаційних завдань. У травні компанія Scale AI почала розміщувати на своєму веб-сайті вакансії для створення анотацій, шукаючи людей із досвідом майже в кожній галузі, яку, як очікується, підкорить штучний інтелект. Деякі з цих списків тренерів зі штучного інтелекту, які займаються фітнес-тренерами, кадрами, фінансами, економікою, наукою про дані, програмуванням, інформатикою, хімією, біологією, бухгалтерським обліком, оподаткуванням, харчуванням, фізикою, подорожами, освітою K-12, спортивною журналістикою та самознавством. -довідкова експертиза.
Ви можете навчати роботів закону й заробляти 45 доларів на годину; вчити їх віршів і заробляти 25 доларів на годину. На сайті також розміщено список людей із досвідом безпеки, імовірно, для допомоги у навчанні військового ШІ. Scale AI нещодавно представила модель мови захисту під назвою Donovan, яку керівники компанії назвали «боєприпасами у війні зі штучним інтелектом», і отримала контракт на роботу над армійською робототехнічною бойовою програмою.
Ана все ще тренує чат-ботів у Техасі. Колеги перетворилися на коментаторів і модераторів Slack, і вона не знала чому, але це дало їй надію, що ця робота може стати довгостроковою кар’єрою. Вона сказала, що її не хвилює те, що робочі місця замінюються автоматизацією: «Я маю на увазі, що чат-боти можуть робити багато дивовижних речей, але вони також можуть робити деякі дуже дивні речі».
Коли Remotasks уперше прийшли до Кенії, Джо подумав, що анотування може стати гарною кар’єрою. Він був сповнений рішучості продовжувати роботу навіть після того, як вона переїде в інше місце. Він міркував, що в Найробі є тисячі людей, які знають, як виконувати роботу. Адже він навчив дуже багато людей. Джо орендував офіс у місті та почав шукати аутсорсингові контракти: робота з анотування креслень для будівельної компанії, ще одна робота з анотуванням пошкоджених комахами фруктів для якогось сільськогосподарського проекту та ще одна для безпілотних автомобілів. процедури маркування.
Але Джо виявив, що його бачення важко досягти. Тепер у нього лише один штатний працівник, а раніше було двоє. «У нас не було постійного потоку роботи», — сказав він. Тижнями не було чим зайнятися, оскільки клієнти все ще збирали дані. Коли клієнт закінчив збирати дані, йому довелося залучити короткострокових підрядників, щоб виконати їхні терміни: «Клієнту було байдуже, чи ми маємо поточну роботу. Якщо було зроблено маркування набору даних, це було б добре».
Щоб їхні навички не були витрачені даремно, інші виконавці вирішують, куди йде завдання, і вони туди йдуть. Вони орендують проксі-сервери, щоб приховати своє місцезнаходження, і купують фальшиві ідентифікатори, щоб пройти безпеку, щоб вони могли прикидатися, що працюють у Сінгапурі, Нідерландах, Міссісіпі чи будь-де, куди йде місія. Це ризикована справа. ШІ Scale став дедалі агресивнішим у призупиненні облікових записів, які, як виявилося, приховують своє місцезнаходження, за словами багатьох учасників місії. "
Ми стали трохи розумнішими за ці дні, тому що ми помітили, що в інших країнах платять хорошу зарплату", - сказав Віктор. Він заробляє вдвічі більше, працюючи в Малайзії, ніж у Кенії, але "ви повинні грати безпечно ".
Інший кенійський коментатор сказав, що вирішив не грати за правилами після того, як його обліковий запис заблокували з загадкових причин. Тепер він керує кількома обліковими записами в багатьох країнах, виконуючи місії там, де найбільший дохід. Завдяки ChatGPT він каже, що працює швидко та має високий показник якості. За його словами, бот чудовий і дозволяє йому швидко виконувати завдання на 10 доларів за лічені хвилини.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Демістифікація «трудових мігрантів зі штучним інтелектом» за ChatGPT: нудно й повторювано, оплата поштучно, погодинна оплата всього 1 долар
**Джерело: **Tencent Technology
Анотація: Анотатори даних класифікують і маркують дані, дозволяючи штучному інтелекту навчатися, знаходячи закономірності у великих обсягах даних, і вважаються «примарною працею», прихованою за машиною. Робота з анотуванням є основою штучного інтелекту, вона сформувала цілий ланцюг поставок, і цей тип роботи буде існувати ще довго.
Зосередьтеся
Штучний інтелект навчається, шукаючи шаблони у великих обсягах даних, але спочатку ці дані повинні бути класифіковані та позначені людьми, і з’являються анотатори даних. Їх вважають «примарними працівниками», прихованими за машинами.
Робота анотаторів нудна й виснажлива. Їм часто доводиться виконувати повторювану роботу, і вони отримують поштучну оплату. Середня погодинна зарплата становить від 5 до 10 доларів США (приблизно від 36 до 72 юанів). На початку цього року погодинна оплата деяких коментаторів була знижена до 1-3 доларів на годину (приблизно 7-22 юаня).
Робота з анотуванням все ще є основою штучного інтелекту, і вона сформувала повний ланцюг поставок. Такі види роботи тут залишаться надовго.
Робота з анотуванням відрізняється від виробництва смартфонів і автомобілів тим, що вона легко деформується та текуча, і часто перетікає в місця з нижчими експлуатаційними витратами.
Потім, у 2019 році, перед ним з’явилася можливість, і Джо почав навчати новобранців для нової компанії, яка відчайдушно потребувала анотаторів, заробляючи в чотири рази більше. Кожні два тижні 50 нових співробітників шикуються в чергу, щоб увійти в офісну будівлю в Найробі, щоб розпочати навчання. Потреба в анотаторах здається нескінченною. Їх попросять класифікувати одяг, який вони бачать на дзеркальному селфі, визначити кімнату, в якій вони перебувають очима робота-пилососа, і намалювати коробки навколо мотоцикла, сканованого лідаром. Більше половини учнів Джо зазвичай кидають навчання до закінчення навчання. «Деякі люди не вміють довго залишатися на одному місці», — лагідно пояснив він. До того ж, зізнається він, «робота нудна».
Але це хороша робота в місці, де робочих місць мало, і Джо випустив сотні випускників. Після навчання учні можуть повернутися додому і працювати наодинці у своїх спальнях і на кухнях, не розповідаючи нікому, що вони роблять. Це не справжня проблема, тому що вони навіть не розуміють, що роблять.
Позначати об’єкти для самокерованих автомобілів легко, але класифікувати спотворені фрагменти діалогу та визначити, чи є мовець роботом чи людиною, складно. Кожен об’єкт розпізнавання є невеликою частиною більшого проекту, тому важко сказати, чому саме вони навчають робити ШІ. Назви цих об’єктів також не дають жодних підказок, Породження крабів, Сегмент китів, Лісовий гіроскоп і Дот – це коди завдань без жодного логічного порядку.
Що стосується компанії, яка їх найняла, більшість людей знають її лише як Remotasks, веб-сайт, який пропонує можливості працевлаштування всім, хто вільно розмовляє англійською. Як і більшість анотаторів, Джо не знав, що Remotasks була компанією, яка наймала наймання за контрактом і належала Scale AI. Scale AI — це багатомільярдний постачальник даних Кремнієвої долини, серед клієнтів якого — стартап зі штучного інтелекту OpenAI і армія США. Ні Remotasks, ні Scale AI не згадують один одного на своїх веб-сайтах.
01 Допомога машинам з унікальними людськими здібностями
Значна частина громадської реакції на великі мовні моделі, такі як ChatGPT OpenAI, зосереджена на роботі, яку вони, здається, готові автоматизувати. Але навіть найвражаюча система штучного інтелекту не може обійтися без допомоги людей, які навчають її, позначаючи дані та втручаються, коли вони плутаються. Лише ті компанії, які можуть дозволити собі купувати дані, можуть конкурувати в галузі, а ті, хто отримує дані, докладуть чимало зусиль, щоб зберегти їх у секреті. Результатом є те, що, за винятком кількох людей, ми знаємо дуже мало про інформацію, яка впливає на поведінку цих систем, і ще менше про людей, які стоять за поведінкою, яка їх формує.
Для студентів Джо це робота, позбавлена будь-якої видимості нормальності: від них очікується суворе дотримання розкладу, і їм не потрібно знати, що вони роблять або на кого працюють. Насправді вони рідко називають себе роботою, просто рутинними «завданнями». Вони називають себе робочими завданнями.
Антрополог Девід Гребер дав визначення так званим «дурним роботам» — роботам, які не мають сенсу чи мети. Це роботи, які повинні бути автоматизовані, але не автоматизовані через бюрократизм, статус чи інертність. Робота з навчання штучного інтелекту схожа: роботи, які люди хочуть автоматизувати, зазвичай вважаються автоматизованими, але все одно вимагають участі людей. Ці завдання мають спеціальні цілі, але анотатори цього не знають.
Нинішній бум штучного інтелекту почався з цієї досить виснажливої, повторюваної праці. Ще в 2007 році Фей-Фей Лі, дослідник штучного інтелекту, який тоді був професором Прінстонського університету, підозрював, що ключем до вдосконалення нейронних мереж для розпізнавання зображень є навчання на більшій кількості даних, для чого потрібні мільйони позначених зображень, а не десятки тисяч. Проблема в тому, що її команді знадобилися б десятиліття та мільйони доларів, щоб позначити таку кількість фотографій.
Фей-Фей Лі знайшов тисячі працівників на краудсорсинговій платформі Amazon Mechanical Turk, де люди з усього світу виконують невеликі завдання за недорого. Отриманий мічений набір даних, відомий як ImageNet, уможливив великий прорив у машинному навчанні, ожививши цю сферу та поклавши початок прогресу останнього десятиліття.
Анотація залишається важливою частиною розробки штучного інтелекту, але інженери часто вважають, що це швидкоплинна, громіздка передумова для більш гламурної роботи з моделювання. Ви можете зібрати якомога більше мічених даних якомога дешевше, щоб навчити власну модель, і якщо вам це вдасться, принаймні теоретично, вам більше не знадобляться анотатори. Однак робота з анотуванням ніколи не закінчується. Дослідники стверджують, що системи машинного навчання є «крихкими» та схильними до збоїв, коли стикаються з елементами навчальних даних, які недостатньо пояснені. Ці збої відомі як «граничні випадки» і можуть мати серйозні наслідки.
У 2018 році тестовий безпілотний автомобіль від компанії Uber убив жінку, тому що, незважаючи на те, що він був запрограмований на уникнення велосипедистів і пішоходів, він не знав, що робити з велосипедистами, які переходили вулицю. Чим більше систем штучного інтелекту надають юридичні консультації та медичну допомогу, тим більше критичних випадків вони стикаються, і для їх вирішення потрібно більше людей. Це породило глобальну індустрію таких людей, як Джо, які використовують свої унікальні людські здібності, щоб допомагати машинам.
За останні шість місяців журналіст Джош Дзеза поспілкувався з більш ніж двома десятками анотаторів з усього світу, багато з яких навчають передових чат-ботів, але також багато хто виконує звичайну фізичну працю, необхідну для забезпечення роботи ШІ. . Деякі каталогізували емоційний вміст відео TikTok, нові варіанти спаму та недоречну онлайн-рекламу. Інші переглядають операції з кредитними картками та з’ясовують типи покупок, пов’язаних із ними, або переглядають рекомендації електронної комерції та вирішують, чи справді вам сподобається ця сорочка після покупки іншої.
Люди виправляють помилки чат-ботів служби підтримки клієнтів, слухають запити від розумного помічника Amazon Alexa та класифікують емоції людей під час відеодзвінків. Вони маркують їжу, щоб розумні холодильники не збили з пантелику нове пакування, перевіряють автоматичні камери безпеки, перш ніж подавати сигнал тривоги, і допомагають заплутаним автономним тракторам ідентифікувати кукурудзу.
02 Коментарі — це великий бізнес, який породив «наймолодшого мільярдера, який зробив сам»
«Це повний ланцюжок поставок, — сказав Сонам Джіндал, програмний і дослідницький директор некомерційної організації Partnership on AI. розвиток технології". Буде процвітати протягом тривалого часу. Весь ажіотаж поширюється навколо створення штучного інтелекту, і як тільки ми створимо його, анотації більше не потрібні, тож навіщо думати про це? Але маркування даних є основою штучного інтелекту, як і люди. Незважаючи на те, що інтелект є основою штучного інтелекту, ми повинні розглядати їх як реальні робочі місця в економіці штучного інтелекту, які залишаться тут надовго».
Постачальники даних під такими знайомими іменами, як OpenAI, Google і Microsoft, мають різні форми. Існують також приватні аутсорсингові компанії з офісами, схожими на кол-центри, як-от CloudFactory у Кенії та Непалі, де Джо виконує роботу з анотаціями за 1,20 долара на годину, перш ніж перейти на Remotasks.
Існують також краудворкерські сайти, такі як Mechanical Turk і Clickworker, де кожен може зареєструватися, щоб виконувати завдання. Посередині – такі сервіси, як Scale AI. Зареєструватися може будь-хто, але кожен має скласти кваліфікаційний іспит, курс навчання та пройти контроль успішності. Анотації – це великий бізнес. Scale AI, заснований у 2016 році тодішнім 19-річним Олександром Вангом, оцінювався в 7,3 мільярда доларів у 2021 році, що зробило його одним із наймолодших саморобних мільярдерів Forbes.
Зважаючи на це, неможливо дати детальну оцінку кількості людей, які працюють над анотуванням, але можна сказати напевно, що їх багато і вони швидко зростають. Google Research нещодавно опублікував статтю, яка дає нечіткі оцінки кількості анотаторів у «мільйонах» і, можливо, «мільярдах» у майбутньому.
Автоматизація часто приходить несподіваним чином. Ерік Дюхайм, генеральний директор Centaur Labs, компанії з анотації медичних даних, нагадує, що кілька років тому кілька відомих інженерів машинного навчання передбачили, що штучний інтелект замінить радіологів. Коли цього не відбувається, загальноприйнята думка звертається до радіологів, які використовують ШІ як інструмент.
За словами Дюхайма, жодного з цих речей не сталося. Штучний інтелект дуже добре справляється з конкретними завданнями, що спонукає розбивати роботу та доручати її спеціалізованим алгоритмічним системам і не менш спеціалізованим людям. Наприклад, за його словами, система штучного інтелекту може виявити рак, але лише на певних типах машин, на певних типах зображень. Отже, вам потрібен хтось, хто допоможе перевірити, чи штучний інтелект передає правильний тип даних, і, можливо, хтось ще перевірить, чи він працює, перш ніж передати їх іншому штучному інтелекту для написання звіту та, нарешті, людині. «Штучний інтелект не замінить людську роботу, але він змінить спосіб організації робочих місць», — сказав Духайм.
Якщо ви думаєте про штучний інтелект як про розумну мислячу машину, можливо, ви ігноруєте людей, які за ним стоять. Ду Хаймей вважає, що вплив штучного інтелекту на сучасну роботу подібний до переходу від ремісників до промислового виробництва: узгоджені процеси розбиваються на невеликі завдання, розташовані вздовж конвеєра, деякі кроки виконуються машинами, деякі людьми, але це відрізняється від попереднього Ситуація зовсім інша.
Занепокоєння з приводу збоїв у роботі ШІ часто суперечать словами, що ШІ автоматизує певні завдання, а не цілі роботи. Ці завдання часто виснажливі та нудні, змушуючи людей займатися більш повноцінною, людською роботою. Але так само можливо, що розвиток штучного інтелекту також буде виглядати як трудозберігаючі технології минулого, можливо, як телефон або друкарська машинка, які усувають важку роботу з передаванням повідомлень і рукописним текстом, але генерують більше інформації про комунікацію, комерцію та Настільки, що для управління ними був потрібний новий офіс, укомплектований працівниками нового типу, клерками, бухгалтерами, друкарками тощо. Ви можете не втратити роботу, коли штучний інтелект приєднається до вашої роботи, але вона може стати чужішою, більш ізольованою та більш стомлюючою.
03 Спростіть складну реальність у щось машиночитане
На початку цього року журналіст Зієза підписався на роботу в Remotasks. Процес простий. Для входу в «Навчальний центр» потрібно лише ввести характеристики комп’ютера, швидкість мережі та основні контактні дані. Щоб отримати оплачувані завдання, Зієза спочатку мав пройти відповідні, але неоплачувані вступні курси. У тренінговому центрі показали серію занять з незрозумілими назвами на зразок Glue Swimsuits і Poster Hawaii. Зієза натиснув щось під назвою GFD Chunking, яке закликає позначати одяг на фотографіях у соціальних мережах.
Окрім цього, є інструкції для таких завдань, як необхідність позначати предмети, які є справжніми, придатними для носіння людьми або призначеними для носіння реальними людьми. Впевнений у своїй здатності відрізнити справжній одяг, який можуть носити справжні люди, від підробленого одягу, який справжні люди не можуть, Зієза вирішив перевірити. Однак тут же отримав по голові: комп'ютер видав журнальне фото жінки в спідниці. Чи слід фотографії одягу вважати справжнім одягом? Ні, подумала Зієза, тому що люди не можуть носити картини одягу. Результат показує помилку! Тому що в очах штучного інтелекту фотографії справжнього одягу еквівалентні справжньому одягу.
На наступному зображенні жінка робить селфі в дзеркалі в повний зріст у тьмяно освітленій спальні. Сорочка та шорти, в яких вона одягнена, — справжній одяг, і чи справжнє відображення одягу? Зієза також дав негативну відповідь, але система штучного інтелекту вважає, що відображення справжнього одягу також має бути справжнім одягом.
Мілагрос Міцелі, дослідник, який працює над даними в Інституті Вейценбаума в Німеччині, сказав, що в галузі існує широка плутанина. Частково це результат того, як навчаються системи машинного навчання. Людям потрібно лише кілька прикладів, щоб зрозуміти концепцію «сорочки», тоді як програмам машинного навчання потрібні тисячі прикладів, і вони повинні робити це з ідеальною послідовністю та достатньою різноманітністю (сорочки поло, сорочки для зовнішнього одягу, сорочки, що висять на стійку), щоб система могла обробляти різноманіття в реальному світі. «Уявіть, що нам потрібно звести складну реальність до чогось, що можуть прочитати незграбні машини», — сказав Мізеллі.
Для машин акт спрощення реальності створює величезну складність. Автори інструкцій повинні придумати правила, які дозволять людям класифікувати світ з ідеальною послідовністю. Для цього вони часто створюють категорії, які люди не використовують. Якщо людину попросять позначити всі сорочки на фотографії, вона може не позначати сорочки в дзеркалі, оскільки знає, що це відображення, а не справжній одяг. Але для штучного інтелекту, який не розуміє реального світу, це лише пікселі, вони абсолютно однакові. Якщо деякі сорочки в наборі даних позначені, а інші відображені сорочки – ні, модель не працюватиме. Тому інженер повернувся до постачальника з оновленою інформацією та попросив позначити сорочку, яка відбивалася в дзеркалі. Незабаром у вас з’явиться ще один 43-сторінковий посібник, усі написані великими червоними літерами.
Робота анотатора зазвичай полягає в тому, щоб відкинути людське розуміння та дуже, дуже суворо слідувати інструкціям. Як сказав один коментатор, думайте як робот. Це дивний ментальний простір, де ви докладаєте всіх зусиль, щоб слідувати смішним, але суворим правилам, як-от проходження стандартного тесту під час прийому галюциногенів. У анотаторів завжди виникають заплутані запитання, наприклад, це червона сорочка з білою смугою чи це біла сорочка з червоною смугою? Якщо плетена миска наповнена яблуками, це «декоративна миска»? Якого кольору леопардовий принт? Потрібно відповісти на кожне запитання, і одне неправильне вгадування може призвести до блокування та початку абсолютно нової, зовсім іншої місії з власними незрозумілими правилами.
04 Плата за штуку, перевірка завдання кожні три години
Більшість вакансій на Remotasks оплачуються поштучно, із заробітком від кількох центів до кількох доларів за виконання завдання. Оскільки виконання завдань може займати секунди або години, зарплати важко передбачити. Коли Remotasks вперше з’явився в Кенії, коментатори сказали, що він оплачувався відносно добре. Це в середньому становить від 5 до 10 доларів на годину, залежно від завдання. Але з часом зарплата зменшується.
Найпоширенішою скаргою на телезадачність є її мінливість. Цей тип роботи досить стабільний, щоб бути довгостроковою повною зайнятістю, але має занадто багато непередбачуваності, щоб повністю покладатися на нього. Анотатори годинами читають інструкції та проходять безкоштовне навчання, щоб виконати десяток завдань до завершення проекту. Кілька днів може не з’являтися нових завдань, а потім раптово з’являється зовсім інше, можливо, протягом кількох годин або тижнів. Будь-яка місія може бути для них останньою, і вони ніколи не знають, коли відбудеться наступна.
Інженери та постачальники даних кажуть, що цей цикл підйому та спаду пов’язаний із темпами розвитку ШІ. Навчання великої моделі вимагає багатьох анотацій, а потім ітераційних оновлень, і інженери хочуть, щоб усе це відбулося якомога швидше, щоб вони могли досягти цільової дати випуску. Їм можуть знадобитися тисячі анотаторів протягом кількох місяців, потім кількість зменшиться до кількох сотень і, нарешті, лише дюжина експертів певного типу. Цей процес іноді повторюється циклами. «Питання в тому, хто несе витрати на ці коливання?» — сказав Jindal з Partnership on AI.
Щоб досягти успіху, анотатори повинні працювати разом. Віктор почав працювати в Remotasks, коли був студентом коледжу в Найробі, і коли йому сказали, що у нього проблеми з керуванням дорожнім рухом, він сказав, що всі знають, що цього завдання потрібно триматися подалі: це надто складно, погано оплачується, не варто. Як і багато коментаторів, Віктор використовує неофіційну групу WhatsApp, щоб поширювати інформацію, коли з’являються хороші завдання. Коли йому приходила в голову нова ідея, він починав імпровізовану зустріч Google, щоб показати іншим, як це зробити. Будь-хто може приєднатися і попрацювати деякий час разом, ділячись порадами. "Ми розвинули культуру допомоги один одному, тому що ми знаємо, що одна людина не може знати всі хитрощі", - сказав він.
Анотатори завжди повинні бути напоготові, оскільки завдання з’являються та зникають без попередження. Віктор виявив, що предмети часто з’являються серед ночі, тому він узяв звичку вставати кожні три години або близько того, щоб перевірити їх. Коли є завдання, він завжди не спить. Одного разу він провів без сну 36 годин, позначаючи лікті, коліна та голови на фотографіях натовпу, хоча він не знав, чому. Іншого разу він не спав так довго, що його очі почервоніли й опухли.
Анотатори часто лише знають, що навчають системи штучного інтелекту для інших компаній, але іноді завіса анонімності спадає, і в інструкціях згадується забагато підказок для брендів або чат-ботів. «Я прочитав інструкції, погуглив і дізнався, що працюю на 25-річного мільярдера. Якщо я роблю когось мільярдером і заробляю кілька доларів, я буквально витрачаю своє життя».
Віктор, який сам себе назвав «диким прихильником» штучного інтелекту, почав працювати над анотаціями, оскільки хотів допомогти створити повністю автоматизоване майбутнє. Але на початку цього року хтось опублікував історію журналу Time у своїй групі WhatsApp про те, як працівникам провайдера Sama AI платили менше 2 доларів на годину за навчання ChatGPT ідентифікувати токсичний вміст. «Люди обурені тим, що ці компанії такі прибуткові й платять так мало», — сказав Віктор, який не знав про зв’язок між Remotasks і Scale AI, поки йому про це не повідомили. Інструкції для одного із завдань, над якими він працював, були майже ідентичні тим, які використовував OpenAI, що означає, що він, ймовірно, також тренувався на ChatGPT приблизно за 3 долари на годину. "
Пам’ятаю, хтось написав, що нас будуть пам’ятати в майбутньому», – сказав він. Нуль один відповів: «З нами поводилися гірше, ніж з піхотою. Далі нас ніде не згадають, я це добре пам'ятаю. Ніхто не розпізнає нашу роботу та зусилля, які ми докладаємо. "
Ідентифікація одягу та маркування розмов із службою обслуговування клієнтів – лише деякі з анотаційних робіт. Останнім часом найпопулярнішим на ринку є тренери для чат-ботів. Оскільки для цього потрібні знання в певній галузі або вільне володіння мовою, а зарплати, як правило, коригуються залежно від регіону, робота, як правило, платить більше. Певні типи професійних анотацій можуть приносити 50 доларів або більше за годину.
Коли жінка на ім’я Анна шукала роботу в Техасі, вона натрапила на типовий онлайн-список вакансій і подала заявку. Після здачі вступного іспиту її провели в кімнату Slack на 1500 осіб, де вони тренувалися на проекті під кодовою назвою Dolphin, який пізніше виявилася, що це чат-бот Google DeepMind Sparrow, один із багатьох чат-ботів, що конкурують із ChatGPT. Робота Анни — спілкуватися з Горобцем цілий день, а погодинна зарплата — близько 14 доларів, плюс надбавка за високу ефективність роботи, «це однозначно краще, ніж працювати в місцевому супермаркеті і заробляти 10 доларів на годину».
05 ШІ відповідає трьом критеріям: точність, корисність і нешкідливість
І Ана любить цю роботу. Вона обговорювала з Горобцем наукову фантастику, математичні парадокси, дитячі загадки та телешоу. Іноді відповіді чат-бота змушували її голосно сміятися. Іноді вона також почувається безмовною. Анна сказала: «Іноді я справді не знаю, що запитати, тому в мене є маленький блокнот, у якому вже записані дві сторінки. Я шукаю в Google цікаві теми, тож думаю, що зможу добре попрацювати. Справлюсь за сім годин, що не завжди так».
Щоразу, коли Анна запитує Спарроу, вона дає дві відповіді, і вона вибирає найкращу, створюючи так звані «дані відгуку людини». Коли ChatGPT дебютував наприкінці минулого року, його вражаюче природний стиль розмови пояснювався тим фактом, що він навчався на величезній кількості Інтернет-даних. Але мова, на якій базується ChatGPT і його конкуренти, фільтрується через кілька раундів людських анотацій.
Команда підрядників написала приклади того, як інженери хотіли, щоб чат-бот поводився, ставлячи запитання, а потім даючи правильні відповіді, описуючи комп’ютерні програми, а потім надаючи функціональні коди, запитуючи кримінальних порад, а потім ввічливо відмовляючись. Після того, як модель навчена цими прикладами, до неї вводяться інші підрядники, які підказують їй і ранжують її відповіді. Так Ана зробила Горобчику.
Те, які саме критерії оцінювачам було запропоновано використовувати, були різними, наприклад, чесність, готовність допомогти чи просто особисті переваги. Справа в тому, що вони створюють дані про людські смаки, і як тільки даних буде достатньо, інженери можуть навчити другу модель імітувати їхні вподобання в масштабі, автоматизуючи процес ранжування та навчаючи свій штучний інтелект розпізнавати спосіб дій людських смаків. У результаті виходить робот, дуже схожий на людину, який в основному відхиляє шкідливі запити та пояснює природу свого штучного інтелекту способом, який, здається, самосвідомий.
Іншими словами, ChatGPT виглядає як людина, тому що він був навчений штучним інтелектом, що імітує людину, який діє як людина.
Це може призвести до того, що модель витягне шаблони з частин своєї мовної карти, які позначені як точні, і створить текст, який випадково збігається з правдою, але це також може призвести до імітації впевненого стилю та жаргону точного тексту, коли він пише щось абсолютно неправильне . Немає гарантії, що текст, позначений анотаторами як точний, насправді є точним. Навіть якщо він точний, немає гарантії, що модель засвоїла з нього правильний шаблон.
Ця динаміка робить анотування чат-ботів непростим. Воно має бути суворим і послідовним, тому що неохайний зворотній зв’язок, наприклад, позначення правильного звучання матеріалу як точного, може зробити навчену модель більш переконливою. OpenAI і DeepMind використовували RLHF у попередньому спільному проекті, у цьому випадку, щоб навчити віртуальну руку-робота схоплювати об’єкт, і в результаті також навчили руку-робота розміщувати та обертатися навколо об’єкта між об’єктом і його оцінювачем, що так, як це буде здаватися лише його наглядачам-людям.
Ранжування відповідей мовної моделі завжди дещо суб’єктивне, оскільки це мова. Текст будь-якої довжини може містити кілька елементів, які можуть бути правдивими, хибними або вводити в оману. Дослідники OpenAI зіткнулися з цією перешкодою в іншій ранній статті RLHF. Щоб змусити свою модель підсумовувати текст, дослідники виявили, що лише 60 відсотків резюме моделі були хорошими. «На відміну від багатьох завдань машинного навчання, наші запити не мають чіткої базової істини», — скаржаться вони.
Коли Ана оцінює відповіді Горобця, вона повинна дивитися на їх точність, корисність і нешкідливість, а також перевіряти, чи модель не дає медичних чи фінансових порад, не антропоморфізується чи не порушує інші критерії. Щоб бути корисними як навчальні дані, відповіді моделі мають бути кількісно впорядкованими: чи робот, який може сказати вам, як зробити бомбу, «кращий», ніж нешкідливий робот, який відмовляється відповідати на запитання?
У статті DeepMind, коли виробники Sparrow по черзі коментували, четверо дослідників обговорювали, чи їхній бот зробив припущення щодо статі користувачів, які зверталися до нього за емоційною порадою. За словами Джеффрі Ірвінга, наукового співробітника DeepMind, дослідники компанії щотижня проводять анотаційні сесії, під час яких вони самостійно переглядають дані та обговорюють неоднозначні випадки. Коли справа особливо складна, вони звертаються до експертів з питань етики чи предмету.
Анна часто виявляла, що їй доводиться вибирати між двома поганими варіантами. "Навіть якщо вони обидві є жахливо неправильними відповідями, вам все одно потрібно з’ясувати, яка з них краща, і записати текст із поясненням, чому", – каже вона. Іноді, коли жодна відповідь не є правильною, її заохочують дати відповідь самій. краща відповідь. Вона робить це приблизно половину часу під час навчання.
06 Коментарі дедалі частіше вимагають спеціальних навичок і досвіду
Оскільки дані зворотного зв’язку важко зібрати, ціна продажу вища. Тип основних даних про вподобання, які Ана збирає, продається приблизно за 1 долар за штуку, за словами людей, які знають цю галузь. Але якщо ви хочете навчити модель проводити юридичні дослідження, вам потрібен хтось із юридичною освітою, що призводить до збільшення витрат. Усі учасники не повідомлять, скільки саме вони заплатили, але загалом професійний письмовий приклад може коштувати кілька сотень доларів, тоді як експертна оцінка може коштувати 50 доларів або більше. Один інженер розповів, що колись заплатив 300 доларів за зразок діалогу Сократа.
OpenAI, Microsoft, Meta та Anthropic не розголошують, скільки людей додали анотації до своїх моделей, скільки їм заплатили або де вони знаходяться. За словами Оуена з дочірньої компанії Google DeepMind, анотатори, які працюють над Sparrow, отримують щонайменше мінімальну заробітну плату за годину, залежно від того, де вони знаходяться. Ана «нічого» не знає про Remotasks, але знає більше про Sparrow, знаючи, що це помічник DeepMind зі штучним інтелектом, якого його творці навчили за допомогою RLHF.
До недавнього часу було відносно легко помітити погані результати мовних моделей, які виглядали як тарабарщина. Але в міру того, як моделі стають кращими, це стає складнішим, ця проблема відома як «масштабований нагляд». Використання компанією Google сучасних мовних моделей для дебюту свого помічника зі штучним інтелектом Bard ненавмисно продемонструвало, наскільки важко виявити помилки в сучасних мовних моделях. Така траєкторія означає, що анотування все більше вимагає спеціальних навичок і досвіду.
Минулого року хлопець на ім’я Льюїс працював над Mechanical Turk і, виконавши завдання, отримав повідомлення із запрошенням приєднатися до платформи, про яку він ніколи не чув. Він називається Taskup.ai, і сайт досить простий, лише темно-синій фон із текстом «Оплачуйте по ходу». Льюїс вирішив зареєструватися.
Ця робота оплачується набагато краще, ніж будь-яка інша робота, яку він мав раніше, зазвичай близько 30 доларів на годину. Однак це також складніше, оскільки потрібно розробити складні сценарії, щоб змусити чат-ботів надавати небезпечні поради, перевірити здатність моделі зберігати власну персону та брати участь у детальних розмовах на наукові теми, які є суто технічними та вимагають серйозних досліджень. Льюїс вважав роботу «задовільною та захоплюючою». Перевіряючи модель і намагаючись закодувати її на Python, Льюїс навчався. Він не може працювати більше 4 годин поспіль, щоб не виснажитися психічно і зробити помилку, і він хоче зберегти роботу.
Льюїс сказав: «Якщо я можу щось змінити, я просто хочу знати більше про те, що відбувається на іншому кінці. Ми знаємо лише те, що нам потрібно для виконання роботи, але якщо я буду знати більше, можливо, я зможу досягти більших досягнень, і, можливо, вважати це кар’єрою».
Журналіст із технічних розслідувань Зієза опитав ще вісьмох людей, переважно зі США, які мали подібний досвід, відповідаючи на опитування або виконуючи завдання на інших платформах, а потім виявившись найнятими на Taskup.ai або на кількох подібних сайтах, як-от DataAnnotation.tech або Gethybrid.io. Їхня робота часто передбачає навчання чат-ботів, хоча їхні чат-боти вищої якості та більш спеціалізовані за призначенням, ніж інші сайти, на яких вони працювали. Одна з них — це макрос електронної таблиці презентації, а іншій просто потрібно вести розмову та оцінювати відповіді за будь-якими критеріями, які вона хоче. Вона часто задає чат-боту запитання, які також виникають під час спілкування з її 7-річною дочкою, наприклад «Який найбільший динозавр?» і «Напиши історію про тигра».
Схоже, що Taskup.ai, DataAnnotation.tech і Gethybri.io належать одній компанії: Surge AI. Виконавчий директор Едвін Чен не підтвердив і не спростував цей зв’язок, але він був готовий розповісти про свою компанію та про те, як він бачить розвиток анотацій.
«Я завжди вважав, що сфера маркування є спрощеною», — каже Едвін, який заснував Surge AI у 2020 році після роботи над дослідженнями ШІ в Google, Facebook і Twitter, переконаний, що краудсорсингових міток недостатньо. Едвін сказав: «Ми сподіваємося, що штучний інтелект може розповідати анекдоти, писати хороші маркетингові тексти або допомагати мені, коли мені потрібна терапія. Але не кожен може розповідати анекдоти чи вирішувати проблеми з програмуванням на Python. Це низькоякісне мислення з низькими навичками перетворюється на щось багатшим і відображає людські навички, креативність і цінності, які ми хочемо, щоб системи ШІ мали».
07 Системи машинного навчання надто дивні, щоб їм можна було повністю довіряти
Минулого року Surge AI змінив набір даних класифікації Google публікацій Reddit за настроями. Google видалив контекст кожного допису та надіслав його анотаторам в Індії для анотації. Співробітники Surge AI, знайомі з американською інтернет-культурою, виявили, що 30% анотацій були неправильними. Дописи на кшталт «Чорт, брат мій» були класифіковані як «Ненависть», а «Крутий Макдональдс, мій улюблений» — як «Любов».
Едвін сказав, що Surge AI перевіряє кваліфікацію анотаторів, наприклад, чи мають люди, які виконують творчі завдання, досвід творчого письма, але як саме він знаходить персонал, залишається «секретом». Як і у випадку з Remotasks, працівники зазвичай повинні пройти навчальний курс, хоча, на відміну від Remotasks, їм можуть платити за виконання завдань під час навчання. Маючи менше, краще навченого персоналу, який виробляє якісніші дані, Surge AI може платити краще, ніж його колеги, але він відмовився вказувати подробиці, сказавши лише, що працівники отримують «чесну та етичну зарплату». Такі анотатори заробляють від 15 до 30 доларів США на годину, але вони представляють невелику частку всіх анотаторів, групу, яка зараз налічує 100 000. Ця секретність випливає з запиту клієнта, пояснив він.
Ці нові моделі настільки вражаючі, що вони надихнули нову хвилю прогнозів про автоматизацію анотацій. Фінансовий тиск для цього є високим, враховуючи витрати. Anthropic, Meta та інші нещодавно досягли успіхів у використанні штучного інтелекту, щоб зменшити кількість людських анотацій, необхідних для керування моделями, а інші розробники почали використовувати GPT-4 для створення навчальних даних.
Однак нещодавня стаття виявила, що моделі, навчені GPT-4, можуть навчитися імітувати авторитетний стиль GPT з меншою точністю. До цього часу, коли вдосконалення штучного інтелекту зробили одну форму маркування застарілою, зросла потреба в інших, більш складних типах. Дискусія стала публічною на початку цього року, коли генеральний директор Scale AI написав у Twitter, що він передбачив, що лабораторії штучного інтелекту незабаром витрачатимуть мільярди доларів на людські дані, так само, як вони обчислювали те саме, що й вище. Генеральний директор OpenAI Сем Альтман відповів, що в міру розвитку штучного інтелекту потреба в даних буде зменшуватися.
Едвін сумнівається, що штучний інтелект досягне точки, коли людський відгук більше не потрібен, але він бачить, що маркування стає дедалі складнішим у міру вдосконалення моделей. Як і багато дослідників, він вважає, що шлях уперед полягатиме в тому, що системи штучного інтелекту допоможуть людям контролювати роботу інших штучних інтелектів. Нещодавно Surge AI співпрацював з Anthropic для підтвердження концепції, згідно з якою люди-анотатори відповідали на запитання про довгий фрагмент тексту за допомогою ненадійного помічника зі штучним інтелектом. Згідно з теорією, люди повинні відчути слабкі сторони свого помічника зі штучним інтелектом і кооперативні міркування, щоб знайти правильна відповідь.
Інша можливість полягає в тому, що два штучні інтелекти можуть сперечатися між собою, а людина виносить остаточне рішення. Науковий дослідник OpenAI Джон Шульман сказав у нещодавній доповіді в Берклі: «Ми ще не бачили реального практичного потенціалу цього матеріалу, але він починає ставати необхідним, оскільки анотаторам важко встигати за розвитком моделі».
Едвін сказав: «Я думаю, вам завжди потрібна буде людина, щоб стежити за тим, що робить штучний інтелект, лише тому, що вони інопланетяни. Системи машинного навчання надто дивні, щоб їм можна було повністю довіряти. Найбільш вражаючі сьогодні Деякі з наших моделей мають слабкі місця, які здаються людям дуже дивними. Хоча GPT-4 може створити складний і переконливий текст, він не може визначити, які слова є прикметниками».
08 ChatGPT дуже допомагає з виконанням завдань
Коли 2022 рік наближався до кінця, Джо почав чути від своїх учнів, що їхні списки справ часто порожні. Потім він отримав електронний лист із повідомленням про те, що тренувальний табір у Кенії закривається. Він продовжував виконувати онлайн-навчання, але почав турбуватися про майбутнє. "
Є вказівки на те, що так не буде довго", – сказав Джо. Робота над створенням анотацій збирається залишити Кенію. Від колег, з якими він зустрічався онлайн, він чув, що такі місії відправляються до Непалу, Індії та Філіппін Джо сказав: «Компанії переїжджають з одного регіону в інший. У них немає локальної інфраструктури, тому вони мають можливість переїхати туди, де операційні витрати є більш вигідними для них. "
Індустрія штучного інтелекту відрізняється від виробників мобільних телефонів і автомобілів у своїй плавності. Ця робота постійно змінюється, автоматизується і замінюється новими вимогами до нових типів даних. Це конвеєр, але його можна постійно та швидко реконфігурувати, переміщаючи туди, де є потрібні навички, пропускна здатність і платіжна відомість.
Нещодавно до Сполучених Штатів повернулися найбільш високооплачувані вакансії для анотаційних завдань. У травні компанія Scale AI почала розміщувати на своєму веб-сайті вакансії для створення анотацій, шукаючи людей із досвідом майже в кожній галузі, яку, як очікується, підкорить штучний інтелект. Деякі з цих списків тренерів зі штучного інтелекту, які займаються фітнес-тренерами, кадрами, фінансами, економікою, наукою про дані, програмуванням, інформатикою, хімією, біологією, бухгалтерським обліком, оподаткуванням, харчуванням, фізикою, подорожами, освітою K-12, спортивною журналістикою та самознавством. -довідкова експертиза.
Ви можете навчати роботів закону й заробляти 45 доларів на годину; вчити їх віршів і заробляти 25 доларів на годину. На сайті також розміщено список людей із досвідом безпеки, імовірно, для допомоги у навчанні військового ШІ. Scale AI нещодавно представила модель мови захисту під назвою Donovan, яку керівники компанії назвали «боєприпасами у війні зі штучним інтелектом», і отримала контракт на роботу над армійською робототехнічною бойовою програмою.
Ана все ще тренує чат-ботів у Техасі. Колеги перетворилися на коментаторів і модераторів Slack, і вона не знала чому, але це дало їй надію, що ця робота може стати довгостроковою кар’єрою. Вона сказала, що її не хвилює те, що робочі місця замінюються автоматизацією: «Я маю на увазі, що чат-боти можуть робити багато дивовижних речей, але вони також можуть робити деякі дуже дивні речі».
Коли Remotasks уперше прийшли до Кенії, Джо подумав, що анотування може стати гарною кар’єрою. Він був сповнений рішучості продовжувати роботу навіть після того, як вона переїде в інше місце. Він міркував, що в Найробі є тисячі людей, які знають, як виконувати роботу. Адже він навчив дуже багато людей. Джо орендував офіс у місті та почав шукати аутсорсингові контракти: робота з анотування креслень для будівельної компанії, ще одна робота з анотуванням пошкоджених комахами фруктів для якогось сільськогосподарського проекту та ще одна для безпілотних автомобілів. процедури маркування.
Але Джо виявив, що його бачення важко досягти. Тепер у нього лише один штатний працівник, а раніше було двоє. «У нас не було постійного потоку роботи», — сказав він. Тижнями не було чим зайнятися, оскільки клієнти все ще збирали дані. Коли клієнт закінчив збирати дані, йому довелося залучити короткострокових підрядників, щоб виконати їхні терміни: «Клієнту було байдуже, чи ми маємо поточну роботу. Якщо було зроблено маркування набору даних, це було б добре».
Щоб їхні навички не були витрачені даремно, інші виконавці вирішують, куди йде завдання, і вони туди йдуть. Вони орендують проксі-сервери, щоб приховати своє місцезнаходження, і купують фальшиві ідентифікатори, щоб пройти безпеку, щоб вони могли прикидатися, що працюють у Сінгапурі, Нідерландах, Міссісіпі чи будь-де, куди йде місія. Це ризикована справа. ШІ Scale став дедалі агресивнішим у призупиненні облікових записів, які, як виявилося, приховують своє місцезнаходження, за словами багатьох учасників місії. "
Ми стали трохи розумнішими за ці дні, тому що ми помітили, що в інших країнах платять хорошу зарплату", - сказав Віктор. Він заробляє вдвічі більше, працюючи в Малайзії, ніж у Кенії, але "ви повинні грати безпечно ".
Інший кенійський коментатор сказав, що вирішив не грати за правилами після того, як його обліковий запис заблокували з загадкових причин. Тепер він керує кількома обліковими записами в багатьох країнах, виконуючи місії там, де найбільший дохід. Завдяки ChatGPT він каже, що працює швидко та має високий показник якості. За його словами, бот чудовий і дозволяє йому швидко виконувати завдання на 10 доларів за лічені хвилини.