У перший день офіційного стажування Чень Сі відчула, що її могли «обдурити».
Чень Сі, майбутня аспірантка, яка щойно закінчила дипломну роботу в школі, була готова знайти щось для себе. Після кількох поданих резюме її незабаром запросили на посаду редагування штучного інтелекту (напрямок перекладу) у велику вітчизняну інтернет-компанію.
В посадовій інструкції зазначено:
Забезпечення високоякісного корпусу для машинного навчання штучного інтелекту та повторення ітерацій навчання моделі;
Обговорювати вимоги з технічною командою, вчасно надавати високоякісні та кваліфіковані дані та нести відповідальність за якість результатів редагування.
Для Чень Сі, який не дуже знав про модельне навчання, це здавалося непоганим стажуванням.
Інтерв’ю Ченьсі стосувалося перекладу, що дуже відповідає її спеціальності англійської мови.На початку року ChatGPT став популярним у Китаї, і Ченьсі має звичку щодня використовувати продукти ШІ, що відповідає її інтересам Крім того, вона матиме можливість брати участь у нових технологіях.Промисловий розвиток є рідкістю для студентів гуманітарних факультетів; звичайно, найбільше приваблює ця велика інтернет-компанія. За останні кілька років компанія успішно залучила незліченну кількість молодих студентів. З певної точки зору, назви великої компанії в резюме достатньо, щоб стати символом власних здібностей.
Однак, окрім простого опису роботи на сторінці найму, Чень Сі не отримав більше інформації про це стажування від інтерв’юера.
«Причина, чому я тоді почувався обдуреним, полягала в тому, що під час співбесіди відділ кадрів зосереджувався на питаннях, пов’язаних із перекладом.» Відповівши на кілька запитань щодо перекладу під час співбесіди, Чень Сі успішно отримав пропозицію. Поки не почала працювати, вважала, що це робота перекладача.
Чень Сі не єдиний, хто відчуває себе «обдуреним».
Як один із перших стажерів редакторів штучного інтелекту, Ян Сяоюнь також прийшов на цю велику фабрику наприкінці лютого. Інтерв'юер сказав, що це робота, яка вимагає високих здібностей, таких як захоплення інформації, мовне реферування та редагування тексту.
Після фактичного початку роботи вона зрозуміла: «Робота, яку описує HR, і фактична робота — це абсолютно різні речі. Незалежно від того, наскільки вона гламурна, насправді це робота, яка «відмічає»».
Сьогодні повне захоплення штучним інтелектом призвело до появи чат-ботів, які виглядають як справжні люди, і програмного забезпечення для малювання, яке може генерувати зображення за допомогою простих підказок. Поява великих моделей на рівні явища привернула велику увагу як основа для навчання великих моделей. Дані, алгоритми та обчислювальна потужність привернули велику увагу. Анотація даних є невід’ємною частиною зв’язку даних.
У 2007 році Лі Фейфей, який тоді був доцентом кафедри комп’ютерних наук Прінстонського університету, розпочав проект під назвою ImageNet, сподіваючись розширити дані, які можна використовувати для навчання алгоритмів ШІ.
Щоб надати якомога більше візуальних прикладів для кожного слова, майже 50 000 працівників краудсорсингової платформи Amazon Mechanical Turk витратили два з половиною роки на те, щоб позначати об’єкти на малюнках, наприклад повітряні кульки, полуниці тощо, що склало 3,2 мільйона зображень. . Ці працівники походять зі 167 країн світу і переважно розташовані в районах з низькою вартістю робочої сили.
Розслідування, проведене журналом Time, показало, що для зменшення насильства, сексизму та расизму в наборі даних ChatGPT OpenAI використовував кенійських робітників, які заробляли менше 2 доларів на годину. Bloomberg повідомляв, що чат-бот Google Bard зі штучним інтелектом навчався тисячами контрактників, у яких було лише 3 хвилини, щоб переглянути та анотувати відповіді Барда.
Довгий час у минулому анотація даних не вимагала високих когнітивних вимог до мови та розпізнавання зображень. В епоху великих моделей анотація даних перейшла від зображень до мови, яка є більш вимогливою та вертикальною, що вимагає професійних знань у певних галузях і вільного володіння мовою.
Але для звичайних анотаторів даних це все ще низькотехнологічна робота, яка постійно повторюється.
Так само, як ці «ошукані» студенти престижних шкіл, що приходять на стажування на великі заводи, вони не можуть чітко пояснити, для чого призначена їхня робота і яка її вартість. Вони часто лише туманно розуміють це, щоб «тренувати великих моделей».
Стажери редагування штучного інтелекту, представлені Чень Сі та Ян Сяоюнь, народилися з потреби навчати великих моделей. Ці популярні масштабні моделі дозволяють інтернам проникати в них з цікавістю та бажанням, водночас відчуваючи за собою справжній хаос і відсутність цінності.
1. Коли студенти коледжу занурюються в анотацію даних великої моделі
**Люди зазвичай вважають, що анотатори даних — це група малоосвічених і літніх людей, які живуть у містах третього та четвертого рівня. Насправді це справді була поточна ситуація з вітчизняними анотаторами даних раніше. **
Згідно з «Національними стандартами професійних навичок для тренерів зі штучного інтелекту», оприлюдненими Міністерством людських ресурсів і соціального захисту у 2021 році, загальним рівнем освіти тренерів зі штучного інтелекту є закінчення середньої школи (або еквівалентна освіта). Вони можуть бути розкидані в районах, де розташовані традиційні трудомісткі підприємства, такі як Хебей, Хенань, Шаньдун і Шаньсі, або навіть у більш віддалених гірських районах, де анотація даних є пілотним проектом для подолання бідності.
**Але зміни вже відбулися з появою великих моделей. **
Що змушує Ян Сяоюня нудьгувати, так це насправді анотація даних, яка виконується для навчання великих моделей.
Після простого навчання та оцінювання Ян Сяоюнь був призначений до групи редагування копій. **Її щоденна робота — відповідати на запитання в банку запитань.Мета — оптимізувати процес навчання великих моделей шляхом ручного написання відповідей анотаторами. **
**Етапи відповіді на запитання суворо контролюються. **Візьміть як приклад гру «Genshin Impact». Якщо ви отримуєте запитання «Що таке священна реліквія Єлань?», Ян Сяоюнь повинен розділити відповідь на кілька абзаців: По-перше, що таке Єлань? По-друге, що таке святі мощі? Що зрештою відповідає святій реліквії Єлана?
Зберіть інформацію у визначеній пошуковій системі, завершіть редагування відповіді та, нарешті, надішліть її у формі Markdown.
Окрім простих запитань, на які легко відповісти, Ян Сяоюнь проводив більшу частину свого часу в професійних сферах, які йому були абсолютно незнайомі, наприклад, економічна зона, правова зона тощо.
Очевидно, що це повністю відрізняється від попередньої роботи з анотацією даних. **
До появи великих моделей сценарії анотації даних зазвичай являли собою фабрики з сотнями людей, у кожної людини був комп’ютер, і був лише звук миші та клавіатури. І протягом свого 8-годинного робочого дня вони роблять лише одну просту і повторювану річ: зображують автотранспорт, немоторний транспорт, пішоходів і світлофор (виявлення цілей) на різних картинках; або підкреслюють тему абзацу, присудок, об'єкт (семантична сегментація).
Ці рамки малювання для зображень і відео та семантична сегментація тексту є обробкою наявних даних, і самим анотаторам даних не потрібно давати «творчі висновки». Але це не стосується анотації даних великих моделей. Окрім обробки наявних даних, анотатори даних також повинні відповідати на запитання та давати правильні висновки. **
Відповідно до «Звіту про поглиблений аналіз і дослідження інвестиційних тенденцій щодо поточної ситуації в індустрії анотації даних у Китаї (2023-2030 рр.)», опублікованого центром обробки даних Guanyan Tianxia у 2023 році, до випуску ChatGPT анотація даних навчання AI в основному базувалася на голос і комп'ютерний зір, а також природну мову Попит на обробку (NLP) становить менше 15%.
Оскільки чат-бот ChatGPT стає феноменальним додатком AIGC, зростає попит на завдання з високоякісними текстовими анотаціями, як-от емоційне судження, здатність розуміти та навіть міркувати.
«Складність проектів (великих моделей) стала вищою, ніж раніше, і вимоги до персоналу відносно інші», — сказав «Цзязі Світловий рік», «Розпізнавання та анотація часткової візуальної інформації», відповідальна особа відділу продуктів Stardust Data. для автономного водіння, яке є більш фізичною роботою, вимагає певної підготовки для працівників. Після того, як вони навчаться тягнути ящики, освоїть комбінації клавіш і оволодіють деякими навичками, вони можуть швидко стати компетентними. ** Але те, що потрібно великим моделям, — це повний і структурована , диверсифікована та всеохоплююча система даних, яка вимагає чотирьох рівнів даних для підтримки побудови та вдосконалення моделі. Ці дані включають попереднє навчання, SFT (контрольоване тонке налаштування), RLHF (навчання з підкріпленням на основі відгуків людини, Підкріплення, навчання на основі відгуків людей), приватизоване розгортання тощо. У відповідь на потреби різних галузей ми випустили рішення піраміди даних великої моделі COSMO; для анотаторів даних великої моделі позначення даних COSMO не є питанням з кількома варіантами відповіді, ані це просто Замість розуміння прочитаного та редагування тексту, це дозволяє створювати запитання та відповіді та створювати вміст.**»
Цзя Юхан, генеральний менеджер із даних вимірювання хмари, ділить навчальні дані найбільшої моделі на три етапи: базові дані, дані сцени та оптимізація даних сцени. **Він порівнював ці три етапи з процесом навчання.
«Основні анотації даних, такі як креслення коробки, є відносно простими, і ви можете освоїти роботу з комп’ютером, щойно навчитеся цьому; дані сцени — це дані в певній галузі, необхідні для цілеспрямованих досліджень і розробок у конкретних посиланнях, і вам потрібно навчитися відповідним на третьому етапі, заснованому на безперервній ітерації та оптимізації під час введення в експлуатацію, вимоги до навичок і знань предметної області будуть більш уточненими", - сказав Цзя Юхан.
За такого попиту на роботу все більше і більше великих модельних компаній мають попит на анотаторів даних, який у минулому також змінився з низькоосвічених на високоосвічених, і цей попит зростає.
На вітчизняних основних платформах пошуку роботи наразі набираються багато вакансій для анотації даних для великих моделей. Ці посади вимагають, щоб анотатори мали ступінь бакалавра або вище. Раніше Baidu заявляв, що в його великій базі анотацій даних моделей у Хайкоу є сотні анотаторів даних, а рівень студентів досяг 100%.
Джерело фото: BOSS Zhipin & Maimai
2. Сувора анотація даних великої моделі
Загалом навчання великої моделі потребує наступних трьох кроків:
Джерело: OpenAI "Introducing ChatGPT"
За цими повторюваними завданнями насправді стоїть реалізація технології «Посилення навчання на основі зворотного зв’язку людини». Найбільше вдосконалення GPT-3.5 походить від цього. Ключ — це участь людини (Labeler), тобто цих анотаторів даних.
З наведених вище трьох кроків RLHF перший і другий крок є відносно важливішими, оскільки вони визначають рівень якості даних, необхідний для навчання моделі винагороди. Учасники анотації даних на цих двох етапах також поділяються на дві основні групи: «група редагування» та «група сортування». **
Робота групи редагування полягає в тому, щоб відповісти на запитання в банку запитань; тоді як робота команди сортування полягає в ранжуванні згенерованих відповідей (включно з модельними та штучно згенерованими відповідями).
Дін Сяоюй приєднався до редактора копій у липні. Дін Сяоюй, яка також вивчає англійську, і Чень Сі з нетерпінням чекають роботи перекладача, яка може підвищити їхній професійний рівень, але її робота насправді не пов’язана з англійською.
Порівняно з тим, коли Ян Сяоюнь стажувався в лютому, команда редагування копій, з якою зіткнувся Дін Сяоюй, стала більш розділеною. Кожен стажер має вибрати вертикальний напрямок, як-от розваги, фізика, політика тощо, і вимоги до відповідей стали більшими. докладно.
Для запитання з варіантами відповідей на тему стародавньої поезії ви повинні не просто пояснити відповідь, а спочатку представити тип запитання, потім переклад і історію поезії, а нарешті проаналізувати, чи правильний кожен варіант чи ні. Головне порівняти з березневим GPT-4, випущеним OpenAI 14 числа.
«Ви повинні посилатися на його відповідь, але вона не може бути такою ж, як його відповідь, і вона має бути кращою за його відповідь.» Дін Сяоюй був безпорадний.
Ченсі призначили в групу сортування, де кілька відповідей на запитання сортувалися щодня, щоб визначити плюси і мінуси різних відповідей.
Результати ранжування мають бути чітко визначені кількісно. Їй потрібно оцінити відповіді з різних точок зору, таких як корисність, достовірність, релевантність, безпека тощо, і записати причини. Це дозволить машинам стати нескінченно ближчими до відповідей, які очікують люди.
**Чень Сі інколи доводилося вибирати між кількома поганими відповідями. А коли всі відповіді були поганими, її просили написати кращу відповідь самій. **
Дін Сяоюй з редакційної групи стикається з ще більш вимогливими вимогами. Кожна відповідь проходитиме два раунди перевірки, перш ніж буде кваліфікована для доставки. Перше надійшло від керівника групи: «Після завершення кількох запитань ми проведемо оглядову нараду, щоб знайти недоліки, доки керівник команди не буде задоволений змінами.» Друге надійшло зі штабу, і це не поки штаб не пройде перевірку.
Одного разу через помилки форматування більшість відповідей Дін Сяоюй були визнані абсолютно неправильними. «Можливо, достатньо змінити порядок, але їм байдуже, неправильний зміст вашої відповіді чи є проблема з форматом. Просто все неправильно».
Що ще більше засмутило Дін Сяоюй, так це те, що керівник групи прямо заявив, що якщо вона знову зробить стільки помилок, її можуть звільнити.
**Анотація даних для великих моделей є абсолютно орієнтованою на результат роботою. Незалежно від того, скільки зусиль ви докладаєте до процесу, поки результати не будуть хорошими, усі попередні зусилля будуть повністю зведені нанівець. **
Але проблема полягає в тому, що чи це вихідні дані групи редагування, чи сортування відповідей групою сортування, це дуже суб’єктивне завдання. Стажистам з анотації даних важко контролювати, хороша чи погана відповідь; різні стажери часто дають різні відповіді на те саме питання.
**Щоб вирішити цю проблему, одне із завдань, яке команда анотації даних великої моделі повинна виконувати щодня, полягає в тому, щоб провести «аудиторську нараду», відому як «Зустріч перегонів» у компанії. Мета полягає в узгодженні стандарти відповідей і узгодження відповідей Всім зрозуміло і всі пропозиції узгоджені. **
Однак домогтися справжнього вирівнювання досить складно. Це схоже на оцінювання при вступному іспиті до коледжу. Різним людям ставитимуть однакові запитання. Якщо бали суперечать, їх потрібно постійно коригувати, доки не буде отримано єдиний бал.
За враженнями Чень Сі, дві-три години щодня витрачаються на зустрічі. До кінця зустрічі часто вирішується найпростіше і грубе рішення, коли меншість підкоряється більшості. Вона описала це як «створення цінності без цінності».
Однак у порівнянні з усіма, хто сидить разом, щоб «штучно» узгодити стандарти відповідей, більш складною проблемою є те, що ** стандарти не штучно узгоджені раз і назавжди, а повинні постійно коригуватися на основі зворотного зв’язку з виходом моделі. **
Перше, що Ян Сяоюнь вирушає на роботу щодня, має підтвердити, чи було опубліковано новий стандарт анотації того дня, починаючи від рамки відповіді, поділу абзаців і закінчуючи вибором пошукових систем, форматів, таких як пробіли та розділові знаки. Але ** стандарти постійно змінюються. **Якщо буде виявлено, що подані дані не працюють на машині, стандарти потрібно буде сформулювати заново, а всі проблеми будуть скасовані та переписані.
«Це схоже на плетіння. Чи маємо ми плести горизонтальні чи вертикальні зерна? Чи маємо ми плести ґудзики з кунжуту чи пшениці? Але незалежно від того, яка це кнопка, її можна лише вставити в програму та запустити. Якщо ви виявите, що вона не може працювати ви повинні змінити метод", - пояснив Ян Сяоюнь "Цзяцзи Гуаннянь". За цією метафорою стоїть те, що якщо відповідь, надана анотацією даних, може не досягти очікуваного ефекту під час процесу навчання моделі винагороди, стандарт необхідно скорегувати.
Зміна стандартів означає, що висновок останньої наради з узгодження є недійсним і стандарти повинні бути узгоджені знову.
«Зайвий і ефективний, кожен день дуже ефективно говорить дурниці», — поскаржився Ян Сяоюнь.
3. Студенти з високою успішністю, яких експлуатують великі заводи
З одного боку, є нескінченні збори, які проводяться щодня, а з іншого боку, є стандарти даних, які можуть змінитися в будь-який момент. Багато кращих студентів, як-от Чень Сі, яких приваблювали яскраві та блискучі вивіски великих фабрик, втратили свій початковий ентузіазм через внутрішні чвари та зрештою вирішили піти.
**Спільною характеристикою цих інтернів є високий ступінь освіти. Вимогою до найму є ступінь бакалавра або вище, але багато стажерів мають ступінь магістра. **
Багато з них навчаються у провідних університетах Китаю та навіть світу. Ян Сяоюня оточували студенти з Пекінського університету та Імперського коледжу Лондона, а стажери поруч із робочою станцією Ченьсі були з Нанкайського університету та Університету електронних наук і технологій Китаю; Дін Сяоюй було чітко поінформовано під час навчання, що академічна кваліфікація стажерів були перевірені. «Він (інтерв’юер) сказав, що високоосвічені студенти коледжу, як ми, можуть швидко навчитися чомусь і легко почати».
**Керувати групою розумних людей ніколи не буває легко. Тому що ці люди можуть легко відкрити суть своєї роботи з повторюваних дій, а потім поставити під сумнів, чи ця робота справді цінна для їхнього майбутнього. **
Дін Сяоюй описав свою роботу як «маленьку цінність і дуже внутрішньо виснажливу».
Коли вона щоранку приходить на робоче місце, вона відкриває екран дисплея та блокнот і використовує блокнот, щоб перевірити правила, пишучи відповіді на екрані дисплея. Дін Сяоюй чітко відчуває, що детальні правила та процедури змушують її поступово втрачати простір думати, і вона Дисципліна стає машиною. «Якщо ви чогось не навчитеся і у вас немає енергії, щоб навчитися інших речей, ви повільно втратите мотивацію до навчання та ентузіазм робити інші речі».
Дін Сяоюй також працював у групі десенсибілізації, але фактична робота не має принципового зв’язку зі словом «десенсибілізація». Він просто використовує різні чат-боти та внутрішні бета-версії продуктів компанії, щоб відповісти на ті самі запитання, а також порівнює та оцінює відповіді. Пропрацювавши лише кілька днів, її перевели до групи коректорів текстів, де їй потрібно було виправити помилки, які виникли під час конвертації формату PDF у формат Word, головним чином описки та знаки пунктуації. У процесі, який вона назвала «майже зривом», вона щодня виконувала 25 сторінок завдань із виправлення медичних помилок.
Під час співбесіди інтерв'юер запитав Дін Сяоюй, чи може він погодитися на нудну роботу, яка повторюється. «Я тоді відповів, що це прийнятно. Я думаю, що відповіді всіх кандидатів повинні бути прийнятними.» Тому що він мав лише один досвід стажування як студент, і він сподівався накопичити більше стажувань і потрапити у великі компанії, навіть із сумніви, Ding Xiaoyu все-таки вирішив приєднатися до компанії.
Всього за два місяці Дін Сяоюй вважався людиною, яка вистояла до кінця серед інтернів того ж періоду. Вона була свідком багатьох стажерів, які приходили з високими амбіціями, а потім залишали з опущеними головами.
Антрополог Девід Гребер визначає дурні роботи як роботу, яка не має сенсу чи мети. Роботи, які повинні бути ліквідовані машинною автоматизацією, продовжують існувати через демонстрацію вітрин, щоб догодити начальству та заповнити системні лазівки. Анотація даних схожа на варіацію дурних робіт, які часто вважаються заміненими машинами, але все ще вимагають, щоб їх виконували люди.
Коли приходить повне захоплення штучним інтелектом, люди часто сподіваються, що штучний інтелект може замінити людей у виконанні повторюваних і нудних завдань, таким чином дозволяючи людям мати більше часу та енергії для більш творчої та повноцінної роботи.
Але також можливо, що штучний інтелект, як і технології економії праці в минулому, такі як телефони та друкарські машинки, долає біль передачі інформації та рукописного тексту, але також створює велику кількість комунікацій та паперової роботи, для виконання яких потрібен новий штучний інтелект. Керівництво, таке як стійка реєстрації, службовець. Штучний інтелект може не замінити людей, але він створить більш нудну, нудну та ізолюючу роботу.
**Крім того, що вони не можуть отримати визнання цінності своєї роботи, зарплата, яку вони отримують, може не дозволити цим найкращим студентам досягти «визнання ціни». **
За даними «Цзяцзи Гуаннянь», ці дані свідчать про невисоку зарплату стажерів. Якщо вони розташовані в місті першого рівня, зарплата більшості стажерів зі штучного інтелекту становить 150 юанів/день, з надбавкою за кімнату та безкоштовною їдальнею; якщо вони розташовані в місті другого рівня, залишається лише 100 юанів/день, і вартість кімнати також зменшується на одну третину 2. Доплата за харчування в розмірі 20 юанів замінює безкоштовне харчування.
Подібно до стажування Дін Сяоюй у місті другого рівня, оскільки офіс розташований у центрі міста, а район є процвітаючим, їжа на винос може легко перевищити стандарт субсидії на їжу в 20 юанів і в основному вимагає відшкодування зарплати за стажування.
Оскільки більшість із них є лише основними анотаторами для навчання великих моделей, вони можуть бути рівномірно призначені на посади, які не мають нічого спільного з їхньою професією. Вони також можуть бути переведені в інші відділи в будь-який час і повинні швидко розпочати роботу після короткого навчання.
**Дін Сяоюй описав їх як групу стажерів, якими скористалися великі фабрики. **
Чень Сі чітко відчула, що не лише вона відчуває розрив між очікуваннями та реальною роботою. «Відверто кажучи, я відчуваю, що ця робота мені не підходить. Іноді під час спілкування я виявляю, що інші стажери можуть мати 985 ступенів бакалавра, а деякі повернулися з-за кордону зі ступенем магістра. Різниця між ними також дуже велика. , дуже великий."
Ян Сяоюнь висловив це більш прямо: «Можливо, це недоречна метафора. Моя мати навчалася в середній школі, тому вона може виконувати цю роботу».
**4. «Ми фактично робітники конвеєра» **
Насправді ** набирає найкращих студентів для роботи з низькими технологіями та виплачує надзвичайно низьку зарплату. Це також є об’єктивним відображенням ринкового хаосу на ранніх етапах розробки анотації великих моделей даних. **Для компаній, що займаються анотацією даних, на поточному етапі розробки великих моделей анотація даних ще не сформувала єдиний стандарт, і немає спеціальних вимог до анотаторів.
Особа, відповідальна за відділ продуктів Stardust Data Product, сказала: «Коли базові можливості великої моделі будуть завершені, а процес розробки стане більш вертикальним і складним, завдання будуть поступово змінюватися, вимагаючи оновлення та повторення інструментів і персоналу. відповідно. Однак великі моделі все ще знаходяться на ранніх стадіях розробки, і ринковий попит на анотатори залежить від завдання. Порівняно з проектами CV (Computer Vision), анотатори NLP (Natural Language Processing) мають вищі вимоги до здатності розуміння, Вимоги до професійної термінології та предметних знань є вищими, і має бути наданий точний і надійний корпус».
Відповідальна особа сказала, що проблеми, пов’язані з анотацією даних великими моделями, більше відображені в дизайні верхнього рівня. Для кожного завдання анотації даних, як зрозуміти вимоги сценарію прикладної програми замовника, розробити набір рішень, таких як вибір даних, дизайн розподілу даних і дизайн конвеєра, які можна реалізувати ефективно та з низькою ціною, і як покращити ефективність і можливості інструментів платформи є ключовими Більший виклик.
Це залежить від участі експертів у вертикальній галузі як старших анотаторів, які впроваджують знання та досвід у розробку рішення та навіть беруть участь у ітераційному процесі перевірки якості даних.
Чжан Цзіцянь, керівник операцій постачальника рішень для обробки даних Besai Technology, прямо сказав, що наразі, з точки зору навчання великомасштабних моделей, немає очевидної різниці в складності роботи та погодинній оплаті між базовими анотаторами та анотаторами, які раніше займалися підбором кадрів. . **Під час тонкого налаштування великих моделей і створення рішень у вертикальних полях для клієнтів найбільша проблема полягає в тому, як створити високоякісні набори даних, для чого потрібні спеціалісти з маркування в таких професійних галузях, як ІТ, медицина та фінанси. Такі таланти все ще є Дефіцитність.
OpenAI залучив десятки докторантів до керівництва та перегляду анотації даних, а також передав аутсорсинг анотації базових даних компаніям з анотації даних, розкиданим у регіонах з низьким рівнем доходу, таких як Африка та Індія. **Ті, хто дійсно має значення, це старші анотатори, які складають лише невелику частку. **
Порівнюючи посадові інструкції анотаторів, набраних компанією Baidu у штаб-квартирі в Пекіні, і в базі анотацій даних Haikou, ми бачимо, що вони також призначені для навчання великих моделей. Перший є старшим анотатором, відповідальним за керівництво, навчання та перегляд, а другий — анотатора базових даних. , вони мають дуже різні рівні зарплати.
Джерело фото: BOSS direct recruitment
**Іншими словами, ці старші анотатори вищого рівня насправді є ключовими талантами для навчання великої моделі. Їхня робота більш технічна та цінна, а вартість праці також вища. **
**На відміну від цього, навіть якщо ці стажери з престижних шкіл приїжджають навчати великі моделі, на цьому етапі вони, по суті, такі самі, як анотатори даних у минулому. **
**Стажери часто жартують між собою, що вони працюють не на великій фабриці, а в Internet Foxconn, і вони робітники на конвеєрі. Вони не можуть ні побачити, куди в кінцевому підсумку приведуть результати їхньої роботи, ні створити горизонтальний ланцюжок значень з людьми навколо них. **
Цей жарт «Інтернет-Foxconn» стосується не лише роботи цих стажерів, але й моделі навантаження та управління, яка майже на рівні заводського конвеєра.
Обсяг роботи, яку стажери повинні виконувати щодня, має червону лінію людської ефективності. Що стосується Ян Сяоюнь, їй потрібно відзначати 32 запитання на день. Якщо червона лінія не досягнута, вона повинна повідомити про причини або працювати понаднормово, щоб завершити це. Передумовою для завершення роботи є постійно змінювані стандарти Асоціації Lazi та постійний збір інформації.
Для того, щоб завершити навчання моделі якомога швидше, команда анотації стикається з високим тиском керівництва. Групі Ян Сяоюня заборонено розмовляти в робочий час. Ціна кількох невеликих розмов може бути додана до робочого навантаження. Якщо вам не вдасться завершити роботу, вам несамовито нагадуватимуть у групі. Навіть якщо ви хворі і запитайте у відпустку, вас може перервати терміновий дзвінок вашого штатного співробітника.
Крім того, щоб уникнути витоку даних, обмін анотаціями даних між групами прямо заборонено. Навіть якщо інтерни з різних груп знаходяться поруч, вони не можуть обговорювати зміст роботи. Жоден із цих стажерів не знає, скільки підрозділів існує в маркуванні даних компанії та скільки там стажерів. Група може складатися з 10, 40, 50, 60 осіб або сотні людей на кожному поверсі.
Під високим тиском червоної лінії людської ефективності Ян Сяоюнь може бути лише тимчасово «щасливим», коли стикається із забороненими запитаннями. Оскільки контент, який містить сцени насильства, порнографії та кров, потрібно видалити безпосередньо, але його все одно можна зарахувати до особистих робіт. «Це еквівалентно затягуванню поганого гвинта. Ви будете радіти лише тому, що вам не доведеться закручувати гвинт». Під час ранкового розподілу праці стажери навіть змагалися між собою за заборонені предмети.
Після того, як Ян Сяоюнь покинула роботу раніше, вона часто відвідувала Моменти стажерів, які все ще збиралися в компанії о 10 годині вечора або навіть о 12 годині. Є також стажери, які надсилають їй голосові повідомлення, плачучи, але оскільки вони орендували будинок і не мають можливості виїхати, якщо вони не можуть наполягати, це означає, що вся оренда буде витрачена.
5. Тут ніколи не буде браку людей
Але це не люди, які не вистояли.
Лі Чжусі — один із рідкісних стажерів із досвідом анотування даних. Вивчала когнітивну лінгвістику, пояснила, що напрямок поєднання лінгвістики з неврологією, спостереження за візуалізаціями мозку, включно зі встановленням інтерфейсів мозок-комп’ютер, має певний зв’язок зі штучним інтелектом.
Перш ніж прийти на цю велику фабрику, вона робила анотації даних для великих мовних моделей на іншій великій фабриці, і це було до випуску ChatGPT. За враженнями Лі Чжусі, після того, як ChatGPT вийшов із кола, подібні стажування з анотації даних виросли, як гриби після дощу.
Вона успішно пройшла тримісячне стажування, хоча описувала його як «відносно механічну та не дуже складну» роботу. Лі Чжусі розповів, що приділяє більше уваги досвіду: «Я не очікую, що ця робота буде цікавою. Все одно добре її випробувати. Я не лише отримую досвід стажування на великій фабриці, але й відчуваю тут унікальну корпоративну культуру. "
Для Чжао Шуо, студента ліберальних мистецтв зі школи в Шуанфей, місце стажування в галузі штучного інтелекту на великій фабриці було його вищим вибором.
Шукаючи літнє стажування, він насправді віддав перевагу робочій посаді в науково-дослідному інституті. Дослідницький інститут є державною установою і має персонал, який був дуже привабливим для Чжао Шуо. «У той час я особливо чекав на відгук, який він міг би мені дати". Але врешті-решт інститут не вибрав Чжао Шуо, який навчався на першому курсі аспірантури, а набрав студента вищого класу.
Є люди більш «кучеряві».
На думку Чжао Шуо, деякі стажери працюватимуть особливо наполегливо та виконуватимуть більше завдань, щоб шукати можливості стати звичайними працівниками. Серйозне ставлення та старанне ставлення завоюють прихильність штатних працівників. «Керівники часто мають певний обмін з ними, а також надають їм певні повноваження керівництва керувати стажерам».
Компанія навіть щотижня відбирає стажерів із видатними результатами та розміщує їхні фотографії на стіні як визнання, але тут не обов’язково є бонусний стимул, і його немає в бізнес-напрямку Чжао Шуо.
Цзя Юхан, генеральний менеджер Yunmei Data, сказав Jiaziguangnian, що для анотаторів даних існує два основні шляхи просування: один — це експертний шлях. Після оволодіння відповідними навичками в конкретних вертикальних сферах молодші анотатори можуть поступово стати старшими експертами з анотацій. ;Другий — шлях управління, ставши менеджером проекту.
Але Чжао Шуо не вирішив залишитися. Після одного року навчання в аспірантурі Чжао Шуо чітко усвідомив, що його очікування щодо майбутньої роботи впали. Відчуваючи дедалі більші зміни в загальному середовищі та спостерігаючи за невдоволенням студентів, які обрали роботу після закінчення навчання, раніше очікувана «висококласна, витончена» та «незамінна» робота Чжао Шуо була поступово замінена стабільною роботою. Будучи студентом гуманітарного факультету, він стурбований тим, що ще не оволодів незамінними навичками, і сподівається знайти роботу, якою керуватимуть у закладі.
Спілкуючись у чаті, стажери нарікали один одному, що незабаром роботу, яку вони виконують, можуть замінити машини, і ручна подача даних більше не буде потрібною.
Для Цзя Юханга, генерального менеджера Cloud Measurement Data, подібних проблем не існує. З фактичним масовим виробництвом алгоритмів і вдосконаленням можливостей замкнутого циклу даних загальна кількість позначених даних і кількість даних, позначених вручну, зростає з кожним роком. У минулому це було 100% ручне анотування, але зараз є певна частка ручного анотування, автоматичного анотування та ручної перевірки. У майбутньому частка автоматичного маркування може ставати дедалі більшою. Однак, хоча частка ручних анотацій зменшується, з поступовим розвитком індустрії штучного інтелекту та збільшенням обсягу даних кількість ручних анотацій продовжуватиме збільшуватися.
Після раннього звільнення з роботи Ян Сяоюнь знайшла стажування з планування ігор, яке їй сподобалося. Робоча атмосфера там була невимушеною, і вона відчувала більше винагороди. Редагування штучного інтелекту було для неї «невдалим» досвідом стажування. Для Дін Сяоюй це був процес розчарування. Навіть якщо вона поїде на стажування на велику фабрику, яку вона так чекала, вона все одно зіткнеться з незліченною кількістю нудних робіт. Вона вважала, що це могло бути тому, що її здібності були недостатніми достатньо або було занадто мало можливостей для досвіду. .
Але людей там ніколи не бракуватиме.
Ян Сяоюнь чув, що після її відходу команда розширилася з десятків до сотень протягом місяця. Дін Сяоюй виявив, що кожні 10 днів приходила нова партія інтернів, кожна група складалася з двадцяти-тридцяти осіб.
«Ви можете піти, проклинаючи та розповідаючи світові, яка погана ваша робота, але на ваше місце прийде постійний потік нових людей».
*На прохання респондентів персонажі Чень Сі, Ян Сяоюнь, Дін Сяоюй, Лі Чжусі та Чжао Шуо в статті є псевдонімами.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Інтерни в моді моделей: 985 на душу населення? Але «маркування» на великому заводі
Джерело: Jiazi Guangnian
Автор: Чжу Юе
У перший день офіційного стажування Чень Сі відчула, що її могли «обдурити».
Чень Сі, майбутня аспірантка, яка щойно закінчила дипломну роботу в школі, була готова знайти щось для себе. Після кількох поданих резюме її незабаром запросили на посаду редагування штучного інтелекту (напрямок перекладу) у велику вітчизняну інтернет-компанію.
В посадовій інструкції зазначено:
Для Чень Сі, який не дуже знав про модельне навчання, це здавалося непоганим стажуванням.
Інтерв’ю Ченьсі стосувалося перекладу, що дуже відповідає її спеціальності англійської мови.На початку року ChatGPT став популярним у Китаї, і Ченьсі має звичку щодня використовувати продукти ШІ, що відповідає її інтересам Крім того, вона матиме можливість брати участь у нових технологіях.Промисловий розвиток є рідкістю для студентів гуманітарних факультетів; звичайно, найбільше приваблює ця велика інтернет-компанія. За останні кілька років компанія успішно залучила незліченну кількість молодих студентів. З певної точки зору, назви великої компанії в резюме достатньо, щоб стати символом власних здібностей.
Однак, окрім простого опису роботи на сторінці найму, Чень Сі не отримав більше інформації про це стажування від інтерв’юера.
«Причина, чому я тоді почувався обдуреним, полягала в тому, що під час співбесіди відділ кадрів зосереджувався на питаннях, пов’язаних із перекладом.» Відповівши на кілька запитань щодо перекладу під час співбесіди, Чень Сі успішно отримав пропозицію. Поки не почала працювати, вважала, що це робота перекладача.
Чень Сі не єдиний, хто відчуває себе «обдуреним».
Як один із перших стажерів редакторів штучного інтелекту, Ян Сяоюнь також прийшов на цю велику фабрику наприкінці лютого. Інтерв'юер сказав, що це робота, яка вимагає високих здібностей, таких як захоплення інформації, мовне реферування та редагування тексту.
Після фактичного початку роботи вона зрозуміла: «Робота, яку описує HR, і фактична робота — це абсолютно різні речі. Незалежно від того, наскільки вона гламурна, насправді це робота, яка «відмічає»».
Сьогодні повне захоплення штучним інтелектом призвело до появи чат-ботів, які виглядають як справжні люди, і програмного забезпечення для малювання, яке може генерувати зображення за допомогою простих підказок. Поява великих моделей на рівні явища привернула велику увагу як основа для навчання великих моделей. Дані, алгоритми та обчислювальна потужність привернули велику увагу. Анотація даних є невід’ємною частиною зв’язку даних.
У 2007 році Лі Фейфей, який тоді був доцентом кафедри комп’ютерних наук Прінстонського університету, розпочав проект під назвою ImageNet, сподіваючись розширити дані, які можна використовувати для навчання алгоритмів ШІ.
Щоб надати якомога більше візуальних прикладів для кожного слова, майже 50 000 працівників краудсорсингової платформи Amazon Mechanical Turk витратили два з половиною роки на те, щоб позначати об’єкти на малюнках, наприклад повітряні кульки, полуниці тощо, що склало 3,2 мільйона зображень. . Ці працівники походять зі 167 країн світу і переважно розташовані в районах з низькою вартістю робочої сили.
Розслідування, проведене журналом Time, показало, що для зменшення насильства, сексизму та расизму в наборі даних ChatGPT OpenAI використовував кенійських робітників, які заробляли менше 2 доларів на годину. Bloomberg повідомляв, що чат-бот Google Bard зі штучним інтелектом навчався тисячами контрактників, у яких було лише 3 хвилини, щоб переглянути та анотувати відповіді Барда.
Довгий час у минулому анотація даних не вимагала високих когнітивних вимог до мови та розпізнавання зображень. В епоху великих моделей анотація даних перейшла від зображень до мови, яка є більш вимогливою та вертикальною, що вимагає професійних знань у певних галузях і вільного володіння мовою.
Але для звичайних анотаторів даних це все ще низькотехнологічна робота, яка постійно повторюється.
Так само, як ці «ошукані» студенти престижних шкіл, що приходять на стажування на великі заводи, вони не можуть чітко пояснити, для чого призначена їхня робота і яка її вартість. Вони часто лише туманно розуміють це, щоб «тренувати великих моделей».
Стажери редагування штучного інтелекту, представлені Чень Сі та Ян Сяоюнь, народилися з потреби навчати великих моделей. Ці популярні масштабні моделі дозволяють інтернам проникати в них з цікавістю та бажанням, водночас відчуваючи за собою справжній хаос і відсутність цінності.
1. Коли студенти коледжу занурюються в анотацію даних великої моделі
Згідно з «Національними стандартами професійних навичок для тренерів зі штучного інтелекту», оприлюдненими Міністерством людських ресурсів і соціального захисту у 2021 році, загальним рівнем освіти тренерів зі штучного інтелекту є закінчення середньої школи (або еквівалентна освіта). Вони можуть бути розкидані в районах, де розташовані традиційні трудомісткі підприємства, такі як Хебей, Хенань, Шаньдун і Шаньсі, або навіть у більш віддалених гірських районах, де анотація даних є пілотним проектом для подолання бідності.
**Але зміни вже відбулися з появою великих моделей. **
Що змушує Ян Сяоюня нудьгувати, так це насправді анотація даних, яка виконується для навчання великих моделей.
Після простого навчання та оцінювання Ян Сяоюнь був призначений до групи редагування копій. **Її щоденна робота — відповідати на запитання в банку запитань.Мета — оптимізувати процес навчання великих моделей шляхом ручного написання відповідей анотаторами. **
**Етапи відповіді на запитання суворо контролюються. **Візьміть як приклад гру «Genshin Impact». Якщо ви отримуєте запитання «Що таке священна реліквія Єлань?», Ян Сяоюнь повинен розділити відповідь на кілька абзаців: По-перше, що таке Єлань? По-друге, що таке святі мощі? Що зрештою відповідає святій реліквії Єлана?
Зберіть інформацію у визначеній пошуковій системі, завершіть редагування відповіді та, нарешті, надішліть її у формі Markdown.
Окрім простих запитань, на які легко відповісти, Ян Сяоюнь проводив більшу частину свого часу в професійних сферах, які йому були абсолютно незнайомі, наприклад, економічна зона, правова зона тощо.
Очевидно, що це повністю відрізняється від попередньої роботи з анотацією даних. **
До появи великих моделей сценарії анотації даних зазвичай являли собою фабрики з сотнями людей, у кожної людини був комп’ютер, і був лише звук миші та клавіатури. І протягом свого 8-годинного робочого дня вони роблять лише одну просту і повторювану річ: зображують автотранспорт, немоторний транспорт, пішоходів і світлофор (виявлення цілей) на різних картинках; або підкреслюють тему абзацу, присудок, об'єкт (семантична сегментація).
Ці рамки малювання для зображень і відео та семантична сегментація тексту є обробкою наявних даних, і самим анотаторам даних не потрібно давати «творчі висновки». Але це не стосується анотації даних великих моделей. Окрім обробки наявних даних, анотатори даних також повинні відповідати на запитання та давати правильні висновки. **
Відповідно до «Звіту про поглиблений аналіз і дослідження інвестиційних тенденцій щодо поточної ситуації в індустрії анотації даних у Китаї (2023-2030 рр.)», опублікованого центром обробки даних Guanyan Tianxia у 2023 році, до випуску ChatGPT анотація даних навчання AI в основному базувалася на голос і комп'ютерний зір, а також природну мову Попит на обробку (NLP) становить менше 15%.
Оскільки чат-бот ChatGPT стає феноменальним додатком AIGC, зростає попит на завдання з високоякісними текстовими анотаціями, як-от емоційне судження, здатність розуміти та навіть міркувати.
«Складність проектів (великих моделей) стала вищою, ніж раніше, і вимоги до персоналу відносно інші», — сказав «Цзязі Світловий рік», «Розпізнавання та анотація часткової візуальної інформації», відповідальна особа відділу продуктів Stardust Data. для автономного водіння, яке є більш фізичною роботою, вимагає певної підготовки для працівників. Після того, як вони навчаться тягнути ящики, освоїть комбінації клавіш і оволодіють деякими навичками, вони можуть швидко стати компетентними. ** Але те, що потрібно великим моделям, — це повний і структурована , диверсифікована та всеохоплююча система даних, яка вимагає чотирьох рівнів даних для підтримки побудови та вдосконалення моделі. Ці дані включають попереднє навчання, SFT (контрольоване тонке налаштування), RLHF (навчання з підкріпленням на основі відгуків людини, Підкріплення, навчання на основі відгуків людей), приватизоване розгортання тощо. У відповідь на потреби різних галузей ми випустили рішення піраміди даних великої моделі COSMO; для анотаторів даних великої моделі позначення даних COSMO не є питанням з кількома варіантами відповіді, ані це просто Замість розуміння прочитаного та редагування тексту, це дозволяє створювати запитання та відповіді та створювати вміст.**»
Цзя Юхан, генеральний менеджер із даних вимірювання хмари, ділить навчальні дані найбільшої моделі на три етапи: базові дані, дані сцени та оптимізація даних сцени. **Він порівнював ці три етапи з процесом навчання.
«Основні анотації даних, такі як креслення коробки, є відносно простими, і ви можете освоїти роботу з комп’ютером, щойно навчитеся цьому; дані сцени — це дані в певній галузі, необхідні для цілеспрямованих досліджень і розробок у конкретних посиланнях, і вам потрібно навчитися відповідним на третьому етапі, заснованому на безперервній ітерації та оптимізації під час введення в експлуатацію, вимоги до навичок і знань предметної області будуть більш уточненими", - сказав Цзя Юхан.
За такого попиту на роботу все більше і більше великих модельних компаній мають попит на анотаторів даних, який у минулому також змінився з низькоосвічених на високоосвічених, і цей попит зростає.
На вітчизняних основних платформах пошуку роботи наразі набираються багато вакансій для анотації даних для великих моделей. Ці посади вимагають, щоб анотатори мали ступінь бакалавра або вище. Раніше Baidu заявляв, що в його великій базі анотацій даних моделей у Хайкоу є сотні анотаторів даних, а рівень студентів досяг 100%.
2. Сувора анотація даних великої моделі
За цими повторюваними завданнями насправді стоїть реалізація технології «Посилення навчання на основі зворотного зв’язку людини». Найбільше вдосконалення GPT-3.5 походить від цього. Ключ — це участь людини (Labeler), тобто цих анотаторів даних.
З наведених вище трьох кроків RLHF перший і другий крок є відносно важливішими, оскільки вони визначають рівень якості даних, необхідний для навчання моделі винагороди. Учасники анотації даних на цих двох етапах також поділяються на дві основні групи: «група редагування» та «група сортування». **
Робота групи редагування полягає в тому, щоб відповісти на запитання в банку запитань; тоді як робота команди сортування полягає в ранжуванні згенерованих відповідей (включно з модельними та штучно згенерованими відповідями).
Дін Сяоюй приєднався до редактора копій у липні. Дін Сяоюй, яка також вивчає англійську, і Чень Сі з нетерпінням чекають роботи перекладача, яка може підвищити їхній професійний рівень, але її робота насправді не пов’язана з англійською.
Порівняно з тим, коли Ян Сяоюнь стажувався в лютому, команда редагування копій, з якою зіткнувся Дін Сяоюй, стала більш розділеною. Кожен стажер має вибрати вертикальний напрямок, як-от розваги, фізика, політика тощо, і вимоги до відповідей стали більшими. докладно.
Для запитання з варіантами відповідей на тему стародавньої поезії ви повинні не просто пояснити відповідь, а спочатку представити тип запитання, потім переклад і історію поезії, а нарешті проаналізувати, чи правильний кожен варіант чи ні. Головне порівняти з березневим GPT-4, випущеним OpenAI 14 числа.
«Ви повинні посилатися на його відповідь, але вона не може бути такою ж, як його відповідь, і вона має бути кращою за його відповідь.» Дін Сяоюй був безпорадний.
Ченсі призначили в групу сортування, де кілька відповідей на запитання сортувалися щодня, щоб визначити плюси і мінуси різних відповідей.
Результати ранжування мають бути чітко визначені кількісно. Їй потрібно оцінити відповіді з різних точок зору, таких як корисність, достовірність, релевантність, безпека тощо, і записати причини. Це дозволить машинам стати нескінченно ближчими до відповідей, які очікують люди.
**Чень Сі інколи доводилося вибирати між кількома поганими відповідями. А коли всі відповіді були поганими, її просили написати кращу відповідь самій. **
Дін Сяоюй з редакційної групи стикається з ще більш вимогливими вимогами. Кожна відповідь проходитиме два раунди перевірки, перш ніж буде кваліфікована для доставки. Перше надійшло від керівника групи: «Після завершення кількох запитань ми проведемо оглядову нараду, щоб знайти недоліки, доки керівник команди не буде задоволений змінами.» Друге надійшло зі штабу, і це не поки штаб не пройде перевірку.
Одного разу через помилки форматування більшість відповідей Дін Сяоюй були визнані абсолютно неправильними. «Можливо, достатньо змінити порядок, але їм байдуже, неправильний зміст вашої відповіді чи є проблема з форматом. Просто все неправильно».
Що ще більше засмутило Дін Сяоюй, так це те, що керівник групи прямо заявив, що якщо вона знову зробить стільки помилок, її можуть звільнити.
**Анотація даних для великих моделей є абсолютно орієнтованою на результат роботою. Незалежно від того, скільки зусиль ви докладаєте до процесу, поки результати не будуть хорошими, усі попередні зусилля будуть повністю зведені нанівець. **
Але проблема полягає в тому, що чи це вихідні дані групи редагування, чи сортування відповідей групою сортування, це дуже суб’єктивне завдання. Стажистам з анотації даних важко контролювати, хороша чи погана відповідь; різні стажери часто дають різні відповіді на те саме питання.
**Щоб вирішити цю проблему, одне із завдань, яке команда анотації даних великої моделі повинна виконувати щодня, полягає в тому, щоб провести «аудиторську нараду», відому як «Зустріч перегонів» у компанії. Мета полягає в узгодженні стандарти відповідей і узгодження відповідей Всім зрозуміло і всі пропозиції узгоджені. **
Однак домогтися справжнього вирівнювання досить складно. Це схоже на оцінювання при вступному іспиті до коледжу. Різним людям ставитимуть однакові запитання. Якщо бали суперечать, їх потрібно постійно коригувати, доки не буде отримано єдиний бал.
За враженнями Чень Сі, дві-три години щодня витрачаються на зустрічі. До кінця зустрічі часто вирішується найпростіше і грубе рішення, коли меншість підкоряється більшості. Вона описала це як «створення цінності без цінності».
Однак у порівнянні з усіма, хто сидить разом, щоб «штучно» узгодити стандарти відповідей, більш складною проблемою є те, що ** стандарти не штучно узгоджені раз і назавжди, а повинні постійно коригуватися на основі зворотного зв’язку з виходом моделі. **
Перше, що Ян Сяоюнь вирушає на роботу щодня, має підтвердити, чи було опубліковано новий стандарт анотації того дня, починаючи від рамки відповіді, поділу абзаців і закінчуючи вибором пошукових систем, форматів, таких як пробіли та розділові знаки. Але ** стандарти постійно змінюються. **Якщо буде виявлено, що подані дані не працюють на машині, стандарти потрібно буде сформулювати заново, а всі проблеми будуть скасовані та переписані.
«Це схоже на плетіння. Чи маємо ми плести горизонтальні чи вертикальні зерна? Чи маємо ми плести ґудзики з кунжуту чи пшениці? Але незалежно від того, яка це кнопка, її можна лише вставити в програму та запустити. Якщо ви виявите, що вона не може працювати ви повинні змінити метод", - пояснив Ян Сяоюнь "Цзяцзи Гуаннянь". За цією метафорою стоїть те, що якщо відповідь, надана анотацією даних, може не досягти очікуваного ефекту під час процесу навчання моделі винагороди, стандарт необхідно скорегувати.
Зміна стандартів означає, що висновок останньої наради з узгодження є недійсним і стандарти повинні бути узгоджені знову.
«Зайвий і ефективний, кожен день дуже ефективно говорить дурниці», — поскаржився Ян Сяоюнь.
3. Студенти з високою успішністю, яких експлуатують великі заводи
**Спільною характеристикою цих інтернів є високий ступінь освіти. Вимогою до найму є ступінь бакалавра або вище, але багато стажерів мають ступінь магістра. **
Багато з них навчаються у провідних університетах Китаю та навіть світу. Ян Сяоюня оточували студенти з Пекінського університету та Імперського коледжу Лондона, а стажери поруч із робочою станцією Ченьсі були з Нанкайського університету та Університету електронних наук і технологій Китаю; Дін Сяоюй було чітко поінформовано під час навчання, що академічна кваліфікація стажерів були перевірені. «Він (інтерв’юер) сказав, що високоосвічені студенти коледжу, як ми, можуть швидко навчитися чомусь і легко почати».
**Керувати групою розумних людей ніколи не буває легко. Тому що ці люди можуть легко відкрити суть своєї роботи з повторюваних дій, а потім поставити під сумнів, чи ця робота справді цінна для їхнього майбутнього. **
Дін Сяоюй описав свою роботу як «маленьку цінність і дуже внутрішньо виснажливу».
Коли вона щоранку приходить на робоче місце, вона відкриває екран дисплея та блокнот і використовує блокнот, щоб перевірити правила, пишучи відповіді на екрані дисплея. Дін Сяоюй чітко відчуває, що детальні правила та процедури змушують її поступово втрачати простір думати, і вона Дисципліна стає машиною. «Якщо ви чогось не навчитеся і у вас немає енергії, щоб навчитися інших речей, ви повільно втратите мотивацію до навчання та ентузіазм робити інші речі».
Дін Сяоюй також працював у групі десенсибілізації, але фактична робота не має принципового зв’язку зі словом «десенсибілізація». Він просто використовує різні чат-боти та внутрішні бета-версії продуктів компанії, щоб відповісти на ті самі запитання, а також порівнює та оцінює відповіді. Пропрацювавши лише кілька днів, її перевели до групи коректорів текстів, де їй потрібно було виправити помилки, які виникли під час конвертації формату PDF у формат Word, головним чином описки та знаки пунктуації. У процесі, який вона назвала «майже зривом», вона щодня виконувала 25 сторінок завдань із виправлення медичних помилок.
Під час співбесіди інтерв'юер запитав Дін Сяоюй, чи може він погодитися на нудну роботу, яка повторюється. «Я тоді відповів, що це прийнятно. Я думаю, що відповіді всіх кандидатів повинні бути прийнятними.» Тому що він мав лише один досвід стажування як студент, і він сподівався накопичити більше стажувань і потрапити у великі компанії, навіть із сумніви, Ding Xiaoyu все-таки вирішив приєднатися до компанії.
Всього за два місяці Дін Сяоюй вважався людиною, яка вистояла до кінця серед інтернів того ж періоду. Вона була свідком багатьох стажерів, які приходили з високими амбіціями, а потім залишали з опущеними головами.
Антрополог Девід Гребер визначає дурні роботи як роботу, яка не має сенсу чи мети. Роботи, які повинні бути ліквідовані машинною автоматизацією, продовжують існувати через демонстрацію вітрин, щоб догодити начальству та заповнити системні лазівки. Анотація даних схожа на варіацію дурних робіт, які часто вважаються заміненими машинами, але все ще вимагають, щоб їх виконували люди.
Коли приходить повне захоплення штучним інтелектом, люди часто сподіваються, що штучний інтелект може замінити людей у виконанні повторюваних і нудних завдань, таким чином дозволяючи людям мати більше часу та енергії для більш творчої та повноцінної роботи.
Але також можливо, що штучний інтелект, як і технології економії праці в минулому, такі як телефони та друкарські машинки, долає біль передачі інформації та рукописного тексту, але також створює велику кількість комунікацій та паперової роботи, для виконання яких потрібен новий штучний інтелект. Керівництво, таке як стійка реєстрації, службовець. Штучний інтелект може не замінити людей, але він створить більш нудну, нудну та ізолюючу роботу.
**Крім того, що вони не можуть отримати визнання цінності своєї роботи, зарплата, яку вони отримують, може не дозволити цим найкращим студентам досягти «визнання ціни». **
За даними «Цзяцзи Гуаннянь», ці дані свідчать про невисоку зарплату стажерів. Якщо вони розташовані в місті першого рівня, зарплата більшості стажерів зі штучного інтелекту становить 150 юанів/день, з надбавкою за кімнату та безкоштовною їдальнею; якщо вони розташовані в місті другого рівня, залишається лише 100 юанів/день, і вартість кімнати також зменшується на одну третину 2. Доплата за харчування в розмірі 20 юанів замінює безкоштовне харчування.
Подібно до стажування Дін Сяоюй у місті другого рівня, оскільки офіс розташований у центрі міста, а район є процвітаючим, їжа на винос може легко перевищити стандарт субсидії на їжу в 20 юанів і в основному вимагає відшкодування зарплати за стажування.
Оскільки більшість із них є лише основними анотаторами для навчання великих моделей, вони можуть бути рівномірно призначені на посади, які не мають нічого спільного з їхньою професією. Вони також можуть бути переведені в інші відділи в будь-який час і повинні швидко розпочати роботу після короткого навчання.
**Дін Сяоюй описав їх як групу стажерів, якими скористалися великі фабрики. **
Чень Сі чітко відчула, що не лише вона відчуває розрив між очікуваннями та реальною роботою. «Відверто кажучи, я відчуваю, що ця робота мені не підходить. Іноді під час спілкування я виявляю, що інші стажери можуть мати 985 ступенів бакалавра, а деякі повернулися з-за кордону зі ступенем магістра. Різниця між ними також дуже велика. , дуже великий."
Ян Сяоюнь висловив це більш прямо: «Можливо, це недоречна метафора. Моя мати навчалася в середній школі, тому вона може виконувати цю роботу».
**4. «Ми фактично робітники конвеєра» **
Особа, відповідальна за відділ продуктів Stardust Data Product, сказала: «Коли базові можливості великої моделі будуть завершені, а процес розробки стане більш вертикальним і складним, завдання будуть поступово змінюватися, вимагаючи оновлення та повторення інструментів і персоналу. відповідно. Однак великі моделі все ще знаходяться на ранніх стадіях розробки, і ринковий попит на анотатори залежить від завдання. Порівняно з проектами CV (Computer Vision), анотатори NLP (Natural Language Processing) мають вищі вимоги до здатності розуміння, Вимоги до професійної термінології та предметних знань є вищими, і має бути наданий точний і надійний корпус».
Відповідальна особа сказала, що проблеми, пов’язані з анотацією даних великими моделями, більше відображені в дизайні верхнього рівня. Для кожного завдання анотації даних, як зрозуміти вимоги сценарію прикладної програми замовника, розробити набір рішень, таких як вибір даних, дизайн розподілу даних і дизайн конвеєра, які можна реалізувати ефективно та з низькою ціною, і як покращити ефективність і можливості інструментів платформи є ключовими Більший виклик.
Це залежить від участі експертів у вертикальній галузі як старших анотаторів, які впроваджують знання та досвід у розробку рішення та навіть беруть участь у ітераційному процесі перевірки якості даних.
Чжан Цзіцянь, керівник операцій постачальника рішень для обробки даних Besai Technology, прямо сказав, що наразі, з точки зору навчання великомасштабних моделей, немає очевидної різниці в складності роботи та погодинній оплаті між базовими анотаторами та анотаторами, які раніше займалися підбором кадрів. . **Під час тонкого налаштування великих моделей і створення рішень у вертикальних полях для клієнтів найбільша проблема полягає в тому, як створити високоякісні набори даних, для чого потрібні спеціалісти з маркування в таких професійних галузях, як ІТ, медицина та фінанси. Такі таланти все ще є Дефіцитність.
OpenAI залучив десятки докторантів до керівництва та перегляду анотації даних, а також передав аутсорсинг анотації базових даних компаніям з анотації даних, розкиданим у регіонах з низьким рівнем доходу, таких як Африка та Індія. **Ті, хто дійсно має значення, це старші анотатори, які складають лише невелику частку. **
Порівнюючи посадові інструкції анотаторів, набраних компанією Baidu у штаб-квартирі в Пекіні, і в базі анотацій даних Haikou, ми бачимо, що вони також призначені для навчання великих моделей. Перший є старшим анотатором, відповідальним за керівництво, навчання та перегляд, а другий — анотатора базових даних. , вони мають дуже різні рівні зарплати.
**Іншими словами, ці старші анотатори вищого рівня насправді є ключовими талантами для навчання великої моделі. Їхня робота більш технічна та цінна, а вартість праці також вища. **
**На відміну від цього, навіть якщо ці стажери з престижних шкіл приїжджають навчати великі моделі, на цьому етапі вони, по суті, такі самі, як анотатори даних у минулому. **
**Стажери часто жартують між собою, що вони працюють не на великій фабриці, а в Internet Foxconn, і вони робітники на конвеєрі. Вони не можуть ні побачити, куди в кінцевому підсумку приведуть результати їхньої роботи, ні створити горизонтальний ланцюжок значень з людьми навколо них. **
Цей жарт «Інтернет-Foxconn» стосується не лише роботи цих стажерів, але й моделі навантаження та управління, яка майже на рівні заводського конвеєра.
Обсяг роботи, яку стажери повинні виконувати щодня, має червону лінію людської ефективності. Що стосується Ян Сяоюнь, їй потрібно відзначати 32 запитання на день. Якщо червона лінія не досягнута, вона повинна повідомити про причини або працювати понаднормово, щоб завершити це. Передумовою для завершення роботи є постійно змінювані стандарти Асоціації Lazi та постійний збір інформації.
Для того, щоб завершити навчання моделі якомога швидше, команда анотації стикається з високим тиском керівництва. Групі Ян Сяоюня заборонено розмовляти в робочий час. Ціна кількох невеликих розмов може бути додана до робочого навантаження. Якщо вам не вдасться завершити роботу, вам несамовито нагадуватимуть у групі. Навіть якщо ви хворі і запитайте у відпустку, вас може перервати терміновий дзвінок вашого штатного співробітника.
Крім того, щоб уникнути витоку даних, обмін анотаціями даних між групами прямо заборонено. Навіть якщо інтерни з різних груп знаходяться поруч, вони не можуть обговорювати зміст роботи. Жоден із цих стажерів не знає, скільки підрозділів існує в маркуванні даних компанії та скільки там стажерів. Група може складатися з 10, 40, 50, 60 осіб або сотні людей на кожному поверсі.
Під високим тиском червоної лінії людської ефективності Ян Сяоюнь може бути лише тимчасово «щасливим», коли стикається із забороненими запитаннями. Оскільки контент, який містить сцени насильства, порнографії та кров, потрібно видалити безпосередньо, але його все одно можна зарахувати до особистих робіт. «Це еквівалентно затягуванню поганого гвинта. Ви будете радіти лише тому, що вам не доведеться закручувати гвинт». Під час ранкового розподілу праці стажери навіть змагалися між собою за заборонені предмети.
Після того, як Ян Сяоюнь покинула роботу раніше, вона часто відвідувала Моменти стажерів, які все ще збиралися в компанії о 10 годині вечора або навіть о 12 годині. Є також стажери, які надсилають їй голосові повідомлення, плачучи, але оскільки вони орендували будинок і не мають можливості виїхати, якщо вони не можуть наполягати, це означає, що вся оренда буде витрачена.
5. Тут ніколи не буде браку людей
Лі Чжусі — один із рідкісних стажерів із досвідом анотування даних. Вивчала когнітивну лінгвістику, пояснила, що напрямок поєднання лінгвістики з неврологією, спостереження за візуалізаціями мозку, включно зі встановленням інтерфейсів мозок-комп’ютер, має певний зв’язок зі штучним інтелектом.
Перш ніж прийти на цю велику фабрику, вона робила анотації даних для великих мовних моделей на іншій великій фабриці, і це було до випуску ChatGPT. За враженнями Лі Чжусі, після того, як ChatGPT вийшов із кола, подібні стажування з анотації даних виросли, як гриби після дощу.
Вона успішно пройшла тримісячне стажування, хоча описувала його як «відносно механічну та не дуже складну» роботу. Лі Чжусі розповів, що приділяє більше уваги досвіду: «Я не очікую, що ця робота буде цікавою. Все одно добре її випробувати. Я не лише отримую досвід стажування на великій фабриці, але й відчуваю тут унікальну корпоративну культуру. "
Для Чжао Шуо, студента ліберальних мистецтв зі школи в Шуанфей, місце стажування в галузі штучного інтелекту на великій фабриці було його вищим вибором.
Шукаючи літнє стажування, він насправді віддав перевагу робочій посаді в науково-дослідному інституті. Дослідницький інститут є державною установою і має персонал, який був дуже привабливим для Чжао Шуо. «У той час я особливо чекав на відгук, який він міг би мені дати". Але врешті-решт інститут не вибрав Чжао Шуо, який навчався на першому курсі аспірантури, а набрав студента вищого класу.
Є люди більш «кучеряві».
На думку Чжао Шуо, деякі стажери працюватимуть особливо наполегливо та виконуватимуть більше завдань, щоб шукати можливості стати звичайними працівниками. Серйозне ставлення та старанне ставлення завоюють прихильність штатних працівників. «Керівники часто мають певний обмін з ними, а також надають їм певні повноваження керівництва керувати стажерам».
Компанія навіть щотижня відбирає стажерів із видатними результатами та розміщує їхні фотографії на стіні як визнання, але тут не обов’язково є бонусний стимул, і його немає в бізнес-напрямку Чжао Шуо.
Цзя Юхан, генеральний менеджер Yunmei Data, сказав Jiaziguangnian, що для анотаторів даних існує два основні шляхи просування: один — це експертний шлях. Після оволодіння відповідними навичками в конкретних вертикальних сферах молодші анотатори можуть поступово стати старшими експертами з анотацій. ;Другий — шлях управління, ставши менеджером проекту.
Але Чжао Шуо не вирішив залишитися. Після одного року навчання в аспірантурі Чжао Шуо чітко усвідомив, що його очікування щодо майбутньої роботи впали. Відчуваючи дедалі більші зміни в загальному середовищі та спостерігаючи за невдоволенням студентів, які обрали роботу після закінчення навчання, раніше очікувана «висококласна, витончена» та «незамінна» робота Чжао Шуо була поступово замінена стабільною роботою. Будучи студентом гуманітарного факультету, він стурбований тим, що ще не оволодів незамінними навичками, і сподівається знайти роботу, якою керуватимуть у закладі.
Спілкуючись у чаті, стажери нарікали один одному, що незабаром роботу, яку вони виконують, можуть замінити машини, і ручна подача даних більше не буде потрібною.
Для Цзя Юханга, генерального менеджера Cloud Measurement Data, подібних проблем не існує. З фактичним масовим виробництвом алгоритмів і вдосконаленням можливостей замкнутого циклу даних загальна кількість позначених даних і кількість даних, позначених вручну, зростає з кожним роком. У минулому це було 100% ручне анотування, але зараз є певна частка ручного анотування, автоматичного анотування та ручної перевірки. У майбутньому частка автоматичного маркування може ставати дедалі більшою. Однак, хоча частка ручних анотацій зменшується, з поступовим розвитком індустрії штучного інтелекту та збільшенням обсягу даних кількість ручних анотацій продовжуватиме збільшуватися.
Після раннього звільнення з роботи Ян Сяоюнь знайшла стажування з планування ігор, яке їй сподобалося. Робоча атмосфера там була невимушеною, і вона відчувала більше винагороди. Редагування штучного інтелекту було для неї «невдалим» досвідом стажування. Для Дін Сяоюй це був процес розчарування. Навіть якщо вона поїде на стажування на велику фабрику, яку вона так чекала, вона все одно зіткнеться з незліченною кількістю нудних робіт. Вона вважала, що це могло бути тому, що її здібності були недостатніми достатньо або було занадто мало можливостей для досвіду. .
Але людей там ніколи не бракуватиме.
Ян Сяоюнь чув, що після її відходу команда розширилася з десятків до сотень протягом місяця. Дін Сяоюй виявив, що кожні 10 днів приходила нова партія інтернів, кожна група складалася з двадцяти-тридцяти осіб.
«Ви можете піти, проклинаючи та розповідаючи світові, яка погана ваша робота, але на ваше місце прийде постійний потік нових людей».
*На прохання респондентів персонажі Чень Сі, Ян Сяоюнь, Дін Сяоюй, Лі Чжусі та Чжао Шуо в статті є псевдонімами.