В первый день официальной стажировки Чэнь Си почувствовала, что ее, возможно, «обманули».
Чэнь Си, будущая аспирантка, только что защитившая дипломную работу, была готова найти себе занятие. После подачи нескольких резюме ее вскоре пригласили на должность редактора искусственного интеллекта (направление переводов) в крупную отечественную интернет-компанию.
Описание вакансии гласит:
Предоставить высококачественный корпус для машинного обучения искусственного интеллекта и повторить итерации обучения моделей;
Общаться с технической командой по вопросам требований, своевременно предоставлять качественные и квалифицированные данные и нести ответственность за качество результатов редактирования.
Для Чэнь Си, который мало что знал о модельном обучении, это казалось довольно хорошей стажировкой.
Собеседование Чэньси проходило в области перевода, что очень соответствует ее специальности английского языка. В начале года ChatGPT стал популярен в Китае, и Чэньси имеет привычку использовать продукты искусственного интеллекта каждый день, что соответствует ее интересам. Кроме того, у нее будет возможность участвовать в новых технологиях. За последние несколько лет компания успешно привлекла бесчисленное количество молодых студентов. С определенной точки зрения, названия крупной компании в резюме достаточно, чтобы стать символом собственных способностей.
Однако, кроме простого описания вакансии на странице набора персонала, Чэнь Си не получил от интервьюера никакой дополнительной информации об этой стажировке.
«Причина, по которой я тогда почувствовал себя обманутым, заключалась в том, что во время собеседования отдел кадров в основном сосредоточился на вопросах, связанных с переводом». Пока она не начала работать, она думала, что это работа переводчика.
Чэнь Си не единственный, кто чувствует себя «обманутым».
Ян Сяоюнь, один из первых стажеров редакторов искусственного интеллекта, также приехал на эту крупную фабрику в конце февраля. Интервьюер сказал, что эта работа требует высоких навыков, таких как сбор информации, обобщение языка и редактирование текста.
Приступив к делу, она поняла: «Работа, описанная HR, и реальная работа — это совершенно две разные вещи. Какой бы гламурной она ни была, на самом деле это «маркирующая» работа».
Сегодня увлечение искусственным интеллектом привело к появлению чат-ботов, похожих на реальных людей, и программного обеспечения для рисования, которое может генерировать изображения с помощью простых подсказок. Появление больших моделей на уровне феномена привлекло большое внимание как основа для обучения больших моделей. Большое внимание привлекли данные, алгоритмы и вычислительная мощность. Аннотации данных являются неотъемлемой частью канала передачи данных.
В 2007 году Ли Фейфей, в то время доцент кафедры компьютерных наук Принстонского университета, запустил проект под названием ImageNet, надеясь расширить объем данных, которые можно будет использовать для обучения алгоритмов ИИ.
Чтобы предоставить как можно больше наглядных примеров для каждого слова, около 50 000 сотрудников краудсорсинговой платформы Amazon Mechanical Turk потратили два с половиной года на маркировку объектов на изображениях, таких как воздушные шары, клубника и т. д., всего было создано 3,2 миллиона изображений. . Эти рабочие приезжают из 167 стран мира и в основном проживают в районах с низкой стоимостью рабочей силы.
Расследование журнала Time показало, что для снижения уровня насилия, сексизма и расизма в наборе данных ChatGPT OpenAI использовала кенийских рабочих, которые зарабатывали менее 2 долларов в час. Bloomberg сообщил, что чат-бот Google с искусственным интеллектом Бард был обучен тысячами контрактных работников, у которых было всего 3 минуты, чтобы просмотреть и комментировать ответы Барда.
В течение долгого времени аннотирование данных не требовало высоких когнитивных требований к распознаванию языка и изображений. В эпоху больших моделей аннотирование данных перешло от изображений к языку, который является более требовательным и вертикальным, требующим профессиональных знаний в конкретных областях и свободного владения языком.
Но для обычных аннотаторов данных это по-прежнему низкотехнологичная работа, которая постоянно повторяется.
Точно так же, как эти «обманутые» студенты престижных школ, поступающие на стажировку на крупные заводы, они не могут внятно объяснить, для какой цели их труд и в чем его ценность. Зачастую они имеют лишь смутное представление об этом, чтобы «обучить большие модели».
Стажеры по редактированию искусственного интеллекта, представленные Чэнь Си и Ян Сяоюнь, родились из-за необходимости обучать большие модели. Эти популярные масштабные модели позволяют стажерам приходить с любопытством и желанием, но в то же время они ощущают за собой настоящий хаос и бесполезность.
1. Когда студенты колледжей погружаются в аннотации к данным большой модели
**Люди обычно думают, что аннотаторы данных — это группа малообразованных и пожилых людей, живущих в городах третьего и четвертого уровня. Фактически, именно такой была нынешняя ситуация с отечественными аннотаторами данных раньше. **
Согласно «Национальным стандартам профессиональных навыков для тренеров по искусственному интеллекту», опубликованным Министерством человеческих ресурсов и социального обеспечения в 2021 году, общий уровень образования тренеров по искусственному интеллекту — это окончание средней школы (или эквивалентное образование). Они могут быть разбросаны в районах, где расположены традиционные трудоемкие предприятия, таких как Хэбэй, Хэнань, Шаньдун и Шаньси, или даже в более отдаленных горных районах, где аннотирование данных является пилотным проектом по борьбе с бедностью.
**Но изменения уже произошли с появлением крупных моделей. **
Что на самом деле заставляет Ян Сяоюня скучать, так это работа по аннотированию данных, выполняемая для обучения больших моделей.
После несложного обучения и оценки Ян Сяоюнь был назначен в команду редактирования текстов. **Ее ежедневная работа — отвечать на вопросы в банке вопросов. Цель — оптимизировать процесс обучения больших моделей путем ручного написания ответов аннотаторами. **
**Шаги ответа на вопрос строго контролируются. **В качестве примера возьмем игру «Genshin Impact». Если вам зададут вопрос «Что такое священная реликвия Еланя?», Ян Сяоюнь должен разбить ответ на несколько абзацев: Во-первых, что такое Елань? Во-вторых, что такое святые мощи? Чему, в конце концов, соответствует святая реликвия Елана?
Соберите информацию в назначенной поисковой системе, завершите редактирование ответа и, наконец, отправьте его в форме Markdown.
Помимо простых и легких для ответа вопросов, Ян Сяоюнь большую часть времени проводил в профессиональных областях, с которыми он был совершенно незнаком, таких как экономическая зона, правовая зона и т. д.
Очевидно, это полностью отличается от предыдущей работы по аннотированию данных. **
До появления больших моделей сценарии аннотирования данных обычно представляли собой фабрики с сотнями людей, у каждого человека был компьютер, и был только звук мыши и клавиатуры. И за свой 8-часовой рабочий день они делают только одно простое и повторяющееся дело: обрамляют в разные картинки автомобили, неавтомобили, пешеходов и светофоры (обнаружение целей) или подчеркивают подлежащее абзаца, Предикат, объект (семантическая сегментация).
Эти рамки для рисования картинок и видео и семантическая сегментация текста — все это обработка существующих данных, а самим аннотаторам данных не нужно давать «творческие выводы». Но это не относится к аннотациям данных больших моделей. Помимо обработки существующих данных аннотаторам данных также необходимо отвечать на вопросы и давать правильные выводы. **
Согласно «Отчету об углубленном анализе и исследовании инвестиционных тенденций о текущей ситуации в китайской индустрии аннотаций данных (2023-2030 гг.)», опубликованному центром обработки данных Гуаньян Тянься в 2023 году, до выпуска ChatGPT, аннотация данных обучения ИИ в основном основывалась по голосу, компьютерному зрению и естественному языку. Потребность в обработке (НЛП) составляет менее 15%.
Поскольку чат-бот ChatGPT становится феноменальным применением AIGC, растет спрос на высококачественные задачи текстовых аннотаций, такие как эмоциональное суждение, проверка способности к пониманию и даже способности к рассуждению.
«Сложность проектов (больших моделей) стала выше, чем раньше, а требования к персоналу относительно другие», — рассказал руководитель отдела продуктов данных Stardust «Световой год Цзяцзы», «Распознавание и аннотирование частичной визуальной информации». для автономного вождения, которое представляет собой более физическую работу, требуется определенная подготовка сотрудников.После того, как они научатся тянуть коробки, освоят сочетания клавиш и овладеют некоторыми навыками, они могут быстро стать компетентными.** Но что нужно большим моделям, так это полноценный и структурированная, диверсифицированная и всеобъемлющая система данных, которая требует четырех уровней данных для поддержки построения и улучшения модели.Эти данные включают предварительное обучение, SFT (контролируемая точная настройка), RLHF (обучение с подкреплением на основе обратной связи с человеком, Обучение с подкреплением на основе отзывов пользователей), приватизированное развертывание и т. д. В ответ на потребности различных отраслей мы выпустили решение для пирамиды данных большой модели COSMO; для аннотаторов больших модельных данных маркировка данных COSMO не является вопросом с несколькими вариантами ответов или это просто. Вместо понимания прочитанного и редактирования текста он позволяет вам создавать вопросы и ответы, а также создавать контент.**»
Цзя Юхан, генеральный менеджер по данным измерений облаков, делит данные обучения самой крупной модели на три этапа: базовые данные, данные сцены и оптимизация данных сцены. **Он сравнил эти три этапа с процессом обучения.
«Основные аннотации данных, такие как рисование прямоугольников, относительно просты. Вы можете освоить работу на компьютере и сразу же изучить ее; данные сцены — это данные в конкретной области, необходимые для целевых исследований и разработок по конкретным ссылкам. Вам необходимо изучить соответствующие знания в этой области, чтобы достичь аннотации.требования; к третьему этапу, на основе непрерывной итерации и оптимизации во время внедрения, требования к навыкам и знанию предметной области будут более уточненными», — сказал Цзя Юхан.
В связи с таким спросом на работу все больше и больше крупных модельных компаний испытывают спрос на аннотаторов данных, который в прошлом также менялся от малообразованных к высокообразованным, и этот спрос растет.
На основных отечественных платформах поиска работы в настоящее время набирается множество вакансий для аннотаций данных для крупных моделей. Эти должности требуют, чтобы аннотаторы имели степень бакалавра или выше. Ранее компания Baidu заявляла, что в ее крупной базе аннотаций модельных данных в Хайкоу работают сотни аннотаторов данных, а уровень бакалавриата достиг 100%.
Источник изображения: BOSS Жипин и Маймай
2. Жесткие аннотации к данным большой модели
Вообще говоря, обучение большой модели требует следующих трех шагов:
Источник: OpenAI «Представляем ChatGPT».
За этими повторяющимися задачами на самом деле стоит реализация технологии «Обучение с подкреплением на основе обратной связи с человеком». В этом заключается самое большое улучшение GPT-3.5. Ключом является участие человека (маркировщика), то есть этих аннотаторов данных.
Из трех вышеуказанных шагов RLHF первый и второй шаги относительно более важны, поскольку они определяют уровень качества данных, необходимый для обучения модели вознаграждения. Стажеры, работающие над аннотациями данных на этих двух этапах, также делятся на две основные группы: «группа редактирования» и «группа сортировки». **
Задача группы редактирования — отвечать на вопросы в банке вопросов, а задача группы сортировки — ранжировать сгенерированные ответы (включая модельные и искусственно сгенерированные ответы).
Дин Сяоюй присоединился к редактору в июле. Дин Сяоюй, которая также изучает английский язык, и Чэнь Си с нетерпением ждут работы переводчиком, которая сможет повысить их профессиональный уровень, но на самом деле ее работа не связана с английским языком.
По сравнению с тем, когда Ян Сяоюнь проходил стажировку в феврале, команда редакторов, с которой столкнулся Дин Сяоюй, стала более разделенной: каждый стажер должен выбрать вертикальное направление, такое как развлечения, физика, политика и т. д., а требования к ответам стали более разнообразными. подробный.
В вопросе с несколькими вариантами ответов по древней поэзии следует не просто объяснить ответ, а сначала представить тип вопроса, затем перевод и предысторию стихотворения и, наконец, проанализировать, правильный ли каждый вариант или нет. дело в том, чтобы сравнить мартовский GPT-4, выпущенный OpenAI 14-го числа.
«Вы должны обратиться к его ответу, но он не может быть таким же, как его ответ, и он должен быть лучше, чем его ответ», — Дин Сяоюй был беспомощен.
Чэньси поместили в сортировочную группу, где каждый день несколько ответов на вопросы сортировались, чтобы определить плюсы и минусы разных ответов.
Результаты ранжирования должны быть четко определены количественно. Ей нужно оценить ответы с разных точек зрения, таких как полезность, подлинность, актуальность, безопасность и т. д., и записать причины. Это позволит машинам бесконечно приблизиться к ответам, которые ожидают люди.
**Чэнь Си иногда приходилось выбирать между несколькими плохими ответами. А когда все ответы были плохими, ее попросили самой написать ответ получше. **
Дин Сяоюй из редакционной группы сталкивается с еще более жесткими требованиями. Каждый ответ будет рассмотрен в два раунда, прежде чем будет допущен к доставке. Первое пришло от руководителя группы: «После ответа на несколько вопросов мы проведем обзорное совещание, чтобы найти недостатки до тех пор, пока руководитель группы не будет удовлетворен изменениями». до тех пор, пока штаб-квартира не пройдет проверку.
Однажды из-за ошибок форматирования большинство ответов Дин Сяоюя были признаны совершенно неверными. «Возможно, этого будет достаточно, чтобы изменить порядок, но их не волнует, неверно ли содержание вашего ответа или есть ли проблемы с форматом. Просто все не так».
Что еще больше расстроило Дин Сяоюй, так это то, что руководитель группы прямо заявил, что, если она еще раз допустит столько ошибок, ее могут уволить.
**Аннотирование данных для больших моделей — работа, ориентированная исключительно на результат. Независимо от того, сколько усилий вы вкладываете в этот процесс, пока результаты не будут хорошими, все предыдущие усилия будут полностью сведены на нет. **
Но проблема в том, что будь то вывод ответов группы редактирования или сортировка ответов группой сортировки, это очень субъективная задача. Стажерам по аннотациям данных сложно контролировать, хороший или плохой ответ; разные стажеры часто дают разные ответы на один и тот же вопрос.
**Чтобы решить эту проблему, одна из задач, которую группа аннотирования данных большой модели должна выполнять каждый день, — это проведение внутри компании «совещания по обзору», известного как «Гоночное собрание». стандарты ответов и согласование ответов.Все понимают и все предложения согласованы. **
Однако добиться истинного выравнивания довольно сложно. Это похоже на выставление оценок на вступительных экзаменах в колледж. Разным людям будут заданы одни и те же вопросы. Если баллы не совпадают, их необходимо постоянно корректировать до тех пор, пока не будет получен единый балл.
По мнению Чэнь Си, на собраниях ежедневно тратится два-три часа. К концу встречи часто принимается самое простое и грубое решение, когда меньшинство подчиняется большинству.
Однако по сравнению со всеми, кто сидит вместе и «искусственно» согласовывает стандарты ответов, возникает более неприятная проблема: стандарты ** не выравниваются искусственно раз и навсегда, а должны постоянно корректироваться на основе обратной связи с результатами модели. **
Каждый день, приходя на работу, Ян Сяоюнь должен подтвердить, выпущен ли в этот день новый стандарт аннотаций, начиная от рамки ответа, разделения абзацев и заканчивая выбором поисковых систем, таких форматов, как пробелы и знаки препинания. Но** стандарты постоянно меняются. **Как только выяснится, что введенные данные не работают на машине, стандарты необходимо переформулировать, а все проблемы будут отменены и переписаны.
«Это похоже на плетение. Должны ли мы плести горизонтальные или вертикальные волокна? Должны ли мы плести пуговицы из кунжута или пуговицы из пшеницы? Но независимо от того, какая это кнопка, ее можно только поместить в программу и запустить. Если вы обнаружите, что она не может работать выход, вам придется изменить метод», — объяснил Ян Сяоюнь «Цзязи Гуаннянь». За этой метафорой стоит то, что если ответ, данный в аннотации данных, может не достичь ожидаемого эффекта в процессе обучения модели вознаграждения, стандарт необходимо скорректировать.
Изменение стандартов означает, что заключение последней встречи по согласованию является недействительным и стандарты необходимо согласовывать заново.
«Избыточный и эффективный, очень эффективно говорит всякую ерунду каждый день», — пожаловался Ян Сяоюнь.
3. Учащиеся с высокими достижениями, которых эксплуатируют крупные фабрики
С одной стороны, каждый день проводятся бесконечные собрания, а с другой стороны, существуют стандарты данных, которые могут измениться в любой момент. Многие лучшие ученики, такие как Чэнь Си, которых привлекли яркие и блестящие вывески больших фабрик, потеряли первоначальный энтузиазм из-за внутренних разногласий и, в конце концов, решили уйти.
**Общей характеристикой этих стажеров является высокий уровень образования. Требованием к приему на работу является степень бакалавра или выше, но многие стажеры имеют степень магистра. **
Многие из них получили образование в ведущих университетах Китая и даже мира. Ян Сяоюнь был окружен студентами Пекинского университета и Имперского колледжа Лондона, а стажеры рядом с рабочим местом Чэньси были из Нанкайского университета и Университета электронных наук и технологий Китая; во время обучения Дин Сяоюй был четко проинформирован о том, что академическая квалификация стажеров были экранированы. «Он (интервьюер) сказал, что высокообразованные студенты колледжей, такие как мы, могут быстро чему-то научиться и легко приступить к работе».
**Управлять группой умных людей всегда непросто. Потому что эти люди могут легко обнаружить суть своей работы на основе повторяющихся действий, а затем задаться вопросом, действительно ли эта работа ценна для их будущего. **
Дин Сяоюй охарактеризовал свою работу как «малоценную и очень истощающую изнутри».
Когда она каждое утро приходит на свое рабочее место, она открывает экран дисплея и блокнот и использует блокнот, чтобы проверять правила и писать ответы на экране дисплея.Дин Сяоюй ясно чувствует, что подробные правила и процедуры заставляют ее постепенно терять пространство. думать, и она становится машиной. «Если вы чему-то не научитесь и у вас нет сил изучать другие вещи, вы постепенно потеряете мотивацию к обучению и энтузиазм к занятиям другими вещами».
Дин Сяоюй также работал в команде по десенсибилизации, но реальная работа не имеет фундаментальной связи со словом «десенсибилизация». Проработав всего несколько дней, ее перевели в группу корректуры текстов, где ей предстояло исправлять ошибки, возникающие при конвертации формата PDF в формат Word, в основном опечатки и знаки препинания. В ходе процесса, который она описала как «на грани срыва», она каждый день выполняла 25 страниц задач по исправлению медицинских ошибок.
Во время собеседования интервьюер спросил Дина Сяоюя, может ли он согласиться на скучную и однообразную работу. "В то время я ответил, что это приемлемо. Я думаю, что ответы всех кандидатов должны быть приемлемыми". сомнения, Дин Сяоюй все же решил присоединиться к компании.
Всего за два месяца Дин Сяоюй стал считаться человеком, который упорствовал до конца среди стажеров того же периода. Она была свидетелем того, как многие стажеры приходят с большими амбициями, а затем уходят, опустив голову.
Антрополог Дэвид Гребер определяет бредовую работу как работу, которая не имеет смысла и цели. Аннотирование данных — это разновидность ерундовой работы, которую, как часто думают, заменили машины, но для ее выполнения по-прежнему требуются люди.
Когда приходит увлечение искусственным интеллектом, люди часто слышат ожидания того, что ИИ сможет заменить людей в выполнении повторяющихся и скучных задач, тем самым позволяя людям иметь больше времени и энергии для выполнения более творческой и приносящей удовлетворение работы.
Но также возможно, что искусственный интеллект, как и трудосберегающие технологии прошлого, такие как телефоны и пишущие машинки, преодолевает трудности, связанные с передачей информации и рукописным вводом, но также создает большой объем коммуникаций и бумажной работы, для выполнения которых требуется новый искусственный интеллект. Это руководство, такое как стойка регистрации, клерк. ИИ, возможно, не заменит людей, но он создаст более утомительные, скучные и изолирующие рабочие места.
**Помимо того, что они не могут добиться признания ценности своей работы, получаемая ими зарплата может не позволить этим лучшим студентам добиться «ценового признания». **
По данным «Цзязи Гуаннянь», эти данные показывают, что зарплата стажеров невысока. Если они расположены в городе первого уровня, зарплата большинства стажеров по искусственному интеллекту составляет 150 юаней в день, включая комнату и бесплатную столовую; если они расположены в городе второго уровня, остается только 100 юаней в день, 2. Доплата за питание в размере 20 юаней заменяет бесплатное питание.
Как и во время стажировки Дин Сяоюй в городе второго уровня, поскольку офис расположен в центре города и район процветающий, еда на вынос может легко превысить стандарт субсидирования питания в 20 юаней и, по сути, требует выплаты зарплаты за стажировку.
Поскольку большинство из них являются просто базовыми аннотаторами для обучения больших моделей, их могут одинаково назначать на должности, не имеющие ничего общего с их профессией. обучение.
**Дин Сяоюй описал их как группу стажеров, которых использовали крупные фабрики. **
Чэнь Си ясно чувствовала, что она не единственная, кто чувствует разрыв между ожиданиями и реальной работой. «Честно говоря, я чувствую, что эта работа мне не подходит. Иногда при общении я обнаруживаю, что у других стажеров может быть 985 степеней бакалавра, а некоторые вернулись из-за границы со степенью магистра. Разрыв между ними тоже очень велик. , очень большой."
Ян Сяоюнь выразил это более прямо: «Может быть, это неуместная метафора. Моя мать училась в средней школе, поэтому она может выполнять эту работу».
**4. «На самом деле мы рабочие на конвейере» **
Это также является объективным отражением рыночного хаоса на ранних стадиях разработки аннотаций данных больших моделей. **Для компаний, занимающихся аннотацией данных, на текущем этапе разработки крупных моделей аннотация данных еще не сформировала единый стандарт, и к аннотаторам не предъявляются особые требования.
Человек, отвечающий за отдел продуктов данных Stardust, сказал: «По мере того, как основные возможности большой модели будут завершены, а процесс разработки станет более вертикальным и сложным, задачи будут постепенно меняться, требуя обновления и повторения инструментов и персонала. соответственно. Однако большие модели все еще находятся на ранних стадиях разработки, и рыночный спрос на аннотаторов варьируется в зависимости от задачи. По сравнению с проектами CV (компьютерное зрение), аннотаторы NLP (обработка естественного языка) предъявляют более высокие требования к способности понимания. требования к профессиональной терминологии и знанию предметной области выше, и необходимо предоставить точный и надежный корпус».
Ответственное лицо сказало, что проблемы, создаваемые большими моделями для аннотирования данных, больше отражаются на дизайне верхнего уровня. Для каждой задачи аннотирования данных: как понять требования сценария приложения клиента, разработать набор решений, таких как выбор данных, проектирование распределения данных и проектирование конвейера, которые можно реализовать эффективно и с низкими затратами, а также как повысить эффективность и возможности. инструментов платформы являются ключевыми. Более серьезная задача.
Это зависит от участия экспертов в вертикальных областях в качестве старших аннотаторов, внедрения знаний и опыта в области разработки решения и даже участия в итерационном процессе проверки качества данных.
Чжан Цзыцянь, руководитель отдела операций поставщика решений для обработки данных Besai Technology, прямо заявил, что в настоящее время с точки зрения обучения крупномасштабных моделей нет очевидной разницы в сложности работы и почасовой оплате труда между базовыми аннотаторами и аннотаторами, которые ранее занимались выбором кадров. . **При тонкой настройке больших моделей и создании решений в вертикальных областях для клиентов самая большая проблема заключается в том, как построить высококачественные наборы данных, что требует маркировки экспертов в профессиональных областях, таких как ИТ, медицина и финансы.Такие таланты все еще остаются. Дефицит.
OpenAI инвестировала десятки докторантов в руководство и проверку аннотаций данных, а также передала базовые аннотации данных на аутсорсинг компаниям, занимающимся аннотацией данных, разбросанным в регионах с низкими доходами, таких как Африка и Индия. **Те, кто действительно имеет значение, — это старшие аннотаторы, которых составляет лишь небольшая часть. **
Сравнивая должностные инструкции аннотаторов, нанятых Baidu в штаб-квартире Baidu в ее штаб-квартире в Пекине, и в базе аннотаций данных в Хайкоу, мы видим, что они также предназначены для обучения больших моделей. аннотатор базовых данных. У них совершенно разные уровни заработной платы.
Источник изображения: прямой подбор персонала BOSS
**Другими словами, эти старшие аннотаторы более высокого уровня на самом деле являются ключевыми специалистами для обучения крупных моделей. Их работа более технична и ценна, а стоимость рабочей силы также выше. **
**Напротив, даже если эти стажеры из престижных школ приезжают обучать крупные модели, на этом этапе они, по сути, такие же, как те аннотаторы данных в прошлом. **
**Стажеры часто шутят между собой, что они работают не на большом заводе, а в Internet Foxconn, и они рабочие на конвейере. Они не могут ни увидеть, к чему в конечном итоге приведут результаты их работы, ни создать горизонтальную цепочку смыслов с окружающими их людьми. **
Эта шутка об «Интернет-Фоксконне» относится не только к работе этих стажеров, но и к модели рабочей нагрузки и управления, которая практически соответствует заводскому конвейеру.
Объем работы, которую стажеры должны выполнять каждый день, имеет установленную красную линию эффективности человека. Ян Сяоюнь должна отмечать 32 вопроса в день. Если красная линия не достигнута, ей приходится сообщить о причинах или работать сверхурочно, чтобы закончить задание. Обязательным условием завершения работы являются постоянно меняющиеся стандарты Ассоциации лазов и непрерывный сбор информации.
Чтобы завершить обучение модели как можно быстрее, команда аннотаторов сталкивается с большим давлением со стороны руководства. Группе Ян Сяоюня не разрешается разговаривать в рабочее время. Цена нескольких светских бесед может быть добавлена к рабочей нагрузке. Если вы не сможете завершить работу, вам будут лихорадочно напоминать в группе. Даже если вы заболели и спросите на отпуск вас может прервать срочный звонок от вашего постоянного сотрудника.
Кроме того, во избежание утечки данных обмен аннотациями данных между группами категорически запрещен. Даже если стажеров из разных групп разместить в непосредственной близости, они не смогут обсуждать содержание работы. Никто из этих стажеров не знает, сколько подразделённых групп имеется в маркировке данных компании и сколько там стажёров. В группе может быть 10, 40, 50, 60 или сотни человек на каждом этаже.
Под высоким давлением на человеческую эффективность Ян Сяоюнь может быть «счастливым» лишь временно, сталкиваясь с запрещенными вопросами. Потому что контент, связанный с насилием, порнографией и кровью, должен быть удален напрямую, но его все равно можно учитывать в личных рабочих материалах. «Это все равно, что затянуть плохой винт. Вы будете только рады тому, что вам не придется затягивать винт». Во время утреннего разделения труда стажеры даже соревновались друг с другом за получение запрещенных предметов.
После того, как Ян Сяоюнь рано ушла с работы, она часто посещала «Моменты» стажеров, которые все еще собирались в компании в 10 часов вечера, а то и в 12 часов. Есть также стажеры, которые отправляют ей голосовые сообщения, плачут, но поскольку они сняли дом и не имеют возможности уйти, если они не смогут упорствовать, это означает, что вся арендная плата будет потрачена впустую.
5. Здесь никогда не будет недостатка в людях
Но дело не в людях, которые не выстояли.
Ли Чжуси — один из редких стажеров, имеющих опыт аннотирования данных. Она изучала когнитивную лингвистику и объяснила, что направление объединения лингвистики с неврологией, наблюдения за визуализацией мозга, включая создание интерфейсов «мозг-компьютер», имеет определенную связь с искусственным интеллектом.
Прежде чем прийти на эту большую фабрику, она делала аннотации данных для больших языковых моделей на другой крупной фабрике, и это было до выпуска ChatGPT. По мнению Ли Чжуси, после того, как ChatGPT вышел из круга, подобные стажировки по аннотациям данных выросли, как грибы после дождя.
Она успешно прошла трехмесячную стажировку, хотя и описывала ее как «относительно механическую и не очень сложную» работу. Ли Чжуси рассказал, что он уделяет больше внимания опыту: «Я не ожидаю, что эта работа будет интересной. Все равно приятно испытать ее. Я не только получаю опыт стажировки на крупной фабрике, но и ощущаю здесь уникальную корпоративную культуру. "
Для Чжао Шуо, студента гуманитарных наук из школы в Шуанфэе, должность стажировки по редактированию искусственного интеллекта на крупной фабрике была его выбором высшего уровня.
Когда он искал летнюю стажировку, он на самом деле предпочел оперативную должность в научно-исследовательском институте. Исследовательский институт является государственным учреждением и имеет персонал, что было очень привлекательно для Чжао Шо. «В то время я особенно с нетерпением ждал возможности обратная связь, которую он может мне дать». Но в итоге институт не выбрал Чжао Шо, который был аспирантом первого курса, а принял на работу студента старших курсов.
Есть люди более «кудрявые».
По мнению Чжао Шуо, некоторые стажеры будут работать особенно усердно и брать на себя больше задач, чтобы найти возможности стать постоянными сотрудниками. Серьезное и прилежное отношение поможет завоевать расположение штатных сотрудников: «Руководители часто вступают с ними в определенный обмен мнениями, а также дают им определенные полномочия руководства для управления стажерами».
Компания даже каждую неделю отбирает стажеров, показавших выдающиеся результаты, и размещает их фотографии на стене в знак признания, но не обязательно получать бонусы, как и в бизнес-направлении Чжао Шо.
Цзя Юхан, генеральный менеджер Yunmei Data, рассказал Jiaziguangnian, что существует два основных пути продвижения по службе для аннотаторов данных: один — экспертный. После овладения соответствующими навыками в конкретных вертикальных областях младшие аннотаторы могут постепенно стать старшими экспертами по аннотациям. путь управления, становясь менеджером проекта.
Но Чжао Шо не хотел оставаться. После года обучения в аспирантуре Чжао Шо ясно осознал, что его ожидания в отношении будущей работы упали. Чувствуя нарастающие изменения в общей среде и наблюдая за неудовлетворенностью студентов, выбравших работу после окончания учебы, ранее ожидаемая для Чжао Шо «высококлассная, сложная» и «незаменимая» работа постепенно сменилась стабильной работой. Будучи студентом гуманитарного факультета, он обеспокоен тем, что еще не овладел незаменимыми навыками, и надеется найти работу, которая будет удовлетворяться в учреждении.
В чате стажеры сетовали друг другу на то, что работу, которую они выполняют, вскоре могут заменить машины, и ручная подача данных больше не понадобится.
Для Цзя Юхана, генерального менеджера Cloud Measurement Data, подобных опасений не существует. Благодаря фактическому массовому производству алгоритмов и расширению возможностей замкнутого цикла данных общий объем маркированных данных и объем маркировки данных вручную продолжают увеличиваться из года в год. Раньше это было 100% ручное аннотирование, но теперь существует определенная доля ручного аннотирования, автоматического аннотирования и ручной проверки. В будущем доля автоматической маркировки может стать все больше и больше. Однако, хотя доля ручных аннотаций снижается, с постепенным развитием индустрии искусственного интеллекта и увеличением объема данных объем ручных аннотаций будет продолжать расти.
Рано уйдя с работы, Ян Сяоюнь нашла стажировку по планированию игр, которая ей понравилась. Рабочая атмосфера там была непринужденной, и она почувствовала себя более полезной. Редактирование с использованием искусственного интеллекта оказалось для нее «неудачным» опытом стажировки. Для Дин Сяоюй это был процесс разочарования. Даже если она пойдет на стажировку на крупную фабрику, которую она с нетерпением ждала, ей все равно придется столкнуться с бесчисленным количеством скучной работы. Она чувствовала, что это могло быть потому, что ее способности были недостаточно сильными. достаточно или было слишком мало возможностей для опыта. .
Но недостатка в людях там никогда не будет.
Ян Сяоюнь слышала, что после ее ухода команда за месяц выросла с десятков до сотен. Дин Сяоюй обнаружил, что каждые 10 дней приходила новая партия стажеров, каждая из которых состояла из двадцати или тридцати человек.
«Вы можете уйти, ругаясь и рассказывая миру, насколько плоха ваша работа, но на ваше место будет приходить постоянный поток новых людей».
*По просьбе собеседников, персонажи статьи Чэнь Си, Ян Сяоюнь, Дин Сяоюй, Ли Чжуси и Чжао Шо являются псевдонимами.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Стажеры под увлечением большими моделями: 985 на душу населения? Но «маркировка» на большом заводе
Источник: Цзяцзы Гуаннянь.
Автор: Чжу Юэ
В первый день официальной стажировки Чэнь Си почувствовала, что ее, возможно, «обманули».
Чэнь Си, будущая аспирантка, только что защитившая дипломную работу, была готова найти себе занятие. После подачи нескольких резюме ее вскоре пригласили на должность редактора искусственного интеллекта (направление переводов) в крупную отечественную интернет-компанию.
Описание вакансии гласит:
Для Чэнь Си, который мало что знал о модельном обучении, это казалось довольно хорошей стажировкой.
Собеседование Чэньси проходило в области перевода, что очень соответствует ее специальности английского языка. В начале года ChatGPT стал популярен в Китае, и Чэньси имеет привычку использовать продукты искусственного интеллекта каждый день, что соответствует ее интересам. Кроме того, у нее будет возможность участвовать в новых технологиях. За последние несколько лет компания успешно привлекла бесчисленное количество молодых студентов. С определенной точки зрения, названия крупной компании в резюме достаточно, чтобы стать символом собственных способностей.
Однако, кроме простого описания вакансии на странице набора персонала, Чэнь Си не получил от интервьюера никакой дополнительной информации об этой стажировке.
«Причина, по которой я тогда почувствовал себя обманутым, заключалась в том, что во время собеседования отдел кадров в основном сосредоточился на вопросах, связанных с переводом». Пока она не начала работать, она думала, что это работа переводчика.
Чэнь Си не единственный, кто чувствует себя «обманутым».
Ян Сяоюнь, один из первых стажеров редакторов искусственного интеллекта, также приехал на эту крупную фабрику в конце февраля. Интервьюер сказал, что эта работа требует высоких навыков, таких как сбор информации, обобщение языка и редактирование текста.
Приступив к делу, она поняла: «Работа, описанная HR, и реальная работа — это совершенно две разные вещи. Какой бы гламурной она ни была, на самом деле это «маркирующая» работа».
Сегодня увлечение искусственным интеллектом привело к появлению чат-ботов, похожих на реальных людей, и программного обеспечения для рисования, которое может генерировать изображения с помощью простых подсказок. Появление больших моделей на уровне феномена привлекло большое внимание как основа для обучения больших моделей. Большое внимание привлекли данные, алгоритмы и вычислительная мощность. Аннотации данных являются неотъемлемой частью канала передачи данных.
В 2007 году Ли Фейфей, в то время доцент кафедры компьютерных наук Принстонского университета, запустил проект под названием ImageNet, надеясь расширить объем данных, которые можно будет использовать для обучения алгоритмов ИИ.
Чтобы предоставить как можно больше наглядных примеров для каждого слова, около 50 000 сотрудников краудсорсинговой платформы Amazon Mechanical Turk потратили два с половиной года на маркировку объектов на изображениях, таких как воздушные шары, клубника и т. д., всего было создано 3,2 миллиона изображений. . Эти рабочие приезжают из 167 стран мира и в основном проживают в районах с низкой стоимостью рабочей силы.
Расследование журнала Time показало, что для снижения уровня насилия, сексизма и расизма в наборе данных ChatGPT OpenAI использовала кенийских рабочих, которые зарабатывали менее 2 долларов в час. Bloomberg сообщил, что чат-бот Google с искусственным интеллектом Бард был обучен тысячами контрактных работников, у которых было всего 3 минуты, чтобы просмотреть и комментировать ответы Барда.
В течение долгого времени аннотирование данных не требовало высоких когнитивных требований к распознаванию языка и изображений. В эпоху больших моделей аннотирование данных перешло от изображений к языку, который является более требовательным и вертикальным, требующим профессиональных знаний в конкретных областях и свободного владения языком.
Но для обычных аннотаторов данных это по-прежнему низкотехнологичная работа, которая постоянно повторяется.
Точно так же, как эти «обманутые» студенты престижных школ, поступающие на стажировку на крупные заводы, они не могут внятно объяснить, для какой цели их труд и в чем его ценность. Зачастую они имеют лишь смутное представление об этом, чтобы «обучить большие модели».
Стажеры по редактированию искусственного интеллекта, представленные Чэнь Си и Ян Сяоюнь, родились из-за необходимости обучать большие модели. Эти популярные масштабные модели позволяют стажерам приходить с любопытством и желанием, но в то же время они ощущают за собой настоящий хаос и бесполезность.
1. Когда студенты колледжей погружаются в аннотации к данным большой модели
Согласно «Национальным стандартам профессиональных навыков для тренеров по искусственному интеллекту», опубликованным Министерством человеческих ресурсов и социального обеспечения в 2021 году, общий уровень образования тренеров по искусственному интеллекту — это окончание средней школы (или эквивалентное образование). Они могут быть разбросаны в районах, где расположены традиционные трудоемкие предприятия, таких как Хэбэй, Хэнань, Шаньдун и Шаньси, или даже в более отдаленных горных районах, где аннотирование данных является пилотным проектом по борьбе с бедностью.
**Но изменения уже произошли с появлением крупных моделей. **
Что на самом деле заставляет Ян Сяоюня скучать, так это работа по аннотированию данных, выполняемая для обучения больших моделей.
После несложного обучения и оценки Ян Сяоюнь был назначен в команду редактирования текстов. **Ее ежедневная работа — отвечать на вопросы в банке вопросов. Цель — оптимизировать процесс обучения больших моделей путем ручного написания ответов аннотаторами. **
**Шаги ответа на вопрос строго контролируются. **В качестве примера возьмем игру «Genshin Impact». Если вам зададут вопрос «Что такое священная реликвия Еланя?», Ян Сяоюнь должен разбить ответ на несколько абзацев: Во-первых, что такое Елань? Во-вторых, что такое святые мощи? Чему, в конце концов, соответствует святая реликвия Елана?
Соберите информацию в назначенной поисковой системе, завершите редактирование ответа и, наконец, отправьте его в форме Markdown.
Помимо простых и легких для ответа вопросов, Ян Сяоюнь большую часть времени проводил в профессиональных областях, с которыми он был совершенно незнаком, таких как экономическая зона, правовая зона и т. д.
Очевидно, это полностью отличается от предыдущей работы по аннотированию данных. **
До появления больших моделей сценарии аннотирования данных обычно представляли собой фабрики с сотнями людей, у каждого человека был компьютер, и был только звук мыши и клавиатуры. И за свой 8-часовой рабочий день они делают только одно простое и повторяющееся дело: обрамляют в разные картинки автомобили, неавтомобили, пешеходов и светофоры (обнаружение целей) или подчеркивают подлежащее абзаца, Предикат, объект (семантическая сегментация).
Эти рамки для рисования картинок и видео и семантическая сегментация текста — все это обработка существующих данных, а самим аннотаторам данных не нужно давать «творческие выводы». Но это не относится к аннотациям данных больших моделей. Помимо обработки существующих данных аннотаторам данных также необходимо отвечать на вопросы и давать правильные выводы. **
Согласно «Отчету об углубленном анализе и исследовании инвестиционных тенденций о текущей ситуации в китайской индустрии аннотаций данных (2023-2030 гг.)», опубликованному центром обработки данных Гуаньян Тянься в 2023 году, до выпуска ChatGPT, аннотация данных обучения ИИ в основном основывалась по голосу, компьютерному зрению и естественному языку. Потребность в обработке (НЛП) составляет менее 15%.
Поскольку чат-бот ChatGPT становится феноменальным применением AIGC, растет спрос на высококачественные задачи текстовых аннотаций, такие как эмоциональное суждение, проверка способности к пониманию и даже способности к рассуждению.
«Сложность проектов (больших моделей) стала выше, чем раньше, а требования к персоналу относительно другие», — рассказал руководитель отдела продуктов данных Stardust «Световой год Цзяцзы», «Распознавание и аннотирование частичной визуальной информации». для автономного вождения, которое представляет собой более физическую работу, требуется определенная подготовка сотрудников.После того, как они научатся тянуть коробки, освоят сочетания клавиш и овладеют некоторыми навыками, они могут быстро стать компетентными.** Но что нужно большим моделям, так это полноценный и структурированная, диверсифицированная и всеобъемлющая система данных, которая требует четырех уровней данных для поддержки построения и улучшения модели.Эти данные включают предварительное обучение, SFT (контролируемая точная настройка), RLHF (обучение с подкреплением на основе обратной связи с человеком, Обучение с подкреплением на основе отзывов пользователей), приватизированное развертывание и т. д. В ответ на потребности различных отраслей мы выпустили решение для пирамиды данных большой модели COSMO; для аннотаторов больших модельных данных маркировка данных COSMO не является вопросом с несколькими вариантами ответов или это просто. Вместо понимания прочитанного и редактирования текста он позволяет вам создавать вопросы и ответы, а также создавать контент.**»
Цзя Юхан, генеральный менеджер по данным измерений облаков, делит данные обучения самой крупной модели на три этапа: базовые данные, данные сцены и оптимизация данных сцены. **Он сравнил эти три этапа с процессом обучения.
«Основные аннотации данных, такие как рисование прямоугольников, относительно просты. Вы можете освоить работу на компьютере и сразу же изучить ее; данные сцены — это данные в конкретной области, необходимые для целевых исследований и разработок по конкретным ссылкам. Вам необходимо изучить соответствующие знания в этой области, чтобы достичь аннотации.требования; к третьему этапу, на основе непрерывной итерации и оптимизации во время внедрения, требования к навыкам и знанию предметной области будут более уточненными», — сказал Цзя Юхан.
В связи с таким спросом на работу все больше и больше крупных модельных компаний испытывают спрос на аннотаторов данных, который в прошлом также менялся от малообразованных к высокообразованным, и этот спрос растет.
На основных отечественных платформах поиска работы в настоящее время набирается множество вакансий для аннотаций данных для крупных моделей. Эти должности требуют, чтобы аннотаторы имели степень бакалавра или выше. Ранее компания Baidu заявляла, что в ее крупной базе аннотаций модельных данных в Хайкоу работают сотни аннотаторов данных, а уровень бакалавриата достиг 100%.
2. Жесткие аннотации к данным большой модели
За этими повторяющимися задачами на самом деле стоит реализация технологии «Обучение с подкреплением на основе обратной связи с человеком». В этом заключается самое большое улучшение GPT-3.5. Ключом является участие человека (маркировщика), то есть этих аннотаторов данных.
Из трех вышеуказанных шагов RLHF первый и второй шаги относительно более важны, поскольку они определяют уровень качества данных, необходимый для обучения модели вознаграждения. Стажеры, работающие над аннотациями данных на этих двух этапах, также делятся на две основные группы: «группа редактирования» и «группа сортировки». **
Задача группы редактирования — отвечать на вопросы в банке вопросов, а задача группы сортировки — ранжировать сгенерированные ответы (включая модельные и искусственно сгенерированные ответы).
Дин Сяоюй присоединился к редактору в июле. Дин Сяоюй, которая также изучает английский язык, и Чэнь Си с нетерпением ждут работы переводчиком, которая сможет повысить их профессиональный уровень, но на самом деле ее работа не связана с английским языком.
По сравнению с тем, когда Ян Сяоюнь проходил стажировку в феврале, команда редакторов, с которой столкнулся Дин Сяоюй, стала более разделенной: каждый стажер должен выбрать вертикальное направление, такое как развлечения, физика, политика и т. д., а требования к ответам стали более разнообразными. подробный.
В вопросе с несколькими вариантами ответов по древней поэзии следует не просто объяснить ответ, а сначала представить тип вопроса, затем перевод и предысторию стихотворения и, наконец, проанализировать, правильный ли каждый вариант или нет. дело в том, чтобы сравнить мартовский GPT-4, выпущенный OpenAI 14-го числа.
«Вы должны обратиться к его ответу, но он не может быть таким же, как его ответ, и он должен быть лучше, чем его ответ», — Дин Сяоюй был беспомощен.
Чэньси поместили в сортировочную группу, где каждый день несколько ответов на вопросы сортировались, чтобы определить плюсы и минусы разных ответов.
Результаты ранжирования должны быть четко определены количественно. Ей нужно оценить ответы с разных точек зрения, таких как полезность, подлинность, актуальность, безопасность и т. д., и записать причины. Это позволит машинам бесконечно приблизиться к ответам, которые ожидают люди.
**Чэнь Си иногда приходилось выбирать между несколькими плохими ответами. А когда все ответы были плохими, ее попросили самой написать ответ получше. **
Дин Сяоюй из редакционной группы сталкивается с еще более жесткими требованиями. Каждый ответ будет рассмотрен в два раунда, прежде чем будет допущен к доставке. Первое пришло от руководителя группы: «После ответа на несколько вопросов мы проведем обзорное совещание, чтобы найти недостатки до тех пор, пока руководитель группы не будет удовлетворен изменениями». до тех пор, пока штаб-квартира не пройдет проверку.
Однажды из-за ошибок форматирования большинство ответов Дин Сяоюя были признаны совершенно неверными. «Возможно, этого будет достаточно, чтобы изменить порядок, но их не волнует, неверно ли содержание вашего ответа или есть ли проблемы с форматом. Просто все не так».
Что еще больше расстроило Дин Сяоюй, так это то, что руководитель группы прямо заявил, что, если она еще раз допустит столько ошибок, ее могут уволить.
**Аннотирование данных для больших моделей — работа, ориентированная исключительно на результат. Независимо от того, сколько усилий вы вкладываете в этот процесс, пока результаты не будут хорошими, все предыдущие усилия будут полностью сведены на нет. **
Но проблема в том, что будь то вывод ответов группы редактирования или сортировка ответов группой сортировки, это очень субъективная задача. Стажерам по аннотациям данных сложно контролировать, хороший или плохой ответ; разные стажеры часто дают разные ответы на один и тот же вопрос.
**Чтобы решить эту проблему, одна из задач, которую группа аннотирования данных большой модели должна выполнять каждый день, — это проведение внутри компании «совещания по обзору», известного как «Гоночное собрание». стандарты ответов и согласование ответов.Все понимают и все предложения согласованы. **
Однако добиться истинного выравнивания довольно сложно. Это похоже на выставление оценок на вступительных экзаменах в колледж. Разным людям будут заданы одни и те же вопросы. Если баллы не совпадают, их необходимо постоянно корректировать до тех пор, пока не будет получен единый балл.
По мнению Чэнь Си, на собраниях ежедневно тратится два-три часа. К концу встречи часто принимается самое простое и грубое решение, когда меньшинство подчиняется большинству.
Однако по сравнению со всеми, кто сидит вместе и «искусственно» согласовывает стандарты ответов, возникает более неприятная проблема: стандарты ** не выравниваются искусственно раз и навсегда, а должны постоянно корректироваться на основе обратной связи с результатами модели. **
Каждый день, приходя на работу, Ян Сяоюнь должен подтвердить, выпущен ли в этот день новый стандарт аннотаций, начиная от рамки ответа, разделения абзацев и заканчивая выбором поисковых систем, таких форматов, как пробелы и знаки препинания. Но** стандарты постоянно меняются. **Как только выяснится, что введенные данные не работают на машине, стандарты необходимо переформулировать, а все проблемы будут отменены и переписаны.
«Это похоже на плетение. Должны ли мы плести горизонтальные или вертикальные волокна? Должны ли мы плести пуговицы из кунжута или пуговицы из пшеницы? Но независимо от того, какая это кнопка, ее можно только поместить в программу и запустить. Если вы обнаружите, что она не может работать выход, вам придется изменить метод», — объяснил Ян Сяоюнь «Цзязи Гуаннянь». За этой метафорой стоит то, что если ответ, данный в аннотации данных, может не достичь ожидаемого эффекта в процессе обучения модели вознаграждения, стандарт необходимо скорректировать.
Изменение стандартов означает, что заключение последней встречи по согласованию является недействительным и стандарты необходимо согласовывать заново.
«Избыточный и эффективный, очень эффективно говорит всякую ерунду каждый день», — пожаловался Ян Сяоюнь.
3. Учащиеся с высокими достижениями, которых эксплуатируют крупные фабрики
**Общей характеристикой этих стажеров является высокий уровень образования. Требованием к приему на работу является степень бакалавра или выше, но многие стажеры имеют степень магистра. **
Многие из них получили образование в ведущих университетах Китая и даже мира. Ян Сяоюнь был окружен студентами Пекинского университета и Имперского колледжа Лондона, а стажеры рядом с рабочим местом Чэньси были из Нанкайского университета и Университета электронных наук и технологий Китая; во время обучения Дин Сяоюй был четко проинформирован о том, что академическая квалификация стажеров были экранированы. «Он (интервьюер) сказал, что высокообразованные студенты колледжей, такие как мы, могут быстро чему-то научиться и легко приступить к работе».
**Управлять группой умных людей всегда непросто. Потому что эти люди могут легко обнаружить суть своей работы на основе повторяющихся действий, а затем задаться вопросом, действительно ли эта работа ценна для их будущего. **
Дин Сяоюй охарактеризовал свою работу как «малоценную и очень истощающую изнутри».
Когда она каждое утро приходит на свое рабочее место, она открывает экран дисплея и блокнот и использует блокнот, чтобы проверять правила и писать ответы на экране дисплея.Дин Сяоюй ясно чувствует, что подробные правила и процедуры заставляют ее постепенно терять пространство. думать, и она становится машиной. «Если вы чему-то не научитесь и у вас нет сил изучать другие вещи, вы постепенно потеряете мотивацию к обучению и энтузиазм к занятиям другими вещами».
Дин Сяоюй также работал в команде по десенсибилизации, но реальная работа не имеет фундаментальной связи со словом «десенсибилизация». Проработав всего несколько дней, ее перевели в группу корректуры текстов, где ей предстояло исправлять ошибки, возникающие при конвертации формата PDF в формат Word, в основном опечатки и знаки препинания. В ходе процесса, который она описала как «на грани срыва», она каждый день выполняла 25 страниц задач по исправлению медицинских ошибок.
Во время собеседования интервьюер спросил Дина Сяоюя, может ли он согласиться на скучную и однообразную работу. "В то время я ответил, что это приемлемо. Я думаю, что ответы всех кандидатов должны быть приемлемыми". сомнения, Дин Сяоюй все же решил присоединиться к компании.
Всего за два месяца Дин Сяоюй стал считаться человеком, который упорствовал до конца среди стажеров того же периода. Она была свидетелем того, как многие стажеры приходят с большими амбициями, а затем уходят, опустив голову.
Антрополог Дэвид Гребер определяет бредовую работу как работу, которая не имеет смысла и цели. Аннотирование данных — это разновидность ерундовой работы, которую, как часто думают, заменили машины, но для ее выполнения по-прежнему требуются люди.
Когда приходит увлечение искусственным интеллектом, люди часто слышат ожидания того, что ИИ сможет заменить людей в выполнении повторяющихся и скучных задач, тем самым позволяя людям иметь больше времени и энергии для выполнения более творческой и приносящей удовлетворение работы.
Но также возможно, что искусственный интеллект, как и трудосберегающие технологии прошлого, такие как телефоны и пишущие машинки, преодолевает трудности, связанные с передачей информации и рукописным вводом, но также создает большой объем коммуникаций и бумажной работы, для выполнения которых требуется новый искусственный интеллект. Это руководство, такое как стойка регистрации, клерк. ИИ, возможно, не заменит людей, но он создаст более утомительные, скучные и изолирующие рабочие места.
**Помимо того, что они не могут добиться признания ценности своей работы, получаемая ими зарплата может не позволить этим лучшим студентам добиться «ценового признания». **
По данным «Цзязи Гуаннянь», эти данные показывают, что зарплата стажеров невысока. Если они расположены в городе первого уровня, зарплата большинства стажеров по искусственному интеллекту составляет 150 юаней в день, включая комнату и бесплатную столовую; если они расположены в городе второго уровня, остается только 100 юаней в день, 2. Доплата за питание в размере 20 юаней заменяет бесплатное питание.
Как и во время стажировки Дин Сяоюй в городе второго уровня, поскольку офис расположен в центре города и район процветающий, еда на вынос может легко превысить стандарт субсидирования питания в 20 юаней и, по сути, требует выплаты зарплаты за стажировку.
Поскольку большинство из них являются просто базовыми аннотаторами для обучения больших моделей, их могут одинаково назначать на должности, не имеющие ничего общего с их профессией. обучение.
**Дин Сяоюй описал их как группу стажеров, которых использовали крупные фабрики. **
Чэнь Си ясно чувствовала, что она не единственная, кто чувствует разрыв между ожиданиями и реальной работой. «Честно говоря, я чувствую, что эта работа мне не подходит. Иногда при общении я обнаруживаю, что у других стажеров может быть 985 степеней бакалавра, а некоторые вернулись из-за границы со степенью магистра. Разрыв между ними тоже очень велик. , очень большой."
Ян Сяоюнь выразил это более прямо: «Может быть, это неуместная метафора. Моя мать училась в средней школе, поэтому она может выполнять эту работу».
**4. «На самом деле мы рабочие на конвейере» **
Человек, отвечающий за отдел продуктов данных Stardust, сказал: «По мере того, как основные возможности большой модели будут завершены, а процесс разработки станет более вертикальным и сложным, задачи будут постепенно меняться, требуя обновления и повторения инструментов и персонала. соответственно. Однако большие модели все еще находятся на ранних стадиях разработки, и рыночный спрос на аннотаторов варьируется в зависимости от задачи. По сравнению с проектами CV (компьютерное зрение), аннотаторы NLP (обработка естественного языка) предъявляют более высокие требования к способности понимания. требования к профессиональной терминологии и знанию предметной области выше, и необходимо предоставить точный и надежный корпус».
Ответственное лицо сказало, что проблемы, создаваемые большими моделями для аннотирования данных, больше отражаются на дизайне верхнего уровня. Для каждой задачи аннотирования данных: как понять требования сценария приложения клиента, разработать набор решений, таких как выбор данных, проектирование распределения данных и проектирование конвейера, которые можно реализовать эффективно и с низкими затратами, а также как повысить эффективность и возможности. инструментов платформы являются ключевыми. Более серьезная задача.
Это зависит от участия экспертов в вертикальных областях в качестве старших аннотаторов, внедрения знаний и опыта в области разработки решения и даже участия в итерационном процессе проверки качества данных.
Чжан Цзыцянь, руководитель отдела операций поставщика решений для обработки данных Besai Technology, прямо заявил, что в настоящее время с точки зрения обучения крупномасштабных моделей нет очевидной разницы в сложности работы и почасовой оплате труда между базовыми аннотаторами и аннотаторами, которые ранее занимались выбором кадров. . **При тонкой настройке больших моделей и создании решений в вертикальных областях для клиентов самая большая проблема заключается в том, как построить высококачественные наборы данных, что требует маркировки экспертов в профессиональных областях, таких как ИТ, медицина и финансы.Такие таланты все еще остаются. Дефицит.
OpenAI инвестировала десятки докторантов в руководство и проверку аннотаций данных, а также передала базовые аннотации данных на аутсорсинг компаниям, занимающимся аннотацией данных, разбросанным в регионах с низкими доходами, таких как Африка и Индия. **Те, кто действительно имеет значение, — это старшие аннотаторы, которых составляет лишь небольшая часть. **
Сравнивая должностные инструкции аннотаторов, нанятых Baidu в штаб-квартире Baidu в ее штаб-квартире в Пекине, и в базе аннотаций данных в Хайкоу, мы видим, что они также предназначены для обучения больших моделей. аннотатор базовых данных. У них совершенно разные уровни заработной платы.
**Другими словами, эти старшие аннотаторы более высокого уровня на самом деле являются ключевыми специалистами для обучения крупных моделей. Их работа более технична и ценна, а стоимость рабочей силы также выше. **
**Напротив, даже если эти стажеры из престижных школ приезжают обучать крупные модели, на этом этапе они, по сути, такие же, как те аннотаторы данных в прошлом. **
**Стажеры часто шутят между собой, что они работают не на большом заводе, а в Internet Foxconn, и они рабочие на конвейере. Они не могут ни увидеть, к чему в конечном итоге приведут результаты их работы, ни создать горизонтальную цепочку смыслов с окружающими их людьми. **
Эта шутка об «Интернет-Фоксконне» относится не только к работе этих стажеров, но и к модели рабочей нагрузки и управления, которая практически соответствует заводскому конвейеру.
Объем работы, которую стажеры должны выполнять каждый день, имеет установленную красную линию эффективности человека. Ян Сяоюнь должна отмечать 32 вопроса в день. Если красная линия не достигнута, ей приходится сообщить о причинах или работать сверхурочно, чтобы закончить задание. Обязательным условием завершения работы являются постоянно меняющиеся стандарты Ассоциации лазов и непрерывный сбор информации.
Чтобы завершить обучение модели как можно быстрее, команда аннотаторов сталкивается с большим давлением со стороны руководства. Группе Ян Сяоюня не разрешается разговаривать в рабочее время. Цена нескольких светских бесед может быть добавлена к рабочей нагрузке. Если вы не сможете завершить работу, вам будут лихорадочно напоминать в группе. Даже если вы заболели и спросите на отпуск вас может прервать срочный звонок от вашего постоянного сотрудника.
Кроме того, во избежание утечки данных обмен аннотациями данных между группами категорически запрещен. Даже если стажеров из разных групп разместить в непосредственной близости, они не смогут обсуждать содержание работы. Никто из этих стажеров не знает, сколько подразделённых групп имеется в маркировке данных компании и сколько там стажёров. В группе может быть 10, 40, 50, 60 или сотни человек на каждом этаже.
Под высоким давлением на человеческую эффективность Ян Сяоюнь может быть «счастливым» лишь временно, сталкиваясь с запрещенными вопросами. Потому что контент, связанный с насилием, порнографией и кровью, должен быть удален напрямую, но его все равно можно учитывать в личных рабочих материалах. «Это все равно, что затянуть плохой винт. Вы будете только рады тому, что вам не придется затягивать винт». Во время утреннего разделения труда стажеры даже соревновались друг с другом за получение запрещенных предметов.
После того, как Ян Сяоюнь рано ушла с работы, она часто посещала «Моменты» стажеров, которые все еще собирались в компании в 10 часов вечера, а то и в 12 часов. Есть также стажеры, которые отправляют ей голосовые сообщения, плачут, но поскольку они сняли дом и не имеют возможности уйти, если они не смогут упорствовать, это означает, что вся арендная плата будет потрачена впустую.
5. Здесь никогда не будет недостатка в людях
Ли Чжуси — один из редких стажеров, имеющих опыт аннотирования данных. Она изучала когнитивную лингвистику и объяснила, что направление объединения лингвистики с неврологией, наблюдения за визуализацией мозга, включая создание интерфейсов «мозг-компьютер», имеет определенную связь с искусственным интеллектом.
Прежде чем прийти на эту большую фабрику, она делала аннотации данных для больших языковых моделей на другой крупной фабрике, и это было до выпуска ChatGPT. По мнению Ли Чжуси, после того, как ChatGPT вышел из круга, подобные стажировки по аннотациям данных выросли, как грибы после дождя.
Она успешно прошла трехмесячную стажировку, хотя и описывала ее как «относительно механическую и не очень сложную» работу. Ли Чжуси рассказал, что он уделяет больше внимания опыту: «Я не ожидаю, что эта работа будет интересной. Все равно приятно испытать ее. Я не только получаю опыт стажировки на крупной фабрике, но и ощущаю здесь уникальную корпоративную культуру. "
Для Чжао Шуо, студента гуманитарных наук из школы в Шуанфэе, должность стажировки по редактированию искусственного интеллекта на крупной фабрике была его выбором высшего уровня.
Когда он искал летнюю стажировку, он на самом деле предпочел оперативную должность в научно-исследовательском институте. Исследовательский институт является государственным учреждением и имеет персонал, что было очень привлекательно для Чжао Шо. «В то время я особенно с нетерпением ждал возможности обратная связь, которую он может мне дать». Но в итоге институт не выбрал Чжао Шо, который был аспирантом первого курса, а принял на работу студента старших курсов.
Есть люди более «кудрявые».
По мнению Чжао Шуо, некоторые стажеры будут работать особенно усердно и брать на себя больше задач, чтобы найти возможности стать постоянными сотрудниками. Серьезное и прилежное отношение поможет завоевать расположение штатных сотрудников: «Руководители часто вступают с ними в определенный обмен мнениями, а также дают им определенные полномочия руководства для управления стажерами».
Компания даже каждую неделю отбирает стажеров, показавших выдающиеся результаты, и размещает их фотографии на стене в знак признания, но не обязательно получать бонусы, как и в бизнес-направлении Чжао Шо.
Цзя Юхан, генеральный менеджер Yunmei Data, рассказал Jiaziguangnian, что существует два основных пути продвижения по службе для аннотаторов данных: один — экспертный. После овладения соответствующими навыками в конкретных вертикальных областях младшие аннотаторы могут постепенно стать старшими экспертами по аннотациям. путь управления, становясь менеджером проекта.
Но Чжао Шо не хотел оставаться. После года обучения в аспирантуре Чжао Шо ясно осознал, что его ожидания в отношении будущей работы упали. Чувствуя нарастающие изменения в общей среде и наблюдая за неудовлетворенностью студентов, выбравших работу после окончания учебы, ранее ожидаемая для Чжао Шо «высококлассная, сложная» и «незаменимая» работа постепенно сменилась стабильной работой. Будучи студентом гуманитарного факультета, он обеспокоен тем, что еще не овладел незаменимыми навыками, и надеется найти работу, которая будет удовлетворяться в учреждении.
В чате стажеры сетовали друг другу на то, что работу, которую они выполняют, вскоре могут заменить машины, и ручная подача данных больше не понадобится.
Для Цзя Юхана, генерального менеджера Cloud Measurement Data, подобных опасений не существует. Благодаря фактическому массовому производству алгоритмов и расширению возможностей замкнутого цикла данных общий объем маркированных данных и объем маркировки данных вручную продолжают увеличиваться из года в год. Раньше это было 100% ручное аннотирование, но теперь существует определенная доля ручного аннотирования, автоматического аннотирования и ручной проверки. В будущем доля автоматической маркировки может стать все больше и больше. Однако, хотя доля ручных аннотаций снижается, с постепенным развитием индустрии искусственного интеллекта и увеличением объема данных объем ручных аннотаций будет продолжать расти.
Рано уйдя с работы, Ян Сяоюнь нашла стажировку по планированию игр, которая ей понравилась. Рабочая атмосфера там была непринужденной, и она почувствовала себя более полезной. Редактирование с использованием искусственного интеллекта оказалось для нее «неудачным» опытом стажировки. Для Дин Сяоюй это был процесс разочарования. Даже если она пойдет на стажировку на крупную фабрику, которую она с нетерпением ждала, ей все равно придется столкнуться с бесчисленным количеством скучной работы. Она чувствовала, что это могло быть потому, что ее способности были недостаточно сильными. достаточно или было слишком мало возможностей для опыта. .
Но недостатка в людях там никогда не будет.
Ян Сяоюнь слышала, что после ее ухода команда за месяц выросла с десятков до сотен. Дин Сяоюй обнаружил, что каждые 10 дней приходила новая партия стажеров, каждая из которых состояла из двадцати или тридцати человек.
«Вы можете уйти, ругаясь и рассказывая миру, насколько плоха ваша работа, но на ваше место будет приходить постоянный поток новых людей».
*По просьбе собеседников, персонажи статьи Чэнь Си, Ян Сяоюнь, Дин Сяоюй, Ли Чжуси и Чжао Шо являются псевдонимами.