No primeiro dia do estágio oficial, Chen Xi sentiu que poderia ter sido “enganada”.
Chen Xi, uma futura estudante de pós-graduação que acabara de concluir sua tese de graduação, estava pronta para encontrar algo para fazer sozinha. Depois de enviar vários currículos, ela logo foi convidada para o cargo de editora de inteligência artificial (direção de tradução) de uma grande empresa nacional de Internet.
A descrição do trabalho diz:
Fornecer corpus de alta qualidade para aprendizado de máquina de inteligência artificial e replicar iterações de treinamento de modelo;
Comunicar-se com a equipe técnica sobre os requisitos, entregar dados qualificados e de alta qualidade no prazo e ser responsável pela qualidade dos resultados da edição.
Para Chen Xi, que não sabia muito sobre treinamento de modelos, este parecia um ótimo estágio.
A entrevista de Chenxi foi na área de tradução, o que é muito consistente com sua especialização em inglês.No início do ano, o ChatGPT se tornou popular na China, e Chenxi tem o hábito de usar produtos de IA todos os dias, o que está de acordo com seus interesses Além disso, ela terá a oportunidade de participar de tecnologias emergentes. O desenvolvimento industrial é raro para estudantes de artes liberais; é claro, a maior atração vem desta grande empresa de Internet. Nos últimos anos, a empresa atraiu com sucesso inúmeros jovens estudantes. De uma certa perspectiva, o nome de uma grande empresa no currículo é suficiente para se tornar um símbolo das próprias habilidades.
No entanto, além da simples descrição do cargo na página de recrutamento, Chen Xi não obteve mais informações do entrevistador sobre este estágio.
“A razão pela qual me senti enganado na época foi porque o RH basicamente se concentrou em questões relacionadas à tradução durante a entrevista.” Depois de responder a várias perguntas sobre tradução durante a entrevista, Chen Xi recebeu a oferta com sucesso. Até começar a trabalhar, ela pensava que era um trabalho de tradutora.
Chen Xi não é o único que se sente “enganado”.
Como um dos primeiros estagiários de editores de inteligência artificial, Yang Xiaoyun também veio para esta grande fábrica no final de fevereiro. O entrevistador disse que este é um trabalho que exige altas habilidades como captura de informações, sumarização de linguagem e edição de textos.
Depois de realmente começar, ela percebeu: "O trabalho descrito pelo RH e o trabalho real são duas coisas completamente diferentes. Não importa o quão glamoroso seja, é na verdade um trabalho de 'marcação'."
Hoje em dia, a mania da inteligência artificial levou a chatbots que parecem falsos e reais, e a softwares de desenho que podem gerar imagens com instruções simples. O surgimento de grandes modelos em nível de fenômeno atraiu muita atenção como base para o treinamento de grandes modelos. Dados, algoritmos e poder de computação atraíram muita atenção. A anotação de dados é uma parte indispensável do link de dados.
Em 2007, Li Feifei, então professor assistente do Departamento de Ciência da Computação da Universidade de Princeton, iniciou um projeto chamado ImageNet, na esperança de expandir os dados que podem ser usados para treinar algoritmos de IA.
Para fornecer o maior número possível de exemplos visuais para cada palavra, quase 50 mil trabalhadores da plataforma de crowdsourcing da Amazon, Mechanical Turk, passaram dois anos e meio rotulando objetos nas imagens, como balões, morangos, etc., totalizando 3,2 milhões de imagens. . Esses trabalhadores vêm de 167 países ao redor do mundo e estão localizados principalmente em áreas com baixos custos trabalhistas.
Uma investigação da revista Time descobriu que, para reduzir a violência, o sexismo e o racismo no conjunto de dados ChatGPT, a OpenAI utilizou trabalhadores quenianos que ganhavam menos de 2 dólares por hora. A "Bloomberg" informou que o chatbot de IA do Google, Bard, foi treinado por milhares de trabalhadores contratados, que tiveram apenas 3 minutos para revisar e anotar as respostas de Bard.
Por muito tempo no passado, a anotação de dados não exigia altos requisitos cognitivos para reconhecimento de linguagem e imagem. Na era dos grandes modelos, a anotação de dados passou de imagens para linguagem, que é mais exigente e vertical, exigindo conhecimento profissional em áreas específicas e fluência linguística.
Mas para anotadores de dados comuns, ainda é um trabalho de baixa tecnologia que se repete constantemente.
Tal como estes estudantes “enganados” de escolas de prestígio que entram em grandes fábricas para fazer estágios, não conseguem explicar claramente para que serve o seu trabalho e qual o seu valor. Muitas vezes, eles têm apenas uma vaga compreensão do assunto para “treinar grandes modelos”.
Os estagiários de edição de inteligência artificial representados por Chen Xi e Yang Xiaoyun nasceram da necessidade de treinar grandes modelos. Esses modelos populares de grande escala permitem que os estagiários entrem com curiosidade e saudade, mas ao mesmo tempo sentem o verdadeiro caos e a falta de valor por trás deles.
1. Quando estudantes universitários inundam a anotação de big model data
**As pessoas geralmente pensam que os anotadores de dados são um grupo de pessoas idosas e com baixa escolaridade que vivem em cidades de terceiro e quarto níveis. Na verdade, esta era de fato a situação atual dos anotadores de dados nacionais antes. **
De acordo com os "Padrões Nacionais de Competências Profissionais para Formadores de Inteligência Artificial" divulgados pelo Ministério de Recursos Humanos e Segurança Social em 2021, o nível de educação comum dos formadores de inteligência artificial é a conclusão do ensino secundário (ou educação equivalente). Podem estar espalhados em áreas onde estão localizadas empresas tradicionais de mão-de-obra intensiva, como Hebei, Henan, Shandong e Shanxi, ou mesmo em áreas montanhosas mais remotas onde a anotação de dados é um projecto piloto para o alívio da pobreza.
**Mas mudanças já ocorreram com o surgimento de modelos de grande porte. **
O que deixa Yang Xiaoyun entediado é, na verdade, o trabalho de anotação de dados feito para treinar modelos grandes.
Após treinamento e avaliação simples, Yang Xiaoyun foi designado para a equipe de edição. **Seu trabalho diário é responder perguntas do banco de questões. O objetivo é otimizar o processo de treinamento de grandes modelos escrevendo manualmente as respostas por anotadores. **
**As etapas para responder a uma pergunta são estritamente controladas. **Tome o jogo "Genshin Impact" como exemplo. Se você receber a pergunta "Qual é a relíquia sagrada de Yelan?", Yang Xiaoyun precisa dividir a resposta em vários parágrafos: Primeiro, o que é Yelan? Além disso, quais são as relíquias sagradas? O que a relíquia sagrada de Yelan combina no final?
Colete informações no mecanismo de busca designado, conclua a edição da resposta e, por fim, envie-a no formato Markdown.
Além de perguntas simples e fáceis de responder, Yang Xiaoyun passava a maior parte do tempo em áreas profissionais com as quais não estava familiarizado, como zona econômica, zona jurídica, etc.
Obviamente, isso é completamente diferente do trabalho anterior de anotação de dados. **
Antes do surgimento de grandes modelos, os cenários de anotação de dados geralmente eram fábricas com centenas de pessoas, cada pessoa tinha um computador e havia apenas o som de mouse e teclado. E durante sua jornada de trabalho de 8 horas, eles fazem apenas uma coisa simples e repetitiva: enquadrar veículos motorizados, veículos não motorizados, pedestres e semáforos (detecção de alvo) em imagens diferentes; ou sublinhar o assunto de um parágrafo, Predicado, objeto (segmentação semântica).
Essas caixas de desenho para imagens e vídeos e segmentação semântica de texto são todas processamento de dados existentes, e os próprios anotadores de dados não precisam fornecer "conclusões criativas". Mas este não é o caso da anotação de dados de modelos grandes. Além de processar os dados existentes, os anotadores de dados também precisam responder perguntas e dar conclusões corretas. **
De acordo com o "Relatório de análise aprofundada e pesquisa de tendências de investimento sobre a situação atual da indústria de anotação de dados da China (2023-2030)", lançado pelo Guanyan Tianxia Data Center em 2023, antes do lançamento do ChatGPT, a anotação de dados de treinamento de IA era baseada principalmente em voz e visão computacional e linguagem natural A demanda por processamento (PNL) é inferior a 15%.
À medida que o chatbot ChatGPT se torna uma aplicação fenomenal do AIGC, há uma demanda crescente por tarefas de anotação de texto de alta qualidade, como julgamento emocional, capacidade de compreensão e até mesmo capacidade de raciocínio.
“A complexidade dos projetos (modelos grandes) tornou-se maior do que antes e os requisitos de pessoal são relativamente diferentes.” O responsável pelo Departamento de Produto de Dados da Stardust disse ao “Jiazi Light Year”, “Reconhecimento e anotação de informações visuais parciais para a direção autônoma, que é um trabalho mais físico, requer algum treinamento dos funcionários. Depois de aprenderem a puxar caixas, dominar teclas de atalho e dominar algumas habilidades, eles podem rapidamente se tornar competentes. ** Mas o que os modelos grandes precisam é de um sistema completo e estruturado, um sistema de dados diversificado e abrangente que requer quatro camadas de dados para apoiar a construção e melhoria do modelo.Esses dados envolvem pré-treinamento, SFT (ajuste fino supervisionado), RLHF (aprendizado por reforço baseado em feedback humano, Aprendizagem por Reforço com Feedback Humano), implantação privatizada, etc. Em resposta às necessidades de diferentes indústrias, lançamos a solução de pirâmide de dados de modelo grande COSMO; para anotadores de dados de modelo grande, rotular dados COSMO não é uma questão de múltipla escolha, nem é simples Em vez de compreensão de leitura e edição de texto, permite criar perguntas e respostas e criar conteúdo.**”
Jia Yuhang, gerente geral de dados de medição em nuvem, divide os dados de treinamento do maior modelo em três estágios: dados básicos, dados de cena e otimização de dados de cena. **Ele fez uma analogia dessas três etapas com o processo de aprendizagem.
“A anotação de dados básicos, como desenho de caixa, é relativamente simples e você pode dominar a operação do computador assim que aprendê-la; dados de cena são dados em um campo específico, necessários para pesquisa e desenvolvimento direcionados em links específicos, e você precisa aprender informações relevantes conhecimento de domínio para alcançar requisitos de anotação; no terceiro estágio, com base na iteração contínua e otimização durante a colocação em uso, os requisitos de habilidades e conhecimento de domínio serão mais refinados.", disse Jia Yuhang.
Sob este tipo de demanda de trabalho, cada vez mais grandes empresas modelo têm uma demanda por anotadores de dados, que também mudou de baixa escolaridade para alta escolaridade no passado, e essa demanda está aumentando.
Nas principais plataformas nacionais de procura de emprego, muitas posições de anotação de dados para grandes modelos estão sendo recrutadas atualmente. Essas posições exigem que os anotadores tenham diploma de bacharel ou superior. O Baidu afirmou anteriormente que sua grande base de anotação de dados de modelo em Haikou tem centenas de anotadores de dados e a taxa de graduação atingiu 100%.
Fonte da imagem: BOSS Zhipin & Maimai
2. Anotação severa de dados de modelos grandes
De modo geral, treinar um modelo grande requer as três etapas a seguir:
Fonte: OpenAI "Apresentando ChatGPT"
Por trás dessas tarefas repetitivas está, na verdade, a implementação da tecnologia de "Aprendizagem por Reforço a partir de Feedback Humano". A maior melhoria do GPT-3.5 vem disso. A chave é a participação humana (Rotulador), ou seja, desses anotadores de dados.
Das três etapas do RLHF acima, a etapa um e a etapa dois são relativamente mais importantes, porque determinam o nível de qualidade dos dados necessário para treinar o modelo de recompensa. Os estagiários de anotação de dados nessas duas etapas também são divididos em dois grupos principais: “grupo de edição” e “grupo de classificação”. **
O trabalho da equipe de edição é responder às perguntas do banco de perguntas; enquanto o trabalho da equipe de classificação é classificar as respostas geradas (incluindo modelo e respostas geradas artificialmente).
Ding Xiaoyu juntou-se ao editor em julho. Ding Xiaoyu, que também é formada em inglês, e Chen Xi estão ansiosos por um trabalho de tradução que possa melhorar seu nível profissional, mas na verdade seu trabalho não está relacionado ao inglês.
Em comparação com quando Yang Xiaoyun estava estagiando em fevereiro, a equipe de edição enfrentada por Ding Xiaoyu tornou-se mais subdividida: cada estagiário deve escolher uma direção vertical, como entretenimento, física, política, etc., e os requisitos de resposta tornaram-se mais detalhado.
Para uma questão de múltipla escolha sobre poesia antiga, você não deve apenas explicar a resposta, mas primeiro apresentar o tipo de pergunta, depois a tradução e o histórico da poesia e, finalmente, uma análise para saber se cada opção está correta ou não. O importante é fazer um benchmark com o GPT-4 de março lançado pela OpenAI no dia 14.
“Você tem que se referir à resposta, mas não pode ser igual à resposta e deve ser melhor do que a resposta.” Ding Xiaoyu estava desamparado.
Chenxi foi designado para o grupo de classificação, onde múltiplas respostas às perguntas eram classificadas todos os dias para determinar os prós e os contras de diferentes respostas.
Os resultados da classificação precisam ser claramente quantificados. Ela precisa avaliar as respostas sob diferentes perspectivas, como utilidade, autenticidade, relevância, segurança, etc., e anotar os motivos. Isto permite que as máquinas se aproximem infinitamente das respostas que os humanos esperam.
**Chen Xi às vezes tinha que escolher entre várias respostas ruins. E quando todas as respostas eram ruins, ela mesma foi solicitada a escrever uma resposta melhor. **
Ding Xiaoyu, da equipe editorial, enfrenta requisitos ainda mais exigentes. Cada resposta passará por duas rodadas de revisão antes de ser qualificada para entrega. A primeira veio do líder da equipe: “Depois de responder algumas perguntas, faremos uma reunião de revisão para encontrar falhas conosco até que o líder da equipe esteja satisfeito com as mudanças”. até que a sede seja aprovada na revisão.
Certa vez, devido a erros de formatação, a maioria das respostas de Ding Xiaoyu foram consideradas completamente erradas. "Pode ser suficiente ajustar a ordem, mas eles não se importam se o conteúdo da sua resposta está errado ou se há um problema com o formato. Só que está tudo errado."
O que deixou Ding Xiaoyu ainda mais arrasado foi que o líder da equipe afirmou diretamente que, se cometesse tantos erros novamente, poderia ser demitida.
**A anotação de dados para modelos grandes é um trabalho absolutamente orientado para resultados. Não importa quanto esforço você coloque no processo, desde que os resultados não sejam bons, todos os esforços anteriores serão completamente anulados. **
Mas o problema é que seja a resposta do grupo de edição ou a classificação das respostas pelo grupo de classificação, é uma tarefa muito subjetiva. É difícil para os estagiários de anotação de dados controlar se uma resposta é boa ou ruim; estagiários diferentes geralmente dão respostas diferentes para a mesma pergunta.
**Para resolver esse problema, uma das tarefas que a grande equipe de anotação de dados de modelos deve realizar todos os dias é realizar uma "reunião de revisão" - conhecida como "Reunião de Corrida" dentro da empresa. O objetivo é alinhar os responda aos padrões e alinhe as respostas. Todos entendem e todas as sugestões estão alinhadas. **
No entanto, é bastante difícil alcançar o verdadeiro alinhamento. É como a nota do vestibular: diferentes pessoas receberão as mesmas questões. Se as notas forem inconsistentes, elas deverão ser ajustadas continuamente até que uma pontuação unificada seja obtida.
Na impressão de Chen Xi, são gastas duas ou três horas em reuniões todos os dias. No final da reunião, a solução mais simples e grosseira é muitas vezes finalizada, com a minoria a obedecer à maioria, o que ela descreveu como “criar valor sem valor”.
No entanto, em comparação com todos sentados juntos para alinhar "artificialmente" os padrões de resposta, um problema mais problemático é: os ** padrões não são alinhados artificialmente de uma vez por todas, mas devem ser constantemente ajustados com base no feedback do resultado do modelo. **
A primeira coisa quando vai trabalhar todos os dias, Yang Xiaoyun precisa confirmar se um novo padrão de anotação foi emitido naquele dia, que vai desde o quadro da resposta, a divisão de parágrafos, até a seleção de mecanismos de busca, formatos como como espaços e sinais de pontuação. Mas ** os padrões estão mudando constantemente. **Uma vez descoberto que os dados alimentados não funcionam na máquina, os padrões precisam ser reformulados e todos os problemas serão anulados e reescritos.
"É como tecer. Devemos tecer grãos horizontais ou verticais? Devemos tecer botões de gergelim ou botões de trigo? Mas não importa qual botão seja, ele só pode ser colocado no programa e executado. Se você descobrir que não pode ser executado fora, você tem que mudar um método. "Yang Xiaoyun explicou a" Jiazi Guangnian ". Por trás dessa metáfora está que se a resposta dada pela anotação dos dados não atingir o efeito esperado durante o processo de treinamento do modelo de recompensa, o padrão deve ser ajustado.
A mudança de padrões significa que a conclusão da última reunião de alinhamento é inválida e os padrões têm que ser alinhados novamente.
“Redundante e eficiente, falando bobagens com muita eficiência todos os dias”, reclamou Yang Xiaoyun.
3. Alunos de alto desempenho que são explorados por grandes fábricas
Por um lado, existem inúmeras reuniões diárias e, por outro lado, existem padrões de dados que podem mudar a qualquer momento. Muitos estudantes importantes, como Chen Xi, que foram atraídos pelos sinais brilhantes e brilhantes das grandes fábricas, perderam o entusiasmo original devido a conflitos internos e finalmente optaram por partir.
**A característica comum desses estagiários é o alto grau de escolaridade. O requisito de recrutamento é bacharelado ou superior, mas muitos estagiários possuem mestrado. **
Muitos deles são educados nas melhores universidades da China e até do mundo. Yang Xiaoyun estava cercado por estudantes da Universidade de Pequim e do Imperial College London, e os estagiários próximos à estação de trabalho de Chenxi eram da Universidade Nankai e da Universidade de Ciência Eletrônica e Tecnologia da China; Ding Xiaoyu foi claramente informado durante o treinamento que as qualificações acadêmicas dos estagiários foram rastreados. "Ele (o entrevistador) disse que estudantes universitários altamente qualificados como nós podem aprender coisas rapidamente e começar facilmente."
**Gerenciar um grupo de pessoas inteligentes nunca é fácil. Porque essas pessoas podem facilmente descobrir a essência do seu trabalho a partir de ações repetidas e então questionar se esse trabalho é realmente valioso para o seu futuro. **
Ding Xiaoyu descreveu seu trabalho como "de pouco valor e muito desgastante internamente".
Quando ela chega à sua estação de trabalho todas as manhãs, ela abre a tela e o caderno, e usa o caderno para verificar as regras enquanto escreve as respostas na tela. Ding Xiaoyu pode sentir claramente que as regras e procedimentos detalhados a fazem perder gradualmente o espaço pensar, e sua Disciplina se torna uma máquina. “Se você não aprender algo e não tiver energia para aprender outras coisas, aos poucos perderá a motivação para aprender e o entusiasmo para fazer outras coisas.”
Ding Xiaoyu também trabalhou na equipe de dessensibilização, mas o trabalho real não tem nenhuma conexão fundamental com a palavra "dessensibilização". Ele apenas usa diferentes chatbots e produtos beta internos da empresa para responder às mesmas perguntas e compara e pontua as respostas. Depois de apenas alguns dias de trabalho, foi transferida para a equipe de revisão de textos, o que teve que fazer foi corrigir erros que ocorriam na conversão do formato PDF para o formato Word, principalmente erros de digitação e pontuação. Em um processo que ela descreveu como “quase um colapso”, ela completava 25 páginas de tarefas de correção de erros relacionados à medicina todos os dias.
Durante o processo de entrevista, o entrevistador perguntou a Ding Xiaoyu se ele aceitaria um trabalho chato e repetitivo. "Minha resposta na época foi que era aceitável. Acho que todas as respostas dos candidatos deveriam ser aceitáveis." Porque ele só teve uma experiência de estágio na graduação, e com a expectativa de acumular mais estágios e vivenciar grandes empresas, mesmo com dúvidas, Ding Xiaoyu ainda optou por ingressar na empresa.
Em apenas dois meses, Ding Xiaoyu foi considerado a pessoa que persistiu até o fim entre os estagiários no mesmo período. Ela testemunhou muitos estagiários chegando com grandes ambições e saindo de cabeça baixa.
O antropólogo David Graeber define empregos de merda como empregos que não têm significado ou propósito. Trabalhos que deveriam ser eliminados pela automação de máquinas continuam a existir por causa da fachada, para agradar aos superiores e para preencher lacunas do sistema. A anotação de dados é como uma variação de trabalhos idiotas que muitas vezes se pensa terem sido substituídos por máquinas, mas que ainda exigem que humanos os executem.
Quando chega a mania da inteligência artificial, as pessoas muitas vezes ouvem a expectativa de que a IA possa substituir os humanos na realização de tarefas repetitivas e chatas, permitindo assim que os humanos tenham mais tempo e energia para realizar um trabalho mais criativo e gratificante.
Mas também é possível que a inteligência artificial, tal como as tecnologias que pouparam trabalho no passado, como os telefones e as máquinas de escrever, superem a dor da transmissão de informação e da escrita, mas também criem uma grande quantidade de comunicação e papelada que requer uma nova inteligência artificial para funcionar. Gestão, como recepção, balconista. A IA pode não substituir os humanos, mas criará empregos mais tediosos, enfadonhos e isoladores.
**Além de não conseguirem obter o reconhecimento do valor do seu trabalho, o salário que recebem pode não permitir que esses melhores alunos obtenham “reconhecimento de preço”. **
Segundo “Jiazi Guangnian”, esses dados mostram que o salário dos estagiários não é alto. Se estiverem localizados em uma cidade de primeiro nível, o salário da maioria dos estagiários de inteligência artificial é de 150 yuans/dia, com subsídio de quarto e cantina gratuita; se estiverem localizados em uma cidade de segundo nível, restam apenas 100 yuans/dia, e o subsídio de quarto também é reduzido em um terço. 2. O suplemento de refeição de 20 yuans substitui a refeição gratuita.
Assim como o estágio de Ding Xiaoyu em uma cidade de segundo nível, porque o escritório está localizado no centro da cidade e a área é próspera, uma refeição para viagem pode facilmente exceder o padrão de subsídio de refeição de 20 yuans e basicamente exige o reembolso do salário do estágio.
Como a maioria deles são apenas anotadores básicos para treinar grandes modelos,eles podem ser uniformemente atribuídos a cargos que não têm nada a ver com sua profissão.Eles também podem ser transferidos para departamentos diferentes a qualquer momento e são obrigados a começar rapidamente após um curto período de tempo. treinamento.
** Ding Xiaoyu os descreveu como grupos de estagiários que foram aproveitados por grandes fábricas. **
Chen Xi sentiu claramente que não era a única que sentia a lacuna entre as expectativas e o trabalho real. “Para ser franco, sinto que este trabalho não é adequado para mim. Às vezes, ao conversar, descubro que outros estagiários podem ter 985 diplomas de bacharelado, e alguns retornaram do exterior com mestrado. , muito grande."
Yang Xiaoyun expressou isso de forma mais direta: “Pode ser uma metáfora inadequada. Minha mãe cursou o ensino médio, então ela pode fazer este trabalho”.
** 4. "Na verdade, somos trabalhadores da linha de montagem" **
Na verdade, o governo recruta os melhores estudantes para fazer alguns trabalhos de baixa tecnologia e paga custos salariais extremamente baixos.Isto é também um reflexo objectivo do caos do mercado nas fases iniciais do desenvolvimento de grandes modelos de anotação de dados. **Para empresas de anotação de dados, no atual estágio de desenvolvimento de grandes modelos, a anotação de dados ainda não formou um padrão unificado e não há requisitos específicos para anotadores.
O responsável pelo Departamento de Produtos de Dados Stardust disse: “À medida que as capacidades básicas do grande modelo são concluídas e o processo de desenvolvimento começa a se tornar mais vertical e complexo, as tarefas mudarão gradualmente, exigindo que ferramentas e pessoal sejam atualizados e iterados consequentemente. No entanto, os modelos grandes ainda estão nos estágios iniciais de desenvolvimento e a demanda do mercado por anotadores varia dependendo da tarefa. Em comparação com projetos de CV (Visão Computacional), os anotadores de PNL (Processamento de Linguagem Natural) têm requisitos mais elevados de capacidade de compreensão. os requisitos para terminologia profissional e conhecimento do domínio são mais elevados, e um corpus preciso e confiável deve ser fornecido.”
O responsável disse que os problemas colocados pelos grandes modelos à anotação de dados reflectem-se mais no design de nível superior. Para cada tarefa de anotação de dados, como entender as demandas do cenário de aplicação do cliente, projetar um conjunto de soluções, como seleção de dados, design de distribuição de dados e design de pipeline, que podem ser implementados de forma eficiente e com baixo custo, e como melhorar a eficiência e os recursos das ferramentas da plataforma são fundamentais. Um desafio maior.
Isto depende da participação de especialistas de domínio vertical como anotadores seniores, injetando conhecimento e experiência de domínio no design da solução e até mesmo participando do processo de iteração de inspeção de qualidade de dados.
Zhang Ziqian, chefe de operações do provedor de soluções de dados Besai Technology, disse sem rodeios que atualmente, em termos de treinamento de modelos de grande escala, não há diferença óbvia na dificuldade de trabalho e nos salários por hora entre anotadores básicos e anotadores que anteriormente estavam envolvidos na seleção de quadros . **Ao ajustar grandes modelos e criar soluções em campos verticais para os clientes, o maior problema é como construir conjuntos de dados de alta qualidade, o que exige rotular especialistas em áreas profissionais como TI, medicina e finanças. Esses talentos ainda são Escassez.
A OpenAI investiu dezenas de estudantes de doutorado na orientação e revisão da anotação de dados e terceirizou a anotação de dados básicos para empresas de anotação de dados, espalhadas em áreas de baixa renda, como África e Índia. **Quem realmente faz a diferença são os anotadores seniores, que representam apenas uma pequena proporção. **
Ao comparar as descrições de trabalho dos anotadores recrutados pela Baidu em sua sede em Pequim e na base de anotação de dados de Haikou, podemos ver que eles também servem para treinar grandes modelos.O primeiro é um anotador sênior responsável pela orientação, treinamento e revisão, enquanto o último é um anotador de dados básico., os dois têm níveis salariais muito diferentes.
Fonte da imagem: recrutamento direto BOSS
**Em outras palavras, esses anotadores seniores de nível superior são, na verdade, os principais talentos para o treinamento de grandes modelos. Seu trabalho é mais técnico e valioso, e o custo de mão de obra também é mais alto. **
**Em contraste, mesmo que estes estagiários de escolas de prestígio venham a treinar grandes modelos, nesta fase, eles são essencialmente os mesmos que os anotadores de dados do passado. **
**Os estagiários costumam brincar entre si que não estão trabalhando em uma grande fábrica, mas na Internet Foxconn, e são trabalhadores na linha de montagem. Eles não conseguem ver aonde os resultados do seu trabalho acabarão por levá-los, nem conseguem criar uma cadeia horizontal de significado com as pessoas ao seu redor. **
Essa piada da “Internet Foxconn” refere-se não apenas ao trabalho desses estagiários, mas também à carga de trabalho e ao modelo de gestão, que está quase no mesmo nível da linha de montagem da fábrica.
A quantidade de trabalho que os estagiários precisam realizar todos os dias tem uma linha vermelha prescrita para a eficiência humana. Para Yang Xiaoyun, ela precisa marcar 32 questões por dia. Se a linha vermelha não for cumprida, ela terá que relatar os motivos ou fazer horas extras para concluí-la. O pré-requisito para a conclusão do trabalho são os padrões em constante mudança da Associação Lazi e a coleta contínua de informações.
Para concluir o treinamento do modelo o mais rápido possível, a equipe de anotação enfrenta um gerenciamento de alta pressão. O grupo de Yang Xiaoyun não tem permissão para conversar durante o horário de trabalho. O preço de algumas conversa fiadas pode ser adicionado à carga de trabalho. Se você não conseguir concluir o trabalho, será lembrado freneticamente no grupo. Mesmo se você estiver doente e perguntar para licença, você poderá ser interrompido por uma ligação urgente de seu funcionário regular.
Além disso, para garantir que os dados não sejam vazados, a troca de anotações de dados entre grupos é expressamente proibida. Mesmo que estagiários de grupos diferentes estejam próximos, eles não podem discutir o conteúdo do trabalho. Nenhum desses estagiários sabe quantos grupos subdivididos existem na rotulagem de dados da empresa e quantos estagiários existem. Um grupo pode ter 10, 40, 50, 60 pessoas ou centenas de pessoas em cada andar.
Sob a linha vermelha de alta pressão da eficiência humana, Yang Xiaoyun só pode ficar temporariamente “feliz” ao encontrar perguntas proibidas. Porque o conteúdo que envolve violência, pornografia e sangue coagulado deve ser removido diretamente, mas ainda pode ser contabilizado em itens de trabalho pessoal. "É equivalente a apertar um parafuso ruim. Você só ficará feliz por não precisar apertar o parafuso." Durante a divisão do trabalho pela manhã, os estagiários chegaram a competir entre si para conseguir os itens proibidos.
Depois que Yang Xiaoyun deixou o emprego mais cedo, ela costumava visitar os momentos dos estagiários que ainda se reuniam na empresa às 10 horas da noite, ou mesmo às 12 horas. Há também estagiários que mandam mensagens de voz para ela, chorando, mas como alugaram uma casa e não têm como sair, se não persistirem, todo o aluguel será desperdiçado.
5. Nunca faltarão pessoas aqui
Mas não foram as pessoas que não perseveraram.
Li Zhuxi é um dos raros estagiários com experiência em anotação de dados. Ela estudou linguística cognitiva e explicou que a direção de combinar linguística com neurologia, observando imagens cerebrais, incluindo o estabelecimento de interfaces cérebro-computador, tem uma certa ligação com a inteligência artificial.
Antes de vir para esta grande fábrica, ela havia feito anotação de dados para grandes modelos de linguagem em outra grande fábrica, e isso foi antes do lançamento do ChatGPT. Na impressão de Li Zhuxi, depois que o ChatGPT saiu do círculo, estágios semelhantes de anotação de dados surgiram como cogumelos depois da chuva.
Ela concluiu com êxito o estágio de três meses, embora o tenha descrito como um trabalho “relativamente mecânico e não muito difícil”. Li Zhuxi descreveu que presta mais atenção à experiência: "Não espero que este trabalho seja interessante. Ainda é bom experimentá-lo. Não só ganho experiência de estágio em uma grande fábrica, mas também experimento a cultura corporativa única aqui. "
Para Zhao Shuo, um estudante de artes liberais de uma escola em Shuangfei, o cargo de estágio de edição de inteligência artificial em uma grande fábrica foi sua escolha de nível superior.
Ao procurar um estágio de verão, ele preferiu uma posição operacional em um instituto de pesquisa. O instituto de pesquisa é uma instituição pública e tem uma equipe, o que era muito atraente para Zhao Shuo. “Naquela época, eu estava particularmente ansioso pelo feedback que isso poderia me dar." Mas no final, o instituto não escolheu Zhao Shuo, que era aluno do primeiro ano de pós-graduação, e recrutou um aluno de nível superior.
Tem gente que é mais “cacheada”.
Aos olhos de Zhao Shuo, alguns estagiários trabalharão particularmente arduamente e assumirão mais tarefas para buscar oportunidades de se tornarem funcionários regulares. Uma atitude séria e diligente conquistará o favor dos funcionários em tempo integral: “Os líderes costumam ter certas trocas com eles e também lhes darão alguma autorização de gestão para gerenciar estagiários”.
A empresa até seleciona semanalmente estagiários com excelente desempenho e publica suas fotos na parede como reconhecimento, mas não há necessariamente incentivo de bônus, e não há nenhum na linha de negócios de Zhao Shuo.
Jia Yuhang, gerente geral da Yunmei Data, disse a Jiaziguangnian que existem duas rotas principais de promoção para anotadores de dados: uma é a rota especializada. Depois de dominar habilidades relevantes em campos verticais específicos, os anotadores juniores podem gradualmente se tornar especialistas seniores em anotação. ;O outro é a rota de gerenciamento, tornando-se o gerente do projeto.
Mas Zhao Shuo não escolheria ficar. Após um ano de pós-graduação, Zhao Shuo percebeu claramente que suas expectativas para o trabalho futuro haviam diminuído. Sentindo as mudanças crescentes no ambiente geral e observando a insatisfação dos estudantes que escolheram um emprego após a formatura, os empregos "sofisticados, sofisticados" e "insubstituíveis" anteriormente esperados de Zhao Shuo foram gradualmente substituídos por um emprego estável. Como estudante de artes liberais, ele está ansioso por ainda não ter dominado habilidades insubstituíveis e espera encontrar um emprego que seja administrado dentro do sistema.
Ao conversar, os estagiários lamentavam uns aos outros que o trabalho que estão realizando poderá em breve ser substituído por máquinas e a alimentação manual de dados não será mais necessária.
Para Jia Yuhang, gerente geral de Cloud Measurement Data, preocupações semelhantes não existem. Com a produção em massa de algoritmos e o aprimoramento das capacidades de circuito fechado de dados, a quantidade total de dados rotulados e a quantidade de rotulagem manual de dados ainda aumentam ano após ano. No passado, era 100% anotação manual, mas agora existe uma certa proporção de anotação manual, anotação automática e verificação manual. No futuro, a proporção de etiquetagem automática poderá tornar-se cada vez maior. No entanto, embora a proporção de anotação manual esteja a diminuir, com o desenvolvimento gradual da indústria de inteligência artificial e a crescente quantidade de dados, a quantidade de anotação manual continuará a aumentar.
Depois de deixar o emprego mais cedo, Yang Xiaoyun encontrou um estágio de planejamento de jogos que ela gostou. O ambiente de trabalho era descontraído e ela se sentia mais gratificante. A edição de inteligência artificial foi uma experiência de estágio "azarada" para ela. Para Ding Xiaoyu, foi um processo de desencanto. Mesmo que ela fizesse um estágio em uma grande fábrica que tanto desejava, ela ainda enfrentaria inúmeros empregos chatos. Ela sentiu que isso poderia ser porque suas habilidades não eram fortes. o suficiente ou havia poucas oportunidades de experiência.
Mas nunca faltará gente lá.
Yang Xiaoyun ouviu dizer que depois que ela saiu, a equipe passou de dezenas para centenas em um mês. Ding Xiaoyu descobriu que a cada 10 dias chegava um novo lote de estagiários, cada lote composto por vinte ou trinta pessoas.
“Você pode sair xingando e dizendo ao mundo o quão ruim é o seu trabalho, mas haverá um fluxo constante de novas pessoas chegando para ocupar o seu lugar.”
*A pedido dos entrevistados, os personagens Chen Xi, Yang Xiaoyun, Ding Xiaoyu, Li Zhuxi e Zhao Shuo do artigo são pseudônimos.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Estagiários sob a mania do grande modelo: 985 per capita? Mas “rotulagem” em uma grande fábrica
Fonte: Jiazi Guangnian
Autor: Zhu Yue
No primeiro dia do estágio oficial, Chen Xi sentiu que poderia ter sido “enganada”.
Chen Xi, uma futura estudante de pós-graduação que acabara de concluir sua tese de graduação, estava pronta para encontrar algo para fazer sozinha. Depois de enviar vários currículos, ela logo foi convidada para o cargo de editora de inteligência artificial (direção de tradução) de uma grande empresa nacional de Internet.
A descrição do trabalho diz:
Para Chen Xi, que não sabia muito sobre treinamento de modelos, este parecia um ótimo estágio.
A entrevista de Chenxi foi na área de tradução, o que é muito consistente com sua especialização em inglês.No início do ano, o ChatGPT se tornou popular na China, e Chenxi tem o hábito de usar produtos de IA todos os dias, o que está de acordo com seus interesses Além disso, ela terá a oportunidade de participar de tecnologias emergentes. O desenvolvimento industrial é raro para estudantes de artes liberais; é claro, a maior atração vem desta grande empresa de Internet. Nos últimos anos, a empresa atraiu com sucesso inúmeros jovens estudantes. De uma certa perspectiva, o nome de uma grande empresa no currículo é suficiente para se tornar um símbolo das próprias habilidades.
No entanto, além da simples descrição do cargo na página de recrutamento, Chen Xi não obteve mais informações do entrevistador sobre este estágio.
“A razão pela qual me senti enganado na época foi porque o RH basicamente se concentrou em questões relacionadas à tradução durante a entrevista.” Depois de responder a várias perguntas sobre tradução durante a entrevista, Chen Xi recebeu a oferta com sucesso. Até começar a trabalhar, ela pensava que era um trabalho de tradutora.
Chen Xi não é o único que se sente “enganado”.
Como um dos primeiros estagiários de editores de inteligência artificial, Yang Xiaoyun também veio para esta grande fábrica no final de fevereiro. O entrevistador disse que este é um trabalho que exige altas habilidades como captura de informações, sumarização de linguagem e edição de textos.
Depois de realmente começar, ela percebeu: "O trabalho descrito pelo RH e o trabalho real são duas coisas completamente diferentes. Não importa o quão glamoroso seja, é na verdade um trabalho de 'marcação'."
Hoje em dia, a mania da inteligência artificial levou a chatbots que parecem falsos e reais, e a softwares de desenho que podem gerar imagens com instruções simples. O surgimento de grandes modelos em nível de fenômeno atraiu muita atenção como base para o treinamento de grandes modelos. Dados, algoritmos e poder de computação atraíram muita atenção. A anotação de dados é uma parte indispensável do link de dados.
Em 2007, Li Feifei, então professor assistente do Departamento de Ciência da Computação da Universidade de Princeton, iniciou um projeto chamado ImageNet, na esperança de expandir os dados que podem ser usados para treinar algoritmos de IA.
Para fornecer o maior número possível de exemplos visuais para cada palavra, quase 50 mil trabalhadores da plataforma de crowdsourcing da Amazon, Mechanical Turk, passaram dois anos e meio rotulando objetos nas imagens, como balões, morangos, etc., totalizando 3,2 milhões de imagens. . Esses trabalhadores vêm de 167 países ao redor do mundo e estão localizados principalmente em áreas com baixos custos trabalhistas.
Uma investigação da revista Time descobriu que, para reduzir a violência, o sexismo e o racismo no conjunto de dados ChatGPT, a OpenAI utilizou trabalhadores quenianos que ganhavam menos de 2 dólares por hora. A "Bloomberg" informou que o chatbot de IA do Google, Bard, foi treinado por milhares de trabalhadores contratados, que tiveram apenas 3 minutos para revisar e anotar as respostas de Bard.
Por muito tempo no passado, a anotação de dados não exigia altos requisitos cognitivos para reconhecimento de linguagem e imagem. Na era dos grandes modelos, a anotação de dados passou de imagens para linguagem, que é mais exigente e vertical, exigindo conhecimento profissional em áreas específicas e fluência linguística.
Mas para anotadores de dados comuns, ainda é um trabalho de baixa tecnologia que se repete constantemente.
Tal como estes estudantes “enganados” de escolas de prestígio que entram em grandes fábricas para fazer estágios, não conseguem explicar claramente para que serve o seu trabalho e qual o seu valor. Muitas vezes, eles têm apenas uma vaga compreensão do assunto para “treinar grandes modelos”.
Os estagiários de edição de inteligência artificial representados por Chen Xi e Yang Xiaoyun nasceram da necessidade de treinar grandes modelos. Esses modelos populares de grande escala permitem que os estagiários entrem com curiosidade e saudade, mas ao mesmo tempo sentem o verdadeiro caos e a falta de valor por trás deles.
1. Quando estudantes universitários inundam a anotação de big model data
De acordo com os "Padrões Nacionais de Competências Profissionais para Formadores de Inteligência Artificial" divulgados pelo Ministério de Recursos Humanos e Segurança Social em 2021, o nível de educação comum dos formadores de inteligência artificial é a conclusão do ensino secundário (ou educação equivalente). Podem estar espalhados em áreas onde estão localizadas empresas tradicionais de mão-de-obra intensiva, como Hebei, Henan, Shandong e Shanxi, ou mesmo em áreas montanhosas mais remotas onde a anotação de dados é um projecto piloto para o alívio da pobreza.
**Mas mudanças já ocorreram com o surgimento de modelos de grande porte. **
O que deixa Yang Xiaoyun entediado é, na verdade, o trabalho de anotação de dados feito para treinar modelos grandes.
Após treinamento e avaliação simples, Yang Xiaoyun foi designado para a equipe de edição. **Seu trabalho diário é responder perguntas do banco de questões. O objetivo é otimizar o processo de treinamento de grandes modelos escrevendo manualmente as respostas por anotadores. **
**As etapas para responder a uma pergunta são estritamente controladas. **Tome o jogo "Genshin Impact" como exemplo. Se você receber a pergunta "Qual é a relíquia sagrada de Yelan?", Yang Xiaoyun precisa dividir a resposta em vários parágrafos: Primeiro, o que é Yelan? Além disso, quais são as relíquias sagradas? O que a relíquia sagrada de Yelan combina no final?
Colete informações no mecanismo de busca designado, conclua a edição da resposta e, por fim, envie-a no formato Markdown.
Além de perguntas simples e fáceis de responder, Yang Xiaoyun passava a maior parte do tempo em áreas profissionais com as quais não estava familiarizado, como zona econômica, zona jurídica, etc.
Obviamente, isso é completamente diferente do trabalho anterior de anotação de dados. **
Antes do surgimento de grandes modelos, os cenários de anotação de dados geralmente eram fábricas com centenas de pessoas, cada pessoa tinha um computador e havia apenas o som de mouse e teclado. E durante sua jornada de trabalho de 8 horas, eles fazem apenas uma coisa simples e repetitiva: enquadrar veículos motorizados, veículos não motorizados, pedestres e semáforos (detecção de alvo) em imagens diferentes; ou sublinhar o assunto de um parágrafo, Predicado, objeto (segmentação semântica).
Essas caixas de desenho para imagens e vídeos e segmentação semântica de texto são todas processamento de dados existentes, e os próprios anotadores de dados não precisam fornecer "conclusões criativas". Mas este não é o caso da anotação de dados de modelos grandes. Além de processar os dados existentes, os anotadores de dados também precisam responder perguntas e dar conclusões corretas. **
De acordo com o "Relatório de análise aprofundada e pesquisa de tendências de investimento sobre a situação atual da indústria de anotação de dados da China (2023-2030)", lançado pelo Guanyan Tianxia Data Center em 2023, antes do lançamento do ChatGPT, a anotação de dados de treinamento de IA era baseada principalmente em voz e visão computacional e linguagem natural A demanda por processamento (PNL) é inferior a 15%.
À medida que o chatbot ChatGPT se torna uma aplicação fenomenal do AIGC, há uma demanda crescente por tarefas de anotação de texto de alta qualidade, como julgamento emocional, capacidade de compreensão e até mesmo capacidade de raciocínio.
“A complexidade dos projetos (modelos grandes) tornou-se maior do que antes e os requisitos de pessoal são relativamente diferentes.” O responsável pelo Departamento de Produto de Dados da Stardust disse ao “Jiazi Light Year”, “Reconhecimento e anotação de informações visuais parciais para a direção autônoma, que é um trabalho mais físico, requer algum treinamento dos funcionários. Depois de aprenderem a puxar caixas, dominar teclas de atalho e dominar algumas habilidades, eles podem rapidamente se tornar competentes. ** Mas o que os modelos grandes precisam é de um sistema completo e estruturado, um sistema de dados diversificado e abrangente que requer quatro camadas de dados para apoiar a construção e melhoria do modelo.Esses dados envolvem pré-treinamento, SFT (ajuste fino supervisionado), RLHF (aprendizado por reforço baseado em feedback humano, Aprendizagem por Reforço com Feedback Humano), implantação privatizada, etc. Em resposta às necessidades de diferentes indústrias, lançamos a solução de pirâmide de dados de modelo grande COSMO; para anotadores de dados de modelo grande, rotular dados COSMO não é uma questão de múltipla escolha, nem é simples Em vez de compreensão de leitura e edição de texto, permite criar perguntas e respostas e criar conteúdo.**”
Jia Yuhang, gerente geral de dados de medição em nuvem, divide os dados de treinamento do maior modelo em três estágios: dados básicos, dados de cena e otimização de dados de cena. **Ele fez uma analogia dessas três etapas com o processo de aprendizagem.
“A anotação de dados básicos, como desenho de caixa, é relativamente simples e você pode dominar a operação do computador assim que aprendê-la; dados de cena são dados em um campo específico, necessários para pesquisa e desenvolvimento direcionados em links específicos, e você precisa aprender informações relevantes conhecimento de domínio para alcançar requisitos de anotação; no terceiro estágio, com base na iteração contínua e otimização durante a colocação em uso, os requisitos de habilidades e conhecimento de domínio serão mais refinados.", disse Jia Yuhang.
Sob este tipo de demanda de trabalho, cada vez mais grandes empresas modelo têm uma demanda por anotadores de dados, que também mudou de baixa escolaridade para alta escolaridade no passado, e essa demanda está aumentando.
Nas principais plataformas nacionais de procura de emprego, muitas posições de anotação de dados para grandes modelos estão sendo recrutadas atualmente. Essas posições exigem que os anotadores tenham diploma de bacharel ou superior. O Baidu afirmou anteriormente que sua grande base de anotação de dados de modelo em Haikou tem centenas de anotadores de dados e a taxa de graduação atingiu 100%.
2. Anotação severa de dados de modelos grandes
Por trás dessas tarefas repetitivas está, na verdade, a implementação da tecnologia de "Aprendizagem por Reforço a partir de Feedback Humano". A maior melhoria do GPT-3.5 vem disso. A chave é a participação humana (Rotulador), ou seja, desses anotadores de dados.
Das três etapas do RLHF acima, a etapa um e a etapa dois são relativamente mais importantes, porque determinam o nível de qualidade dos dados necessário para treinar o modelo de recompensa. Os estagiários de anotação de dados nessas duas etapas também são divididos em dois grupos principais: “grupo de edição” e “grupo de classificação”. **
O trabalho da equipe de edição é responder às perguntas do banco de perguntas; enquanto o trabalho da equipe de classificação é classificar as respostas geradas (incluindo modelo e respostas geradas artificialmente).
Ding Xiaoyu juntou-se ao editor em julho. Ding Xiaoyu, que também é formada em inglês, e Chen Xi estão ansiosos por um trabalho de tradução que possa melhorar seu nível profissional, mas na verdade seu trabalho não está relacionado ao inglês.
Em comparação com quando Yang Xiaoyun estava estagiando em fevereiro, a equipe de edição enfrentada por Ding Xiaoyu tornou-se mais subdividida: cada estagiário deve escolher uma direção vertical, como entretenimento, física, política, etc., e os requisitos de resposta tornaram-se mais detalhado.
Para uma questão de múltipla escolha sobre poesia antiga, você não deve apenas explicar a resposta, mas primeiro apresentar o tipo de pergunta, depois a tradução e o histórico da poesia e, finalmente, uma análise para saber se cada opção está correta ou não. O importante é fazer um benchmark com o GPT-4 de março lançado pela OpenAI no dia 14.
“Você tem que se referir à resposta, mas não pode ser igual à resposta e deve ser melhor do que a resposta.” Ding Xiaoyu estava desamparado.
Chenxi foi designado para o grupo de classificação, onde múltiplas respostas às perguntas eram classificadas todos os dias para determinar os prós e os contras de diferentes respostas.
Os resultados da classificação precisam ser claramente quantificados. Ela precisa avaliar as respostas sob diferentes perspectivas, como utilidade, autenticidade, relevância, segurança, etc., e anotar os motivos. Isto permite que as máquinas se aproximem infinitamente das respostas que os humanos esperam.
**Chen Xi às vezes tinha que escolher entre várias respostas ruins. E quando todas as respostas eram ruins, ela mesma foi solicitada a escrever uma resposta melhor. **
Ding Xiaoyu, da equipe editorial, enfrenta requisitos ainda mais exigentes. Cada resposta passará por duas rodadas de revisão antes de ser qualificada para entrega. A primeira veio do líder da equipe: “Depois de responder algumas perguntas, faremos uma reunião de revisão para encontrar falhas conosco até que o líder da equipe esteja satisfeito com as mudanças”. até que a sede seja aprovada na revisão.
Certa vez, devido a erros de formatação, a maioria das respostas de Ding Xiaoyu foram consideradas completamente erradas. "Pode ser suficiente ajustar a ordem, mas eles não se importam se o conteúdo da sua resposta está errado ou se há um problema com o formato. Só que está tudo errado."
O que deixou Ding Xiaoyu ainda mais arrasado foi que o líder da equipe afirmou diretamente que, se cometesse tantos erros novamente, poderia ser demitida.
**A anotação de dados para modelos grandes é um trabalho absolutamente orientado para resultados. Não importa quanto esforço você coloque no processo, desde que os resultados não sejam bons, todos os esforços anteriores serão completamente anulados. **
Mas o problema é que seja a resposta do grupo de edição ou a classificação das respostas pelo grupo de classificação, é uma tarefa muito subjetiva. É difícil para os estagiários de anotação de dados controlar se uma resposta é boa ou ruim; estagiários diferentes geralmente dão respostas diferentes para a mesma pergunta.
**Para resolver esse problema, uma das tarefas que a grande equipe de anotação de dados de modelos deve realizar todos os dias é realizar uma "reunião de revisão" - conhecida como "Reunião de Corrida" dentro da empresa. O objetivo é alinhar os responda aos padrões e alinhe as respostas. Todos entendem e todas as sugestões estão alinhadas. **
No entanto, é bastante difícil alcançar o verdadeiro alinhamento. É como a nota do vestibular: diferentes pessoas receberão as mesmas questões. Se as notas forem inconsistentes, elas deverão ser ajustadas continuamente até que uma pontuação unificada seja obtida.
Na impressão de Chen Xi, são gastas duas ou três horas em reuniões todos os dias. No final da reunião, a solução mais simples e grosseira é muitas vezes finalizada, com a minoria a obedecer à maioria, o que ela descreveu como “criar valor sem valor”.
No entanto, em comparação com todos sentados juntos para alinhar "artificialmente" os padrões de resposta, um problema mais problemático é: os ** padrões não são alinhados artificialmente de uma vez por todas, mas devem ser constantemente ajustados com base no feedback do resultado do modelo. **
A primeira coisa quando vai trabalhar todos os dias, Yang Xiaoyun precisa confirmar se um novo padrão de anotação foi emitido naquele dia, que vai desde o quadro da resposta, a divisão de parágrafos, até a seleção de mecanismos de busca, formatos como como espaços e sinais de pontuação. Mas ** os padrões estão mudando constantemente. **Uma vez descoberto que os dados alimentados não funcionam na máquina, os padrões precisam ser reformulados e todos os problemas serão anulados e reescritos.
"É como tecer. Devemos tecer grãos horizontais ou verticais? Devemos tecer botões de gergelim ou botões de trigo? Mas não importa qual botão seja, ele só pode ser colocado no programa e executado. Se você descobrir que não pode ser executado fora, você tem que mudar um método. "Yang Xiaoyun explicou a" Jiazi Guangnian ". Por trás dessa metáfora está que se a resposta dada pela anotação dos dados não atingir o efeito esperado durante o processo de treinamento do modelo de recompensa, o padrão deve ser ajustado.
A mudança de padrões significa que a conclusão da última reunião de alinhamento é inválida e os padrões têm que ser alinhados novamente.
“Redundante e eficiente, falando bobagens com muita eficiência todos os dias”, reclamou Yang Xiaoyun.
3. Alunos de alto desempenho que são explorados por grandes fábricas
**A característica comum desses estagiários é o alto grau de escolaridade. O requisito de recrutamento é bacharelado ou superior, mas muitos estagiários possuem mestrado. **
Muitos deles são educados nas melhores universidades da China e até do mundo. Yang Xiaoyun estava cercado por estudantes da Universidade de Pequim e do Imperial College London, e os estagiários próximos à estação de trabalho de Chenxi eram da Universidade Nankai e da Universidade de Ciência Eletrônica e Tecnologia da China; Ding Xiaoyu foi claramente informado durante o treinamento que as qualificações acadêmicas dos estagiários foram rastreados. "Ele (o entrevistador) disse que estudantes universitários altamente qualificados como nós podem aprender coisas rapidamente e começar facilmente."
**Gerenciar um grupo de pessoas inteligentes nunca é fácil. Porque essas pessoas podem facilmente descobrir a essência do seu trabalho a partir de ações repetidas e então questionar se esse trabalho é realmente valioso para o seu futuro. **
Ding Xiaoyu descreveu seu trabalho como "de pouco valor e muito desgastante internamente".
Quando ela chega à sua estação de trabalho todas as manhãs, ela abre a tela e o caderno, e usa o caderno para verificar as regras enquanto escreve as respostas na tela. Ding Xiaoyu pode sentir claramente que as regras e procedimentos detalhados a fazem perder gradualmente o espaço pensar, e sua Disciplina se torna uma máquina. “Se você não aprender algo e não tiver energia para aprender outras coisas, aos poucos perderá a motivação para aprender e o entusiasmo para fazer outras coisas.”
Ding Xiaoyu também trabalhou na equipe de dessensibilização, mas o trabalho real não tem nenhuma conexão fundamental com a palavra "dessensibilização". Ele apenas usa diferentes chatbots e produtos beta internos da empresa para responder às mesmas perguntas e compara e pontua as respostas. Depois de apenas alguns dias de trabalho, foi transferida para a equipe de revisão de textos, o que teve que fazer foi corrigir erros que ocorriam na conversão do formato PDF para o formato Word, principalmente erros de digitação e pontuação. Em um processo que ela descreveu como “quase um colapso”, ela completava 25 páginas de tarefas de correção de erros relacionados à medicina todos os dias.
Durante o processo de entrevista, o entrevistador perguntou a Ding Xiaoyu se ele aceitaria um trabalho chato e repetitivo. "Minha resposta na época foi que era aceitável. Acho que todas as respostas dos candidatos deveriam ser aceitáveis." Porque ele só teve uma experiência de estágio na graduação, e com a expectativa de acumular mais estágios e vivenciar grandes empresas, mesmo com dúvidas, Ding Xiaoyu ainda optou por ingressar na empresa.
Em apenas dois meses, Ding Xiaoyu foi considerado a pessoa que persistiu até o fim entre os estagiários no mesmo período. Ela testemunhou muitos estagiários chegando com grandes ambições e saindo de cabeça baixa.
O antropólogo David Graeber define empregos de merda como empregos que não têm significado ou propósito. Trabalhos que deveriam ser eliminados pela automação de máquinas continuam a existir por causa da fachada, para agradar aos superiores e para preencher lacunas do sistema. A anotação de dados é como uma variação de trabalhos idiotas que muitas vezes se pensa terem sido substituídos por máquinas, mas que ainda exigem que humanos os executem.
Quando chega a mania da inteligência artificial, as pessoas muitas vezes ouvem a expectativa de que a IA possa substituir os humanos na realização de tarefas repetitivas e chatas, permitindo assim que os humanos tenham mais tempo e energia para realizar um trabalho mais criativo e gratificante.
Mas também é possível que a inteligência artificial, tal como as tecnologias que pouparam trabalho no passado, como os telefones e as máquinas de escrever, superem a dor da transmissão de informação e da escrita, mas também criem uma grande quantidade de comunicação e papelada que requer uma nova inteligência artificial para funcionar. Gestão, como recepção, balconista. A IA pode não substituir os humanos, mas criará empregos mais tediosos, enfadonhos e isoladores.
**Além de não conseguirem obter o reconhecimento do valor do seu trabalho, o salário que recebem pode não permitir que esses melhores alunos obtenham “reconhecimento de preço”. **
Segundo “Jiazi Guangnian”, esses dados mostram que o salário dos estagiários não é alto. Se estiverem localizados em uma cidade de primeiro nível, o salário da maioria dos estagiários de inteligência artificial é de 150 yuans/dia, com subsídio de quarto e cantina gratuita; se estiverem localizados em uma cidade de segundo nível, restam apenas 100 yuans/dia, e o subsídio de quarto também é reduzido em um terço. 2. O suplemento de refeição de 20 yuans substitui a refeição gratuita.
Assim como o estágio de Ding Xiaoyu em uma cidade de segundo nível, porque o escritório está localizado no centro da cidade e a área é próspera, uma refeição para viagem pode facilmente exceder o padrão de subsídio de refeição de 20 yuans e basicamente exige o reembolso do salário do estágio.
Como a maioria deles são apenas anotadores básicos para treinar grandes modelos,eles podem ser uniformemente atribuídos a cargos que não têm nada a ver com sua profissão.Eles também podem ser transferidos para departamentos diferentes a qualquer momento e são obrigados a começar rapidamente após um curto período de tempo. treinamento.
** Ding Xiaoyu os descreveu como grupos de estagiários que foram aproveitados por grandes fábricas. **
Chen Xi sentiu claramente que não era a única que sentia a lacuna entre as expectativas e o trabalho real. “Para ser franco, sinto que este trabalho não é adequado para mim. Às vezes, ao conversar, descubro que outros estagiários podem ter 985 diplomas de bacharelado, e alguns retornaram do exterior com mestrado. , muito grande."
Yang Xiaoyun expressou isso de forma mais direta: “Pode ser uma metáfora inadequada. Minha mãe cursou o ensino médio, então ela pode fazer este trabalho”.
** 4. "Na verdade, somos trabalhadores da linha de montagem" **
O responsável pelo Departamento de Produtos de Dados Stardust disse: “À medida que as capacidades básicas do grande modelo são concluídas e o processo de desenvolvimento começa a se tornar mais vertical e complexo, as tarefas mudarão gradualmente, exigindo que ferramentas e pessoal sejam atualizados e iterados consequentemente. No entanto, os modelos grandes ainda estão nos estágios iniciais de desenvolvimento e a demanda do mercado por anotadores varia dependendo da tarefa. Em comparação com projetos de CV (Visão Computacional), os anotadores de PNL (Processamento de Linguagem Natural) têm requisitos mais elevados de capacidade de compreensão. os requisitos para terminologia profissional e conhecimento do domínio são mais elevados, e um corpus preciso e confiável deve ser fornecido.”
O responsável disse que os problemas colocados pelos grandes modelos à anotação de dados reflectem-se mais no design de nível superior. Para cada tarefa de anotação de dados, como entender as demandas do cenário de aplicação do cliente, projetar um conjunto de soluções, como seleção de dados, design de distribuição de dados e design de pipeline, que podem ser implementados de forma eficiente e com baixo custo, e como melhorar a eficiência e os recursos das ferramentas da plataforma são fundamentais. Um desafio maior.
Isto depende da participação de especialistas de domínio vertical como anotadores seniores, injetando conhecimento e experiência de domínio no design da solução e até mesmo participando do processo de iteração de inspeção de qualidade de dados.
Zhang Ziqian, chefe de operações do provedor de soluções de dados Besai Technology, disse sem rodeios que atualmente, em termos de treinamento de modelos de grande escala, não há diferença óbvia na dificuldade de trabalho e nos salários por hora entre anotadores básicos e anotadores que anteriormente estavam envolvidos na seleção de quadros . **Ao ajustar grandes modelos e criar soluções em campos verticais para os clientes, o maior problema é como construir conjuntos de dados de alta qualidade, o que exige rotular especialistas em áreas profissionais como TI, medicina e finanças. Esses talentos ainda são Escassez.
A OpenAI investiu dezenas de estudantes de doutorado na orientação e revisão da anotação de dados e terceirizou a anotação de dados básicos para empresas de anotação de dados, espalhadas em áreas de baixa renda, como África e Índia. **Quem realmente faz a diferença são os anotadores seniores, que representam apenas uma pequena proporção. **
Ao comparar as descrições de trabalho dos anotadores recrutados pela Baidu em sua sede em Pequim e na base de anotação de dados de Haikou, podemos ver que eles também servem para treinar grandes modelos.O primeiro é um anotador sênior responsável pela orientação, treinamento e revisão, enquanto o último é um anotador de dados básico., os dois têm níveis salariais muito diferentes.
**Em outras palavras, esses anotadores seniores de nível superior são, na verdade, os principais talentos para o treinamento de grandes modelos. Seu trabalho é mais técnico e valioso, e o custo de mão de obra também é mais alto. **
**Em contraste, mesmo que estes estagiários de escolas de prestígio venham a treinar grandes modelos, nesta fase, eles são essencialmente os mesmos que os anotadores de dados do passado. **
**Os estagiários costumam brincar entre si que não estão trabalhando em uma grande fábrica, mas na Internet Foxconn, e são trabalhadores na linha de montagem. Eles não conseguem ver aonde os resultados do seu trabalho acabarão por levá-los, nem conseguem criar uma cadeia horizontal de significado com as pessoas ao seu redor. **
Essa piada da “Internet Foxconn” refere-se não apenas ao trabalho desses estagiários, mas também à carga de trabalho e ao modelo de gestão, que está quase no mesmo nível da linha de montagem da fábrica.
A quantidade de trabalho que os estagiários precisam realizar todos os dias tem uma linha vermelha prescrita para a eficiência humana. Para Yang Xiaoyun, ela precisa marcar 32 questões por dia. Se a linha vermelha não for cumprida, ela terá que relatar os motivos ou fazer horas extras para concluí-la. O pré-requisito para a conclusão do trabalho são os padrões em constante mudança da Associação Lazi e a coleta contínua de informações.
Para concluir o treinamento do modelo o mais rápido possível, a equipe de anotação enfrenta um gerenciamento de alta pressão. O grupo de Yang Xiaoyun não tem permissão para conversar durante o horário de trabalho. O preço de algumas conversa fiadas pode ser adicionado à carga de trabalho. Se você não conseguir concluir o trabalho, será lembrado freneticamente no grupo. Mesmo se você estiver doente e perguntar para licença, você poderá ser interrompido por uma ligação urgente de seu funcionário regular.
Além disso, para garantir que os dados não sejam vazados, a troca de anotações de dados entre grupos é expressamente proibida. Mesmo que estagiários de grupos diferentes estejam próximos, eles não podem discutir o conteúdo do trabalho. Nenhum desses estagiários sabe quantos grupos subdivididos existem na rotulagem de dados da empresa e quantos estagiários existem. Um grupo pode ter 10, 40, 50, 60 pessoas ou centenas de pessoas em cada andar.
Sob a linha vermelha de alta pressão da eficiência humana, Yang Xiaoyun só pode ficar temporariamente “feliz” ao encontrar perguntas proibidas. Porque o conteúdo que envolve violência, pornografia e sangue coagulado deve ser removido diretamente, mas ainda pode ser contabilizado em itens de trabalho pessoal. "É equivalente a apertar um parafuso ruim. Você só ficará feliz por não precisar apertar o parafuso." Durante a divisão do trabalho pela manhã, os estagiários chegaram a competir entre si para conseguir os itens proibidos.
Depois que Yang Xiaoyun deixou o emprego mais cedo, ela costumava visitar os momentos dos estagiários que ainda se reuniam na empresa às 10 horas da noite, ou mesmo às 12 horas. Há também estagiários que mandam mensagens de voz para ela, chorando, mas como alugaram uma casa e não têm como sair, se não persistirem, todo o aluguel será desperdiçado.
5. Nunca faltarão pessoas aqui
Li Zhuxi é um dos raros estagiários com experiência em anotação de dados. Ela estudou linguística cognitiva e explicou que a direção de combinar linguística com neurologia, observando imagens cerebrais, incluindo o estabelecimento de interfaces cérebro-computador, tem uma certa ligação com a inteligência artificial.
Antes de vir para esta grande fábrica, ela havia feito anotação de dados para grandes modelos de linguagem em outra grande fábrica, e isso foi antes do lançamento do ChatGPT. Na impressão de Li Zhuxi, depois que o ChatGPT saiu do círculo, estágios semelhantes de anotação de dados surgiram como cogumelos depois da chuva.
Ela concluiu com êxito o estágio de três meses, embora o tenha descrito como um trabalho “relativamente mecânico e não muito difícil”. Li Zhuxi descreveu que presta mais atenção à experiência: "Não espero que este trabalho seja interessante. Ainda é bom experimentá-lo. Não só ganho experiência de estágio em uma grande fábrica, mas também experimento a cultura corporativa única aqui. "
Para Zhao Shuo, um estudante de artes liberais de uma escola em Shuangfei, o cargo de estágio de edição de inteligência artificial em uma grande fábrica foi sua escolha de nível superior.
Ao procurar um estágio de verão, ele preferiu uma posição operacional em um instituto de pesquisa. O instituto de pesquisa é uma instituição pública e tem uma equipe, o que era muito atraente para Zhao Shuo. “Naquela época, eu estava particularmente ansioso pelo feedback que isso poderia me dar." Mas no final, o instituto não escolheu Zhao Shuo, que era aluno do primeiro ano de pós-graduação, e recrutou um aluno de nível superior.
Tem gente que é mais “cacheada”.
Aos olhos de Zhao Shuo, alguns estagiários trabalharão particularmente arduamente e assumirão mais tarefas para buscar oportunidades de se tornarem funcionários regulares. Uma atitude séria e diligente conquistará o favor dos funcionários em tempo integral: “Os líderes costumam ter certas trocas com eles e também lhes darão alguma autorização de gestão para gerenciar estagiários”.
A empresa até seleciona semanalmente estagiários com excelente desempenho e publica suas fotos na parede como reconhecimento, mas não há necessariamente incentivo de bônus, e não há nenhum na linha de negócios de Zhao Shuo.
Jia Yuhang, gerente geral da Yunmei Data, disse a Jiaziguangnian que existem duas rotas principais de promoção para anotadores de dados: uma é a rota especializada. Depois de dominar habilidades relevantes em campos verticais específicos, os anotadores juniores podem gradualmente se tornar especialistas seniores em anotação. ;O outro é a rota de gerenciamento, tornando-se o gerente do projeto.
Mas Zhao Shuo não escolheria ficar. Após um ano de pós-graduação, Zhao Shuo percebeu claramente que suas expectativas para o trabalho futuro haviam diminuído. Sentindo as mudanças crescentes no ambiente geral e observando a insatisfação dos estudantes que escolheram um emprego após a formatura, os empregos "sofisticados, sofisticados" e "insubstituíveis" anteriormente esperados de Zhao Shuo foram gradualmente substituídos por um emprego estável. Como estudante de artes liberais, ele está ansioso por ainda não ter dominado habilidades insubstituíveis e espera encontrar um emprego que seja administrado dentro do sistema.
Ao conversar, os estagiários lamentavam uns aos outros que o trabalho que estão realizando poderá em breve ser substituído por máquinas e a alimentação manual de dados não será mais necessária.
Para Jia Yuhang, gerente geral de Cloud Measurement Data, preocupações semelhantes não existem. Com a produção em massa de algoritmos e o aprimoramento das capacidades de circuito fechado de dados, a quantidade total de dados rotulados e a quantidade de rotulagem manual de dados ainda aumentam ano após ano. No passado, era 100% anotação manual, mas agora existe uma certa proporção de anotação manual, anotação automática e verificação manual. No futuro, a proporção de etiquetagem automática poderá tornar-se cada vez maior. No entanto, embora a proporção de anotação manual esteja a diminuir, com o desenvolvimento gradual da indústria de inteligência artificial e a crescente quantidade de dados, a quantidade de anotação manual continuará a aumentar.
Depois de deixar o emprego mais cedo, Yang Xiaoyun encontrou um estágio de planejamento de jogos que ela gostou. O ambiente de trabalho era descontraído e ela se sentia mais gratificante. A edição de inteligência artificial foi uma experiência de estágio "azarada" para ela. Para Ding Xiaoyu, foi um processo de desencanto. Mesmo que ela fizesse um estágio em uma grande fábrica que tanto desejava, ela ainda enfrentaria inúmeros empregos chatos. Ela sentiu que isso poderia ser porque suas habilidades não eram fortes. o suficiente ou havia poucas oportunidades de experiência.
Mas nunca faltará gente lá.
Yang Xiaoyun ouviu dizer que depois que ela saiu, a equipe passou de dezenas para centenas em um mês. Ding Xiaoyu descobriu que a cada 10 dias chegava um novo lote de estagiários, cada lote composto por vinte ou trinta pessoas.
“Você pode sair xingando e dizendo ao mundo o quão ruim é o seu trabalho, mas haverá um fluxo constante de novas pessoas chegando para ocupar o seu lugar.”
*A pedido dos entrevistados, os personagens Chen Xi, Yang Xiaoyun, Ding Xiaoyu, Li Zhuxi e Zhao Shuo do artigo são pseudônimos.