Xiaoyan, que trabalha como anotador de dados em uma grande empresa de Internet, muitas vezes se sente isolado na empresa.
A estação de trabalho de Xiaoyan é próxima à dos gerentes de produto e programadores, eles podem desfrutar dos mesmos benefícios: o mesmo crachá de trabalho, computadores Apple, podem ir à academia ou dormir na cápsula espacial a qualquer hora.
Mas Xiaoyan pode perceber que, como anotadora de dados, ela e outros colegas pertencem a “dois mundos”.
Embora sejamos uma equipe, ninguém liga para o anotador na reunião matinal todos os dias, então Xiaoyan só pode observar secretamente do lado de fora da porta. Certa vez, alguém trouxe um carrinho de luminárias de mesa, que era um protótipo do produto de IA em que a equipe estava trabalhando. Os programadores se reuniram em torno dele, muito entusiasmados, e o pegaram nas mãos para brincar. Os anotadores sentaram-se em suas estações de trabalho e cuidaram de seus próprios negócios sem nenhum incidente. “Eles não sabem que o produto é feito com base em dados rotulados”.
Quando Xiaoyan ingressou na empresa, a empresa de Xiaoyan estava desenvolvendo um produto educacional de IA, que exigia rotular uma grande quantidade de dados para treinar a IA. A empresa comprou uma montanha de livros de perguntas de estudo para escolas primárias e secundárias. O trabalho de Xiaoyan era tirar fotos de cada pergunta, desenhar caixas e marcar essas perguntas no computador.
Também trabalhando para IA, os programadores estão claramente conscientes do valor do seu trabalho e desfrutam do prazer proporcionado pelo avanço contínuo dos algoritmos, mas poucos anotadores sentem que é o seu próprio trabalho que cria a IA.
O progresso da inteligência artificial é inseparável da anotação de dados. O desenvolvimento da direção autônoma nos últimos anos impulsionou o mercado de anotação de dados. De acordo com um relatório da Deloitte, a procura de rotulagem no domínio da condução autónoma representará 38% de todas as aplicações a jusante de IA em 2022, e espera-se que a proporção aumente para 52% até 2027.
A ascensão de grandes modelos este ano adicionou combustível à indústria de anotação de dados. Um grande número de pedidos baseados em cenários de treinamento de grandes modelos estão indo para empresas de anotação de dados. Parece que o negócio enfadonho de anotação de dados foi mais uma vez injetado com vitalidade .
Algumas empresas de tecnologia estão mais à frente e estão tentando usar a IA para sintetizar automaticamente dados para treinamento em IA. Os dados sintéticos são baseados em uma pequena quantidade de dados reais, gerados infinitamente pela IA e não requerem rotulagem, em vez de dependerem de rotulagem manual. No domínio da condução autónoma, os dados sintéticos podem abranger algumas condições extremas da estrada, como a invasão repentina de peões na estrada.
Na sua imaginação, os dados sintéticos substituirão a anotação manual no futuro. A rotulagem de empresas que não possuem tecnologia e dependem apenas de mão de obra será gradativamente eliminada. Um dado mostra que 70% dos dados básicos utilizados para inteligência artificial no exterior são dados sintéticos, e esse caminho está sendo verificado.
O que foi dito acima não é uma boa notícia para o grande número de anotadores de dados. Porém, alguns anotadores contatados pelo 36Kr ainda não sabem o que é ChatGPT e reagiram como se tivessem ouvido o termo pela primeira vez.
Xiaoyan disse que o etiquetador é uma cauda que pode ser cortada a qualquer momento. O único suspense é quando a faca cairá completamente.
Anotadores que treinam máquinas se sentem mais como máquinas
Xiaohe se formou em inglês e estagiou em uma grande fábrica durante seu último ano. Em seu primeiro dia de trabalho, o escritório ficava em um prédio de escritórios, espaçoso e limpo, totalmente alinhado com sua imaginação de empresa de Internet. Não demorou muito para ela perceber que o conteúdo do trabalho que aprendeu durante a entrevista - “organizar e classificar os dados de voz da empresa” - era na verdade anotação de dados.
Mais tarde, Xiaohe admitiu que se soubesse que era o início do trabalho para a IA, teria saído imediatamente.
O grupo conta com 6 estagiários, todos alunos do departamento de línguas estrangeiras de uma universidade de prestígio. Uma líder de equipe atribui tarefas todos os dias. Às vezes é um monte de símbolos fonéticos ingleses, e a tarefa de Xiaohe é distinguir a pronúncia britânica da pronúncia americana; às vezes é um Excel, clique nele e você verá dados em todos os lugares. Se você rolar para baixo, há mais de 10.000 itens .
“É como escalar uma montanha”, disse Xiaohe.
O “projeto” que mais tenho feito é a anotação oral para alunos do ensino médio. Os anotadores estão acostumados a falar sobre o trabalho como projetos, um projeto após o outro. Xiaohe ouve 200 gravações com sotaques fortes por dia, cada uma com duração de dois minutos. Se você ouvir uma pergunta geral, marque 1; se ouvir uma pergunta especial, marque 2; se não ouvir nenhuma delas, marque 0. Para evitar vazamentos, ele só podia usar fones de ouvido com fio no escritório. As orelhas de Xiaohe estavam doloridas e ele se sentia "involuntariamente irritado".
Ela frequentemente ouve palavrões usados nas gravações. Algumas crianças não falam algumas palavras antes de começarem a xingar. Outra vez, quando estávamos trabalhando em um projeto de navegação por mapa, alguém não pôde deixar de xingar a gravação. "Não sei por que alguém ficaria tão zangado."
Xiaohe disse que você não pode levar isso muito a sério. Você só pode marcar esta gravação como “sem sentido”, virar a página e continuar ouvindo a próxima.
**"Como uma máquina", quase todos os anotadores se descreveriam desta forma. **A anotação é óbvia. Um anotador de Shandong disse que o projeto mais difícil que ele já fez foi a anotação de impressões digitais. Ela pegou um monte de impressões digitais de alguém que ela não conhecia (algumas delas ainda estavam borradas), e ela precisou puxar a moldura ao longo das bordas das impressões digitais aos poucos. "Depois que cheguei em casa naquele dia, pude ver impressões digitais em todos os meus olhos quando os fechei."
Muitos projetos exigem que os anotadores mantenham estrita confidencialidade, mas os anotadores não se importam com a finalidade do projeto. Durante o trabalho, os etiquetadores são obrigados a entregar seus celulares e colocá-los em uma bolsa pendurada na parede. Eles só poderão recuperar seus telefones se receberem uma chamada.
A maioria dos anotadores experimentou o processo desde a falta de familiaridade até a proficiência, da novidade ao enfadonho. A fase inicial do projecto foi a mais interessante. Naquela altura, as regras de rotulagem ainda não estavam completas. Muitas vezes encontravam-se áreas controversas e discutiam ou mesmo discutiam entre si, e a atmosfera era animada. Nos estágios intermediários e finais, as regras estão quase finalizadas, restando apenas o trabalho repetitivo e mecânico, e as pessoas cairão em uma sensação de falta de sentido.
**Um anotador disse que foi um "trabalho estúpido". **
Em Fuzhou, Jiangxi, estudantes de escolas profissionais locais estão fazendo anotação de dados; Fonte: foto do IC
Jia Wenjuan, professora da Universidade de Xangai, fez pesquisas de campo sobre anotação de dados. Ela acredita que a anotação de dados não é trabalho mental, nem trabalho físico, mas trabalho cognitivo. "O que as pessoas vendem é sua própria cognição." O humor negro é que queremos que as máquinas se tornem mais parecidas com os humanos, mas ao mesmo tempo tornamos os humanos mais parecidos com as máquinas. Em outras palavras, deixe de lado o bom senso e pense como um robô. **
E uma vez que o anotador começa a pensar “Por que devo fazer isso”, significa que ele não está longe de renunciar.
Zheng Wei é o chefe de uma empresa de anotação de dados e disse sem rodeios que não pode reter pessoas. Na melhor das hipóteses, a empresa tem menos de 20 pessoas. Os novos funcionários geralmente duram apenas meio mês. Muitas pessoas vêm trabalhar no primeiro dia e saem no dia seguinte. Ele não teve escolha a não ser continuar reduzindo seus requisitos de recrutamento e, no final, sentiu que "não estou selecionando pessoas, mas outros estão me selecionando".
Ele não sabia como reter aqueles que estavam saindo. "Vai ficar cada vez melhor se você ficar aqui. Na verdade, eu mesmo não acredito nisso.", disse o Comissário Zheng ao 36 Krypton. O desgaste dos funcionários acabou sobrecarregando a empresa e, quando restavam apenas dois anotadores, ele decidiu dissolver a equipe. Não muito tempo depois, o ChatGPT desencadeou uma nova onda de IA.
A ascensão de grandes modelos é boa para anotação de dados, mas também intensifica a involução da equipe de anotação **. **
No que diz respeito à aceitação de empregos, Xiaodai disse que 80-90% dos projectos de marcação no mercado têm agora preços unitários muito baixos, "porque há demasiados subcontratantes no meio" e "todos querem lucrar com o preço". diferença, e não quer realmente fazer o trabalho." . Ele trabalhou como anotador em uma plataforma de crowdsourcing por dois anos e iniciou seu próprio negócio este ano para formar sua própria equipe de anotação.
A anotação de dados não é muito lucrativa. Tomando como exemplo o desenho 2D da direção autônoma, o preço de envio do pedido de uma grande empresa é de 10 centavos, e a equipe de etiquetagem que assume o trabalho custa 8 centavos cada. “Agora caiu para 5 ou 6 pontos”, disse Xiaodai. Ele calculou uma conta e, se fosse inferior a 8 pontos, só poderia perder dinheiro.
Para sobreviver, Xiao Dai passa a maior parte do tempo procurando projetos e circulando por diversas plataformas e postes. Os projetos são genuínos e falsos, e a maioria deles não são confiáveis. O agente sofreu prejuízos. Há um projeto onde o dinheiro não chegou após 8 meses de espera.
Mais tarde, ele trabalhou inicialmente como anotador em meio período e, somente depois que não houve problemas com a licitação e liquidação experimental, ele deixou a equipe assumir o trabalho. Uma vez soube que a plataforma iria lançar um lote de projetos às 15h da madrugada, então ele acionou um alarme com antecedência para pegar os pedidos.
**Perda de pessoal, preços unitários baixos e cobranças de pagamentos instáveis são como tumores, arrastando para baixo a maioria das pequenas empresas deste setor. **
Não há anotador que não despreze este trabalho.Eles não conseguem ganhar dinheiro, não conseguem ver espaço de promoção e oportunidades de desenvolvimento e caem em um longo período de depressão e perda.
Enquanto escrevia este artigo, a maioria dos anotadores contatados por 36Kr renunciou. Uma menina disse que trabalhava há dois meses e que seu salário era inferior a 3.000 yuans.
Anotadores internos: taxa de bacharelado 100%
No passado, o limite para anotação de dados era baixo. Em Shandong, Shanxi, Henan, Guizhou e outros lugares, muitas empresas de anotação de dados recrutaram um grande número de mão de obra barata. Os mais comuns incluem mães, pessoas com deficiência e alunos de escolas profissionais.Desde que dominem as operações básicas de computadores, podem ingressar neste setor.
Na era dos grandes modelos, uma confusão e eliminação da anotação de dados ocorre silenciosamente entre os candidatos.
Os pesquisadores descobriram que a qualidade dos dados de treinamento tem um impacto muito grande no desempenho do modelo. Comparado com a quantidade de dados, com maior qualidade de dados, o efeito de melhoria do modelo é mais óbvio. Para controlar a qualidade dos dados, algumas empresas de IA formaram as suas próprias equipas de rotulagem.O primeiro passo é aumentar o limiar de entrada na indústria.
O mais óbvio é que as qualificações acadêmicas dos anotadores estão começando a aumentar.
Em abril deste ano, um fabricante líder de modelos em grande escala estabeleceu uma base de anotação de dados, e o primeiro lote de anotadores recrutados ** teve uma taxa de bacharelado de 100%. **O responsável pela empresa explicou que grandes modelos de dados envolvem uma ampla gama de conhecimentos e critérios de avaliação complexos, o que testa bastante a compreensão da linguagem e as habilidades de raciocínio lógico do anotador.
Xiao Wang tinha acabado de se formar na faculdade e quando voltou para sua cidade natal em busca de emprego, acidentalmente se deparou com o recrutamento dessa base de rotulagem de dados. Então ele participou da entrevista e foi aprovado com sucesso. A base lhe enviou um material de treinamento de 300 mil palavras e somente após passar no exame de treinamento ele poderá assumir oficialmente o cargo.
Os anotadores trabalham nas perguntas todos os dias. Os recém-chegados respondem a 40 perguntas por dia, enquanto os trabalhadores experientes respondem de 70 a 80 perguntas. O sistema backend distribui perguntas para todos, a maioria das quais são registros de conversas entre usuários reais e grandes modelos. As perguntas dos usuários vêm de todo o mundo e são ainda mais bizarras: Qual destes três celulares é melhor? Quais ovos são melhores ou gashapon? Quais são os critérios para pessoas de sucesso? Por que Lin Daiyu lutou contra o Demônio dos Ossos?
Um modelo grande terá muitas respostas, e o trabalho de Xiao Wang é ler cada resposta, selecionar erros e pontuá-los um por um de acordo com a qualidade. 5 pontos é uma pontuação perfeita, 1 ponto é a mais baixa e respostas abaixo de 3 pontos precisam ser divididos em tipos de erros. Se a resposta não for a que foi perguntada, a pontuação mais baixa será dada diretamente. Se for encontrada uma questão delicada, nenhuma pontuação será dada e será julgada como “outra”.
Classificando, pontuando e avaliando, essas etapas de anotação um pouco complicadas são exatamente o que é chamado de RLHF (Aprendizagem por Reforço com Feedback Humano, ou seja, aprendizagem por reforço com feedback humano).O objetivo é alinhar continuamente grandes modelos com valores e formas humanas. de pensamento. Mais utilizável. OpenAI utilizou RLHF no processo de treinamento do ChatGPT e obteve resultados notáveis.
Em comparação com a rotulagem de dados anterior, as regras de rotulagem para modelos grandes são mais subjetivas. Quando um engenheiro de algoritmo entrevista um anotador, ele fará a seguinte pergunta à outra pessoa: "Se você fosse um líder empresarial e enfrentasse quatro tipos de funcionários: Sun Wukong, Zhu Bajie, Tang Monk e Sha Seng, quem você preferiria? contratar?"
Não existe uma resposta padrão, disse ele. **Este tipo de pergunta serve para testar se o anotador tem capacidade de raciocínio lógico. **
A demanda da indústria por talentos tornou-se urgente. Uma empresa iniciante chamada Kaiwang Data está cooperando com universidades para treinar um grande número de anotadores estudantes universitários. O CEO Yu Xu disse que a empresa construiu a "Kaywang Data Academy" no ano passado e treinou mais de 1.500 alunos em 50 escolas para se envolverem na anotação de dados.
Quando Xiao Wang avalia as respostas do grande modelo, muitas vezes ele precisa verificar os fatos, e a carga de trabalho depende inteiramente da sorte. Uma vez me deparei com uma pergunta: Qual é o melhor, o BMW Série 3 ou o Mercedes-Benz Série C? O modelo grande lista 40 parâmetros dos dois carros, respectivamente, e cada parâmetro precisa ser verificado por Xiao Wang. Essa pergunta levou meia hora.
Depois de fazer anotações por um tempo, Xiao Wang descobriu que sua pontuação raramente ultrapassava 3 pontos: “As respostas da IA não são suficientes para me deixar muito satisfeito ou excelente”. Ele lembrou que uma pergunta era “Se o fone de ouvido Bluetooth estiver quebrado, devo ir ao dentista ou ao fabricante do fone de ouvido?” Era obviamente uma pergunta de pesca, mas a resposta da IA fez seus olhos brilharem. “Ele disse para ir ao dentista para reparos, não para o hospital."
Xiao Wang está satisfeito com este trabalho. Seu salário básico mensal é de 1.800 yuans, um bônus de frequência perfeita de 200 yuans e um subsídio de moradia de 200 yuans. Levando em consideração o desempenho, ele pode receber 4.000 yuans por mês. Ele disse que a renda é considerada acima da média local. Ele também puxou o cabelo para cima e os dois sentaram-se em estações de trabalho adjacentes.
Havia cerca de 20 estudantes universitários treinando ao mesmo tempo que Xiao Wang. Em dois dias, quase todos haviam partido e restavam apenas duas ou três pessoas.
Mas não precisamos nos preocupar com a empresa, nunca faltarão universitários aqui. Um CTO revelou a verdade a 36Kr: Vá e dê uma olhada na situação atual de emprego dos estudantes universitários.
O que mais quero eliminar é a anotação humana, não a IA
Deve-se admitir que existem muitos relatórios sobre anotação de dados. O consenso das pessoas inclui que este trabalho é a “linha de montagem da Internet”, o que é difícil de fazer há muito tempo, e que a anotação manual acabará por ser substituída pela IA.
No mês passado, passamos muito tempo nos comunicando com engenheiros de algoritmos e empresas de IA. Embora o consenso acima não tenha sido atualizado, pode-se sentir vagamente que o que mais deseja eliminar o trabalho humano pode não ser a IA. Antes que a IA possa realmente agir, aqueles que dominam a tecnologia mais avançada já ergueram as suas foices.
No mundo da tecnologia, a importância dos dados não pode ser exagerada. O engenheiro de algoritmos Xiao Duan disse que se uma empresa de IA não tiver dados rotulados, não importa quão bom seja o algoritmo que eles escrevem, eles serão em pedaços. Quanto mais dados rotulados, melhor. Coletar toda a lã dos etiquetadores é um negócio com lucro garantido.
Às vezes, o algoritmo pode finalizar os dados que os anotadores levaram quatro ou cinco dias para completar em uma hora. Xiao Duan trabalha para uma grande empresa de Internet, o departamento tem orçamento suficiente e vários anotadores em tempo integral. "Tentamos não deixar os anotadores ociosos. Os líderes lerão o relatório semanal. Se acharem que não há muitas tarefas, vamos atribuir-lhes mais tarefas."
Um anotador disse a 36Kr que embora os programadores que trabalham com ele digam que todo tipo de trabalho tem valor, eles ainda revelam inadvertidamente um traço de desprezo. “É claro que esse grupo de pessoas é orientado para a tecnologia.” O anotador se consolou.
A tecnologia está progredindo muito mais rápido do que todos esperavam.Na era dos grandes modelos, a qualidade dos dados afetará diretamente o desempenho do modelo. **Compreendendo isso, algumas empresas de IA se despediram dos terceirizadores de anotação de dados sem hesitação.
“A qualidade dos dados que recebemos era tão baixa que eram basicamente inúteis”, disse o CTO de uma empresa de IA. Seu negócio principal são vídeos gerados por IA, e eles desenvolveram um modelo autodesenvolvido que pode gerar quantidades ilimitadas de vídeos de produtos de comércio eletrônico. Para treinar o modelo, eles recrutaram especialmente 50 estudantes universitários para fazer anotação de dados.
Também é difícil confiar nos estudantes universitários quando se trata de áreas profissionais como assistência médica, finanças e informática. Além de construir sua própria base de etiquetagem, uma grande empresa nacional de Internet também contrata profissionais para etiquetar. Embora a proporção de profissionais na indústria de anotação ainda seja pequena, o seu papel é bastante óbvio. Por exemplo, é muito reconfortante deixar a questão sobre a suspensão dos pagamentos da segurança social a profissionais que estejam familiarizados com os documentos governamentais.
Um segredo aberto é que muito antes de o ChatGPT se tornar popular, a OpenAI organizou mais de uma dúzia de estudantes de doutorado para "marcar". Em oito anos, a OpenAI gastou US$ 1 bilhão apenas treinando o modelo.
Em maio deste ano, uma empresa de dados dos EUA começou a recrutar profissionais em áreas específicas. A remuneração para estes anotadores seniores já não é uma pechincha. Por exemplo, o salário por hora para rotular dados jurídicos é de 45 dólares e o salário por hora para poesia é de 25 dólares.
No entanto, aos olhos de algumas empresas de IA, sejam elas operárias ou de colarinho branco, elas querem economizar custos. Ao se comunicar com essas empresas, a 36 Krypton ouvia frequentemente uma palavra: reduzir custos e aumentar a eficiência.
O método mais comum é usar IA para anotações automatizadas. Uma empresa de dados afirmou que a proporção de anotações automatizadas atingiu mais de 70%.
O engenheiro de algoritmos Xiao Li e seus colegas estão fazendo tentativas mais inovadoras: ** Contanto que uma pequena parte dos dados reais seja usada como modelo, por meio da tecnologia de IA generativa e uma série de algoritmos, dados de treinamento de alta qualidade podem ser sintetizado. Em outras palavras, ninguém é necessário. **
“O preço dos nossos dados sintéticos é um pouco mais barato do que o da anotação manual”, disse Xiao Li.
Atualmente, os dados sintéticos são utilizados principalmente nas áreas de condução autônoma e robótica. Xiao Li disse que quando o ChatGPT foi lançado, ele percebeu que os dados anotados poderiam não funcionar e que os dados sintéticos teriam que ser usados no final. O fundador da OpenAI, Sam Altman, também tem uma visão semelhante: “Dados sintéticos são a maneira mais eficaz de resolver a escassez de grandes modelos de dados”.
A empresa start-up Light Wheel Intelligence produz principalmente dados sintéticos nas áreas de direção autônoma e robótica. “O resultado final da etiquetagem automatizada é a ausência de etiquetagem", disse o CEO Xie Chen. “A maioria das empresas de etiquetagem não vê esse longo prazo."
Xie Chen mencionou a 36Kr que um colega da equipe já havia feito anotações automatizadas em um OEM e conquistou a anotação 4D-BEV mais complexa. Esta é uma ferramenta de anotação líder do setor que usa o tempo como quarta latitude para anotação em espaço 3D para melhorar o desempenho de sistemas de direção autônomos. Este ano ele decidiu abandonar a anotação automatizada, tomou a iniciativa de encontrar Xie Chen e finalmente ingressou na Nimbus Intelligence.
Este colega é Xiao Li. Ele disse que o surgimento da IA generativa já o deixou muito ansioso, mas depois de ver os dados sintéticos, ele ficou animado novamente.
Um dos objetivos de seu trabalho é “substituir (rotular) pessoas nesta indústria”, mas ele tem vergonha de dizer com certeza: “Provavelmente será no curto prazo, talvez um ou dois anos”.
Finalmente, vamos voltar ao mundo dos anotadores. A ansiedade causada pelo rápido desenvolvimento da tecnologia é quase invisível aqui. Existem apenas aborrecimentos triviais e repetitivos e algumas fantasias ingênuas.
O estudante universitário Xiao Wang ainda treina grandes modelos em sua cidade natal. Quando conversamos recentemente, ele disse que esse trabalho era uma oportunidade de entrar na área de inteligência artificial. O caminho de promoção definido pela empresa para eles vai de anotadores a inspetores de qualidade, treinadores, supervisores e, finalmente, gerentes de projeto. O objetivo de Xiao Wang é se tornar um supervisor e depois mudar de emprego para uma posição mais próxima da IA. O que é exatamente, ele ainda não sabe.
Comparado com o ambicioso Xiao Wang, a maioria dos anotadores tem pouco interesse em IA. Uma rapariga explicou: “Não presto muita atenção à alta tecnologia.” Ela está a marcar há dois anos e já é funcionária sénior. Foi recentemente promovida a inspectora de qualidade. Para ela, o trabalho de anotação é simples e estável, “sem atrito mental” e ela pode ocasionalmente pescar. Neste ano em que a IA agitou o mundo da tecnologia, a sua vida tem sido tão calma como a água.
Uma das poucas mudanças é a adição de um bot conversacional às ferramentas de anotação disponibilizadas pela empresa. A empresa avisa a todos que se você encontrar alguma dúvida que não entenda durante a anotação, basta perguntar diretamente ao robô para economizar tempo. A eficiência melhorou rapidamente. Ela disse a 36 Krypton que antes ela conseguia fazer até quinhentas ou seiscentas caixas por dia, mas agora pode fazer mais de setecentas.
“Graças ao robô”, disse ela. Ninguém disse a ela ainda que se chamava ChatGPT.
(A pedido do entrevistado, alguns dos personagens do artigo possuem pseudônimos. A autora do 36Kr, Anita Deng, também contribuiu para o artigo.)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Anotadores de dados, presos em modelos grandes
Texto original: 36º
Xiaoyan, que trabalha como anotador de dados em uma grande empresa de Internet, muitas vezes se sente isolado na empresa.
A estação de trabalho de Xiaoyan é próxima à dos gerentes de produto e programadores, eles podem desfrutar dos mesmos benefícios: o mesmo crachá de trabalho, computadores Apple, podem ir à academia ou dormir na cápsula espacial a qualquer hora.
Mas Xiaoyan pode perceber que, como anotadora de dados, ela e outros colegas pertencem a “dois mundos”.
Embora sejamos uma equipe, ninguém liga para o anotador na reunião matinal todos os dias, então Xiaoyan só pode observar secretamente do lado de fora da porta. Certa vez, alguém trouxe um carrinho de luminárias de mesa, que era um protótipo do produto de IA em que a equipe estava trabalhando. Os programadores se reuniram em torno dele, muito entusiasmados, e o pegaram nas mãos para brincar. Os anotadores sentaram-se em suas estações de trabalho e cuidaram de seus próprios negócios sem nenhum incidente. “Eles não sabem que o produto é feito com base em dados rotulados”.
Quando Xiaoyan ingressou na empresa, a empresa de Xiaoyan estava desenvolvendo um produto educacional de IA, que exigia rotular uma grande quantidade de dados para treinar a IA. A empresa comprou uma montanha de livros de perguntas de estudo para escolas primárias e secundárias. O trabalho de Xiaoyan era tirar fotos de cada pergunta, desenhar caixas e marcar essas perguntas no computador.
Também trabalhando para IA, os programadores estão claramente conscientes do valor do seu trabalho e desfrutam do prazer proporcionado pelo avanço contínuo dos algoritmos, mas poucos anotadores sentem que é o seu próprio trabalho que cria a IA.
O progresso da inteligência artificial é inseparável da anotação de dados. O desenvolvimento da direção autônoma nos últimos anos impulsionou o mercado de anotação de dados. De acordo com um relatório da Deloitte, a procura de rotulagem no domínio da condução autónoma representará 38% de todas as aplicações a jusante de IA em 2022, e espera-se que a proporção aumente para 52% até 2027.
A ascensão de grandes modelos este ano adicionou combustível à indústria de anotação de dados. Um grande número de pedidos baseados em cenários de treinamento de grandes modelos estão indo para empresas de anotação de dados. Parece que o negócio enfadonho de anotação de dados foi mais uma vez injetado com vitalidade .
Algumas empresas de tecnologia estão mais à frente e estão tentando usar a IA para sintetizar automaticamente dados para treinamento em IA. Os dados sintéticos são baseados em uma pequena quantidade de dados reais, gerados infinitamente pela IA e não requerem rotulagem, em vez de dependerem de rotulagem manual. No domínio da condução autónoma, os dados sintéticos podem abranger algumas condições extremas da estrada, como a invasão repentina de peões na estrada.
Na sua imaginação, os dados sintéticos substituirão a anotação manual no futuro. A rotulagem de empresas que não possuem tecnologia e dependem apenas de mão de obra será gradativamente eliminada. Um dado mostra que 70% dos dados básicos utilizados para inteligência artificial no exterior são dados sintéticos, e esse caminho está sendo verificado.
O que foi dito acima não é uma boa notícia para o grande número de anotadores de dados. Porém, alguns anotadores contatados pelo 36Kr ainda não sabem o que é ChatGPT e reagiram como se tivessem ouvido o termo pela primeira vez.
Xiaoyan disse que o etiquetador é uma cauda que pode ser cortada a qualquer momento. O único suspense é quando a faca cairá completamente.
Anotadores que treinam máquinas se sentem mais como máquinas
Xiaohe se formou em inglês e estagiou em uma grande fábrica durante seu último ano. Em seu primeiro dia de trabalho, o escritório ficava em um prédio de escritórios, espaçoso e limpo, totalmente alinhado com sua imaginação de empresa de Internet. Não demorou muito para ela perceber que o conteúdo do trabalho que aprendeu durante a entrevista - “organizar e classificar os dados de voz da empresa” - era na verdade anotação de dados.
Mais tarde, Xiaohe admitiu que se soubesse que era o início do trabalho para a IA, teria saído imediatamente.
O grupo conta com 6 estagiários, todos alunos do departamento de línguas estrangeiras de uma universidade de prestígio. Uma líder de equipe atribui tarefas todos os dias. Às vezes é um monte de símbolos fonéticos ingleses, e a tarefa de Xiaohe é distinguir a pronúncia britânica da pronúncia americana; às vezes é um Excel, clique nele e você verá dados em todos os lugares. Se você rolar para baixo, há mais de 10.000 itens .
“É como escalar uma montanha”, disse Xiaohe.
O “projeto” que mais tenho feito é a anotação oral para alunos do ensino médio. Os anotadores estão acostumados a falar sobre o trabalho como projetos, um projeto após o outro. Xiaohe ouve 200 gravações com sotaques fortes por dia, cada uma com duração de dois minutos. Se você ouvir uma pergunta geral, marque 1; se ouvir uma pergunta especial, marque 2; se não ouvir nenhuma delas, marque 0. Para evitar vazamentos, ele só podia usar fones de ouvido com fio no escritório. As orelhas de Xiaohe estavam doloridas e ele se sentia "involuntariamente irritado".
Ela frequentemente ouve palavrões usados nas gravações. Algumas crianças não falam algumas palavras antes de começarem a xingar. Outra vez, quando estávamos trabalhando em um projeto de navegação por mapa, alguém não pôde deixar de xingar a gravação. "Não sei por que alguém ficaria tão zangado."
Xiaohe disse que você não pode levar isso muito a sério. Você só pode marcar esta gravação como “sem sentido”, virar a página e continuar ouvindo a próxima.
**"Como uma máquina", quase todos os anotadores se descreveriam desta forma. **A anotação é óbvia. Um anotador de Shandong disse que o projeto mais difícil que ele já fez foi a anotação de impressões digitais. Ela pegou um monte de impressões digitais de alguém que ela não conhecia (algumas delas ainda estavam borradas), e ela precisou puxar a moldura ao longo das bordas das impressões digitais aos poucos. "Depois que cheguei em casa naquele dia, pude ver impressões digitais em todos os meus olhos quando os fechei."
Muitos projetos exigem que os anotadores mantenham estrita confidencialidade, mas os anotadores não se importam com a finalidade do projeto. Durante o trabalho, os etiquetadores são obrigados a entregar seus celulares e colocá-los em uma bolsa pendurada na parede. Eles só poderão recuperar seus telefones se receberem uma chamada.
A maioria dos anotadores experimentou o processo desde a falta de familiaridade até a proficiência, da novidade ao enfadonho. A fase inicial do projecto foi a mais interessante. Naquela altura, as regras de rotulagem ainda não estavam completas. Muitas vezes encontravam-se áreas controversas e discutiam ou mesmo discutiam entre si, e a atmosfera era animada. Nos estágios intermediários e finais, as regras estão quase finalizadas, restando apenas o trabalho repetitivo e mecânico, e as pessoas cairão em uma sensação de falta de sentido.
**Um anotador disse que foi um "trabalho estúpido". **
Jia Wenjuan, professora da Universidade de Xangai, fez pesquisas de campo sobre anotação de dados. Ela acredita que a anotação de dados não é trabalho mental, nem trabalho físico, mas trabalho cognitivo. "O que as pessoas vendem é sua própria cognição." O humor negro é que queremos que as máquinas se tornem mais parecidas com os humanos, mas ao mesmo tempo tornamos os humanos mais parecidos com as máquinas. Em outras palavras, deixe de lado o bom senso e pense como um robô. **
E uma vez que o anotador começa a pensar “Por que devo fazer isso”, significa que ele não está longe de renunciar.
Zheng Wei é o chefe de uma empresa de anotação de dados e disse sem rodeios que não pode reter pessoas. Na melhor das hipóteses, a empresa tem menos de 20 pessoas. Os novos funcionários geralmente duram apenas meio mês. Muitas pessoas vêm trabalhar no primeiro dia e saem no dia seguinte. Ele não teve escolha a não ser continuar reduzindo seus requisitos de recrutamento e, no final, sentiu que "não estou selecionando pessoas, mas outros estão me selecionando".
Ele não sabia como reter aqueles que estavam saindo. "Vai ficar cada vez melhor se você ficar aqui. Na verdade, eu mesmo não acredito nisso.", disse o Comissário Zheng ao 36 Krypton. O desgaste dos funcionários acabou sobrecarregando a empresa e, quando restavam apenas dois anotadores, ele decidiu dissolver a equipe. Não muito tempo depois, o ChatGPT desencadeou uma nova onda de IA.
A ascensão de grandes modelos é boa para anotação de dados, mas também intensifica a involução da equipe de anotação **. **
No que diz respeito à aceitação de empregos, Xiaodai disse que 80-90% dos projectos de marcação no mercado têm agora preços unitários muito baixos, "porque há demasiados subcontratantes no meio" e "todos querem lucrar com o preço". diferença, e não quer realmente fazer o trabalho." . Ele trabalhou como anotador em uma plataforma de crowdsourcing por dois anos e iniciou seu próprio negócio este ano para formar sua própria equipe de anotação.
A anotação de dados não é muito lucrativa. Tomando como exemplo o desenho 2D da direção autônoma, o preço de envio do pedido de uma grande empresa é de 10 centavos, e a equipe de etiquetagem que assume o trabalho custa 8 centavos cada. “Agora caiu para 5 ou 6 pontos”, disse Xiaodai. Ele calculou uma conta e, se fosse inferior a 8 pontos, só poderia perder dinheiro.
Para sobreviver, Xiao Dai passa a maior parte do tempo procurando projetos e circulando por diversas plataformas e postes. Os projetos são genuínos e falsos, e a maioria deles não são confiáveis. O agente sofreu prejuízos. Há um projeto onde o dinheiro não chegou após 8 meses de espera.
Mais tarde, ele trabalhou inicialmente como anotador em meio período e, somente depois que não houve problemas com a licitação e liquidação experimental, ele deixou a equipe assumir o trabalho. Uma vez soube que a plataforma iria lançar um lote de projetos às 15h da madrugada, então ele acionou um alarme com antecedência para pegar os pedidos.
**Perda de pessoal, preços unitários baixos e cobranças de pagamentos instáveis são como tumores, arrastando para baixo a maioria das pequenas empresas deste setor. **
Não há anotador que não despreze este trabalho.Eles não conseguem ganhar dinheiro, não conseguem ver espaço de promoção e oportunidades de desenvolvimento e caem em um longo período de depressão e perda.
Enquanto escrevia este artigo, a maioria dos anotadores contatados por 36Kr renunciou. Uma menina disse que trabalhava há dois meses e que seu salário era inferior a 3.000 yuans.
Anotadores internos: taxa de bacharelado 100%
No passado, o limite para anotação de dados era baixo. Em Shandong, Shanxi, Henan, Guizhou e outros lugares, muitas empresas de anotação de dados recrutaram um grande número de mão de obra barata. Os mais comuns incluem mães, pessoas com deficiência e alunos de escolas profissionais.Desde que dominem as operações básicas de computadores, podem ingressar neste setor.
Na era dos grandes modelos, uma confusão e eliminação da anotação de dados ocorre silenciosamente entre os candidatos.
Os pesquisadores descobriram que a qualidade dos dados de treinamento tem um impacto muito grande no desempenho do modelo. Comparado com a quantidade de dados, com maior qualidade de dados, o efeito de melhoria do modelo é mais óbvio. Para controlar a qualidade dos dados, algumas empresas de IA formaram as suas próprias equipas de rotulagem.O primeiro passo é aumentar o limiar de entrada na indústria.
O mais óbvio é que as qualificações acadêmicas dos anotadores estão começando a aumentar.
Em abril deste ano, um fabricante líder de modelos em grande escala estabeleceu uma base de anotação de dados, e o primeiro lote de anotadores recrutados ** teve uma taxa de bacharelado de 100%. **O responsável pela empresa explicou que grandes modelos de dados envolvem uma ampla gama de conhecimentos e critérios de avaliação complexos, o que testa bastante a compreensão da linguagem e as habilidades de raciocínio lógico do anotador.
Xiao Wang tinha acabado de se formar na faculdade e quando voltou para sua cidade natal em busca de emprego, acidentalmente se deparou com o recrutamento dessa base de rotulagem de dados. Então ele participou da entrevista e foi aprovado com sucesso. A base lhe enviou um material de treinamento de 300 mil palavras e somente após passar no exame de treinamento ele poderá assumir oficialmente o cargo.
Os anotadores trabalham nas perguntas todos os dias. Os recém-chegados respondem a 40 perguntas por dia, enquanto os trabalhadores experientes respondem de 70 a 80 perguntas. O sistema backend distribui perguntas para todos, a maioria das quais são registros de conversas entre usuários reais e grandes modelos. As perguntas dos usuários vêm de todo o mundo e são ainda mais bizarras: Qual destes três celulares é melhor? Quais ovos são melhores ou gashapon? Quais são os critérios para pessoas de sucesso? Por que Lin Daiyu lutou contra o Demônio dos Ossos?
Um modelo grande terá muitas respostas, e o trabalho de Xiao Wang é ler cada resposta, selecionar erros e pontuá-los um por um de acordo com a qualidade. 5 pontos é uma pontuação perfeita, 1 ponto é a mais baixa e respostas abaixo de 3 pontos precisam ser divididos em tipos de erros. Se a resposta não for a que foi perguntada, a pontuação mais baixa será dada diretamente. Se for encontrada uma questão delicada, nenhuma pontuação será dada e será julgada como “outra”.
Classificando, pontuando e avaliando, essas etapas de anotação um pouco complicadas são exatamente o que é chamado de RLHF (Aprendizagem por Reforço com Feedback Humano, ou seja, aprendizagem por reforço com feedback humano).O objetivo é alinhar continuamente grandes modelos com valores e formas humanas. de pensamento. Mais utilizável. OpenAI utilizou RLHF no processo de treinamento do ChatGPT e obteve resultados notáveis.
Em comparação com a rotulagem de dados anterior, as regras de rotulagem para modelos grandes são mais subjetivas. Quando um engenheiro de algoritmo entrevista um anotador, ele fará a seguinte pergunta à outra pessoa: "Se você fosse um líder empresarial e enfrentasse quatro tipos de funcionários: Sun Wukong, Zhu Bajie, Tang Monk e Sha Seng, quem você preferiria? contratar?"
Não existe uma resposta padrão, disse ele. **Este tipo de pergunta serve para testar se o anotador tem capacidade de raciocínio lógico. **
A demanda da indústria por talentos tornou-se urgente. Uma empresa iniciante chamada Kaiwang Data está cooperando com universidades para treinar um grande número de anotadores estudantes universitários. O CEO Yu Xu disse que a empresa construiu a "Kaywang Data Academy" no ano passado e treinou mais de 1.500 alunos em 50 escolas para se envolverem na anotação de dados.
Quando Xiao Wang avalia as respostas do grande modelo, muitas vezes ele precisa verificar os fatos, e a carga de trabalho depende inteiramente da sorte. Uma vez me deparei com uma pergunta: Qual é o melhor, o BMW Série 3 ou o Mercedes-Benz Série C? O modelo grande lista 40 parâmetros dos dois carros, respectivamente, e cada parâmetro precisa ser verificado por Xiao Wang. Essa pergunta levou meia hora.
Depois de fazer anotações por um tempo, Xiao Wang descobriu que sua pontuação raramente ultrapassava 3 pontos: “As respostas da IA não são suficientes para me deixar muito satisfeito ou excelente”. Ele lembrou que uma pergunta era “Se o fone de ouvido Bluetooth estiver quebrado, devo ir ao dentista ou ao fabricante do fone de ouvido?” Era obviamente uma pergunta de pesca, mas a resposta da IA fez seus olhos brilharem. “Ele disse para ir ao dentista para reparos, não para o hospital."
Xiao Wang está satisfeito com este trabalho. Seu salário básico mensal é de 1.800 yuans, um bônus de frequência perfeita de 200 yuans e um subsídio de moradia de 200 yuans. Levando em consideração o desempenho, ele pode receber 4.000 yuans por mês. Ele disse que a renda é considerada acima da média local. Ele também puxou o cabelo para cima e os dois sentaram-se em estações de trabalho adjacentes.
Havia cerca de 20 estudantes universitários treinando ao mesmo tempo que Xiao Wang. Em dois dias, quase todos haviam partido e restavam apenas duas ou três pessoas.
Mas não precisamos nos preocupar com a empresa, nunca faltarão universitários aqui. Um CTO revelou a verdade a 36Kr: Vá e dê uma olhada na situação atual de emprego dos estudantes universitários.
O que mais quero eliminar é a anotação humana, não a IA
Deve-se admitir que existem muitos relatórios sobre anotação de dados. O consenso das pessoas inclui que este trabalho é a “linha de montagem da Internet”, o que é difícil de fazer há muito tempo, e que a anotação manual acabará por ser substituída pela IA.
No mês passado, passamos muito tempo nos comunicando com engenheiros de algoritmos e empresas de IA. Embora o consenso acima não tenha sido atualizado, pode-se sentir vagamente que o que mais deseja eliminar o trabalho humano pode não ser a IA. Antes que a IA possa realmente agir, aqueles que dominam a tecnologia mais avançada já ergueram as suas foices.
No mundo da tecnologia, a importância dos dados não pode ser exagerada. O engenheiro de algoritmos Xiao Duan disse que se uma empresa de IA não tiver dados rotulados, não importa quão bom seja o algoritmo que eles escrevem, eles serão em pedaços. Quanto mais dados rotulados, melhor. Coletar toda a lã dos etiquetadores é um negócio com lucro garantido.
Às vezes, o algoritmo pode finalizar os dados que os anotadores levaram quatro ou cinco dias para completar em uma hora. Xiao Duan trabalha para uma grande empresa de Internet, o departamento tem orçamento suficiente e vários anotadores em tempo integral. "Tentamos não deixar os anotadores ociosos. Os líderes lerão o relatório semanal. Se acharem que não há muitas tarefas, vamos atribuir-lhes mais tarefas."
Um anotador disse a 36Kr que embora os programadores que trabalham com ele digam que todo tipo de trabalho tem valor, eles ainda revelam inadvertidamente um traço de desprezo. “É claro que esse grupo de pessoas é orientado para a tecnologia.” O anotador se consolou.
A tecnologia está progredindo muito mais rápido do que todos esperavam.Na era dos grandes modelos, a qualidade dos dados afetará diretamente o desempenho do modelo. **Compreendendo isso, algumas empresas de IA se despediram dos terceirizadores de anotação de dados sem hesitação.
“A qualidade dos dados que recebemos era tão baixa que eram basicamente inúteis”, disse o CTO de uma empresa de IA. Seu negócio principal são vídeos gerados por IA, e eles desenvolveram um modelo autodesenvolvido que pode gerar quantidades ilimitadas de vídeos de produtos de comércio eletrônico. Para treinar o modelo, eles recrutaram especialmente 50 estudantes universitários para fazer anotação de dados.
Também é difícil confiar nos estudantes universitários quando se trata de áreas profissionais como assistência médica, finanças e informática. Além de construir sua própria base de etiquetagem, uma grande empresa nacional de Internet também contrata profissionais para etiquetar. Embora a proporção de profissionais na indústria de anotação ainda seja pequena, o seu papel é bastante óbvio. Por exemplo, é muito reconfortante deixar a questão sobre a suspensão dos pagamentos da segurança social a profissionais que estejam familiarizados com os documentos governamentais.
Um segredo aberto é que muito antes de o ChatGPT se tornar popular, a OpenAI organizou mais de uma dúzia de estudantes de doutorado para "marcar". Em oito anos, a OpenAI gastou US$ 1 bilhão apenas treinando o modelo.
Em maio deste ano, uma empresa de dados dos EUA começou a recrutar profissionais em áreas específicas. A remuneração para estes anotadores seniores já não é uma pechincha. Por exemplo, o salário por hora para rotular dados jurídicos é de 45 dólares e o salário por hora para poesia é de 25 dólares.
No entanto, aos olhos de algumas empresas de IA, sejam elas operárias ou de colarinho branco, elas querem economizar custos. Ao se comunicar com essas empresas, a 36 Krypton ouvia frequentemente uma palavra: reduzir custos e aumentar a eficiência.
O método mais comum é usar IA para anotações automatizadas. Uma empresa de dados afirmou que a proporção de anotações automatizadas atingiu mais de 70%.
O engenheiro de algoritmos Xiao Li e seus colegas estão fazendo tentativas mais inovadoras: ** Contanto que uma pequena parte dos dados reais seja usada como modelo, por meio da tecnologia de IA generativa e uma série de algoritmos, dados de treinamento de alta qualidade podem ser sintetizado. Em outras palavras, ninguém é necessário. **
“O preço dos nossos dados sintéticos é um pouco mais barato do que o da anotação manual”, disse Xiao Li.
Atualmente, os dados sintéticos são utilizados principalmente nas áreas de condução autônoma e robótica. Xiao Li disse que quando o ChatGPT foi lançado, ele percebeu que os dados anotados poderiam não funcionar e que os dados sintéticos teriam que ser usados no final. O fundador da OpenAI, Sam Altman, também tem uma visão semelhante: “Dados sintéticos são a maneira mais eficaz de resolver a escassez de grandes modelos de dados”.
A empresa start-up Light Wheel Intelligence produz principalmente dados sintéticos nas áreas de direção autônoma e robótica. “O resultado final da etiquetagem automatizada é a ausência de etiquetagem", disse o CEO Xie Chen. “A maioria das empresas de etiquetagem não vê esse longo prazo."
Xie Chen mencionou a 36Kr que um colega da equipe já havia feito anotações automatizadas em um OEM e conquistou a anotação 4D-BEV mais complexa. Esta é uma ferramenta de anotação líder do setor que usa o tempo como quarta latitude para anotação em espaço 3D para melhorar o desempenho de sistemas de direção autônomos. Este ano ele decidiu abandonar a anotação automatizada, tomou a iniciativa de encontrar Xie Chen e finalmente ingressou na Nimbus Intelligence.
Este colega é Xiao Li. Ele disse que o surgimento da IA generativa já o deixou muito ansioso, mas depois de ver os dados sintéticos, ele ficou animado novamente.
Um dos objetivos de seu trabalho é “substituir (rotular) pessoas nesta indústria”, mas ele tem vergonha de dizer com certeza: “Provavelmente será no curto prazo, talvez um ou dois anos”.
Finalmente, vamos voltar ao mundo dos anotadores. A ansiedade causada pelo rápido desenvolvimento da tecnologia é quase invisível aqui. Existem apenas aborrecimentos triviais e repetitivos e algumas fantasias ingênuas.
O estudante universitário Xiao Wang ainda treina grandes modelos em sua cidade natal. Quando conversamos recentemente, ele disse que esse trabalho era uma oportunidade de entrar na área de inteligência artificial. O caminho de promoção definido pela empresa para eles vai de anotadores a inspetores de qualidade, treinadores, supervisores e, finalmente, gerentes de projeto. O objetivo de Xiao Wang é se tornar um supervisor e depois mudar de emprego para uma posição mais próxima da IA. O que é exatamente, ele ainda não sabe.
Comparado com o ambicioso Xiao Wang, a maioria dos anotadores tem pouco interesse em IA. Uma rapariga explicou: “Não presto muita atenção à alta tecnologia.” Ela está a marcar há dois anos e já é funcionária sénior. Foi recentemente promovida a inspectora de qualidade. Para ela, o trabalho de anotação é simples e estável, “sem atrito mental” e ela pode ocasionalmente pescar. Neste ano em que a IA agitou o mundo da tecnologia, a sua vida tem sido tão calma como a água.
Uma das poucas mudanças é a adição de um bot conversacional às ferramentas de anotação disponibilizadas pela empresa. A empresa avisa a todos que se você encontrar alguma dúvida que não entenda durante a anotação, basta perguntar diretamente ao robô para economizar tempo. A eficiência melhorou rapidamente. Ela disse a 36 Krypton que antes ela conseguia fazer até quinhentas ou seiscentas caixas por dia, mas agora pode fazer mais de setecentas.
“Graças ao robô”, disse ela. Ninguém disse a ela ainda que se chamava ChatGPT.
(A pedido do entrevistado, alguns dos personagens do artigo possuem pseudônimos. A autora do 36Kr, Anita Deng, também contribuiu para o artigo.)