El primer día de la pasantía oficial, Chen Xi sintió que podrían haberla "engañado".
Chen Xi, una futura estudiante de posgrado que acababa de terminar su tesis de graduación de la escuela, estaba lista para encontrar algo que hacer por sí misma. Después de enviar varios currículums, pronto fue invitada al puesto de edición de inteligencia artificial (dirección de traducción) de una importante empresa nacional de Internet.
La descripción del trabajo dice:
Proporcionar corpus de alta calidad para el aprendizaje automático de inteligencia artificial y replicar iteraciones de entrenamiento de modelos;
Comunicarse con el equipo técnico sobre los requisitos, entregar datos calificados y de alta calidad a tiempo y ser responsable de la calidad de la edición de los resultados.
Para Chen Xi, que no sabía mucho sobre la formación de modelos, ésta parecía una pasantía bastante buena.
La entrevista de Chenxi fue en el campo de la traducción, lo cual es muy consistente con su especialización en inglés. A principios de año, ChatGPT se hizo popular en China y Chenxi tiene la costumbre de usar productos de inteligencia artificial todos los días, lo que está en línea con sus intereses. Además, tendrá la oportunidad de participar en tecnologías emergentes. El desarrollo industrial es poco común para los estudiantes de artes liberales; por supuesto, la mayor atracción proviene de esta importante empresa de Internet. En los últimos años, la empresa ha atraído con éxito a innumerables jóvenes estudiantes. Desde cierta perspectiva, el nombre de una gran empresa en un currículum es suficiente para convertirse en un símbolo de las propias capacidades.
Sin embargo, aparte de la simple descripción del trabajo en la página de contratación, Chen Xi no recibió más información sobre esta pasantía del entrevistador.
"La razón por la que me sentí engañado en ese momento fue porque RR.HH. básicamente se centró en cuestiones relacionadas con la traducción durante la entrevista". Después de responder varias preguntas de traducción durante la entrevista, Chen Xi consiguió la oferta. Hasta que empezó a trabajar pensaba que era un trabajo de traductora.
Chen Xi no es el único que se siente "engañado".
Como uno de los primeros pasantes de editores de inteligencia artificial, Yang Xiaoyun también llegó a esta gran fábrica a finales de febrero. El entrevistador dijo que este es un trabajo que requiere altas habilidades como captura de información, resumen de lenguaje y edición de textos.
Después de empezar, se dio cuenta: "El trabajo descrito por RR.HH. y el trabajo real son dos cosas completamente diferentes. No importa lo glamoroso que sea, en realidad es un trabajo de 'calificación'".
Hoy en día, la moda de la inteligencia artificial ha llevado a chatbots que parecen personas reales y software de dibujo que puede generar imágenes con indicaciones simples. La aparición de grandes modelos a nivel de fenómeno ha atraído mucha atención como base para entrenar modelos grandes. Los datos, los algoritmos y la potencia informática han atraído mucha atención. La anotación de datos es una parte indispensable del enlace de datos.
En 2007, Li Feifei, entonces profesor asistente en el Departamento de Ciencias de la Computación de la Universidad de Princeton, inició un proyecto llamado ImageNet, con la esperanza de ampliar los datos que pueden usarse para entrenar algoritmos de IA.
Para proporcionar tantos ejemplos visuales como fuera posible para cada palabra, casi 50.000 trabajadores de la plataforma de crowdsourcing de Amazon, Mechanical Turk, pasaron dos años y medio etiquetando objetos en las imágenes, como globos, fresas, etc., para un total de 3,2 millones de imágenes. . Estos trabajadores provienen de 167 países de todo el mundo y en su mayoría están ubicados en áreas con bajos costos laborales.
Una investigación de la revista Time descubrió que para reducir la violencia, el sexismo y el racismo en el conjunto de datos de ChatGPT, OpenAI utilizó trabajadores kenianos que ganaban menos de 2 dólares la hora. "Bloomberg" informó que el chatbot de IA de Google, Bard, fue entrenado por miles de trabajadores contratados, que solo tuvieron 3 minutos para revisar y anotar las respuestas de Bard.
Durante mucho tiempo, la anotación de datos no requería altos requisitos cognitivos para el reconocimiento del lenguaje y de las imágenes. En la era de los grandes modelos, la anotación de datos ha pasado de las imágenes al lenguaje, que es más exigente y vertical, y requiere conocimientos profesionales en campos específicos y habilidades lingüísticas fluidas.
Pero para los anotadores de datos comunes, sigue siendo un trabajo de baja tecnología que se repite constantemente.
Al igual que estos estudiantes "estafados" de escuelas prestigiosas que ingresan a grandes fábricas para realizar prácticas, no pueden explicar claramente para qué sirve su trabajo y cuál es su valor. A menudo sólo tienen una comprensión vaga del mismo para "entrenar modelos grandes".
Los pasantes de edición de inteligencia artificial representados por Chen Xi y Yang Xiaoyun nacieron de la necesidad de entrenar modelos grandes. Estos populares modelos a gran escala permiten a los pasantes entrar con curiosidad y anhelo, al mismo tiempo que sienten el verdadero caos y la falta de valor detrás de ellos.
** 1. Cuando los estudiantes universitarios inundan la anotación de datos de modelos grandes **
**La gente suele pensar que los anotadores de datos son un grupo de personas mayores y con bajo nivel educativo que viven en ciudades de tercer y cuarto nivel. De hecho, esta era la situación actual de los anotadores de datos nacionales antes. **
Según los "Estándares nacionales de habilidades vocacionales para capacitadores en inteligencia artificial" publicados por el Ministerio de Recursos Humanos y Seguridad Social en 2021, el nivel de educación general de los capacitadores en inteligencia artificial es la graduación de la escuela secundaria (o educación equivalente). Pueden estar dispersos en áreas donde están ubicadas empresas tradicionales con uso intensivo de mano de obra, como Hebei, Henan, Shandong y Shanxi, o incluso en áreas montañosas más remotas donde la anotación de datos es un proyecto piloto para el alivio de la pobreza.
**Pero ya se han producido cambios con la aparición de modelos grandes. **
Lo que aburre a Yang Xiaoyun es en realidad el trabajo de anotación de datos realizado para entrenar modelos grandes.
Después de una simple capacitación y evaluación, Yang Xiaoyun fue asignado al equipo de edición. **Su trabajo diario es responder preguntas en el banco de preguntas. El propósito es optimizar el proceso de capacitación de modelos grandes escribiendo manualmente las respuestas por parte de los anotadores. **
**Los pasos para responder una pregunta están estrictamente controlados. **Tome el juego "Genshin Impact" como ejemplo. Si recibe la pregunta "¿Cuál es la reliquia sagrada de Yelan?", Yang Xiaoyun necesita dividir la respuesta en varios párrafos: Primero, ¿qué es Yelan? En segundo lugar, ¿qué son las santas reliquias? ¿Con qué coincide al final la reliquia sagrada de Yelan?
Recopile información en el motor de búsqueda designado, complete la edición de la respuesta y finalmente envíela en forma de Markdown.
Además de las preguntas simples y fáciles de responder, Yang Xiaoyun pasó la mayor parte de su tiempo en áreas profesionales con las que no estaba completamente familiarizado, como la zona económica, la zona legal, etc.
Obviamente, esto es completamente diferente del trabajo de anotación de datos anterior. **
Antes de la aparición de modelos grandes, los escenarios de anotación de datos solían ser fábricas con cientos de personas, cada persona tenía una computadora y solo se oía el sonido del mouse y el teclado. Y durante su jornada laboral de 8 horas, sólo hacen una cosa simple y repetitiva: enmarcar vehículos de motor, vehículos no motorizados, peatones y semáforos (detección de objetivos) en diferentes imágenes; o subrayar el tema de un párrafo, predicar, objeto (segmentación semántica).
Estos cuadros de dibujo para imágenes y videos y la segmentación semántica de texto son todos procesamiento de datos existentes, y los anotadores de datos en sí no necesitan dar "conclusiones creativas". Pero este no es el caso de la anotación de datos de modelos grandes. Además de procesar los datos existentes, los anotadores de datos también deben responder preguntas y dar conclusiones correctas. **
Según el "Informe de investigación de tendencias de inversión y análisis en profundidad sobre la situación actual de la industria de anotación de datos de China (2023-2030)" publicado por el Centro de datos de Guanyan Tianxia en 2023, antes del lanzamiento de ChatGPT, la anotación de datos de entrenamiento de IA se basaba principalmente sobre voz y visión por computadora, y lenguaje natural La demanda de procesamiento (NLP) es inferior al 15%.
A medida que el chatbot ChatGPT se convierte en una aplicación fenomenal de AIGC, existe una demanda cada vez mayor de tareas de anotación de texto de alta calidad, como el juicio emocional, la capacidad de comprensión e incluso la capacidad de razonamiento.
"La complejidad de los proyectos (de modelos grandes) se ha vuelto mayor que antes y los requisitos de personal son relativamente diferentes", dijo la persona a cargo del Departamento de Productos de Datos de Stardust a "Jiazi Light Year", "Reconocimiento y anotación de información visual parcial". Para la conducción autónoma, que es más trabajo físico, se requiere cierta capacitación por parte de los empleados. Una vez que aprenden a manejar cajas, dominar las teclas de acceso directo y dominar algunas habilidades, pueden volverse competentes rápidamente. ** Pero lo que los modelos grandes necesitan es un sistema completo y estructurado, un sistema de datos diversificado y completo que requiere cuatro capas de datos para respaldar la construcción y mejora del modelo. Estos datos implican entrenamiento previo, SFT (ajuste fino supervisado), RLHF (aprendizaje por refuerzo basado en retroalimentación humana, Aprendizaje reforzado a partir de la retroalimentación humana), implementación privatizada, etc. En respuesta a las necesidades de diferentes industrias, hemos lanzado la solución de pirámide de datos de modelos grandes COSMO; para los anotadores de datos de modelos grandes, etiquetar los datos COSMO no es una pregunta de opción múltiple, ni ¿Es simple? En lugar de comprensión lectora y edición de texto, te permite crear preguntas y respuestas y crear contenido.**”
Jia Yuhang, director general de datos de medición de la nube, divide los datos de entrenamiento del modelo más grande en tres etapas: datos básicos, datos de escena y optimización de datos de escena. **Él comparó estas tres etapas con el proceso de aprendizaje.
"La anotación de datos básicos, como el dibujo de cuadros, es relativamente simple y puede dominar la operación de la computadora tan pronto como la aprenda; los datos de la escena son datos en un campo específico necesarios para la investigación y el desarrollo específicos en enlaces específicos, y necesita aprender información relevante conocimiento del dominio para lograr los requisitos de anotación; en la tercera etapa, basada en la iteración continua y la optimización durante la puesta en uso, los requisitos de habilidades y conocimiento del dominio serán más refinados", dijo Jia Yuhang.
Bajo este tipo de demanda laboral, cada vez más empresas modelo grandes tienen una demanda de anotadores de datos, que en el pasado también ha pasado de tener un bajo nivel educativo a un nivel alto de educación, y esta demanda está aumentando.
En las principales plataformas nacionales de búsqueda de empleo, actualmente se están contratando muchos puestos de anotación de datos para modelos grandes. Estos puestos requieren que los anotadores tengan una licenciatura o superior. Baidu ha declarado anteriormente que su gran base de anotaciones de datos de modelos en Haikou tiene cientos de anotadores de datos y que la tasa de pregrado ha alcanzado el 100%.
Fuente de la imagen: BOSS Zhipin y Maimai
** 2. Anotación estricta de datos de modelos grandes **
En términos generales, entrenar un modelo grande requiere los siguientes tres pasos:
Fuente: OpenAI "Presentación de ChatGPT"
Detrás de estas tareas repetitivas está en realidad implementar la tecnología de "aprendizaje reforzado a partir de la retroalimentación humana". La mayor mejora de GPT-3.5 proviene de esto. La clave es la participación humana (Etiquetadora), es decir, estos anotadores de datos.
De los tres pasos anteriores de RLHF, el paso uno y el paso dos son relativamente más importantes porque determinan el nivel de calidad de los datos necesario para entrenar el modelo de recompensa. Los pasantes de anotación de datos en estos dos pasos también se dividen en dos grupos principales: "grupo de edición" y "grupo de clasificación". **
El trabajo del equipo de edición es responder las preguntas en el banco de preguntas, mientras que el trabajo del equipo de clasificación es clasificar las respuestas generadas (incluidas las respuestas modelo y generadas artificialmente).
Ding Xiaoyu se unió al editor en julio. Ding Xiaoyu, que también estudia inglés, y Chen Xi esperan un trabajo de traducción que pueda mejorar su nivel profesional, pero su trabajo en realidad no está relacionado con el inglés.
En comparación con cuando Yang Xiaoyun estaba como pasante en febrero, el equipo de edición al que se enfrentaba Ding Xiaoyu se ha subdividido más: cada pasante tiene que elegir una dirección vertical, como entretenimiento, física, política, etc., y los requisitos de respuesta se han vuelto más detallado.
Para una pregunta de opción múltiple sobre poesía antigua, no solo debes explicar la respuesta, sino que primero introduces el tipo de pregunta, luego la traducción y los antecedentes de la poesía, y finalmente un análisis de si cada opción es correcta o no. La cuestión es compararlo con el GPT-4 de marzo lanzado por OpenAI el día 14.
"Tienes que consultar su respuesta, pero no puede ser la misma y debe ser mejor que su respuesta" Ding Xiaoyu estaba indefenso.
Chenxi fue asignado al grupo de clasificación, donde se clasificaban múltiples respuestas a preguntas todos los días para determinar los pros y los contras de las diferentes respuestas.
Los resultados de la clasificación deben cuantificarse claramente. Necesita calificar las respuestas desde diferentes perspectivas como utilidad, autenticidad, relevancia, seguridad, etc. y anotar los motivos. Esto es para permitir que las máquinas se acerquen infinitamente a las respuestas que esperan los humanos.
**Chen Xi a veces tuvo que elegir entre varias respuestas malas. Y cuando todas las respuestas fueron malas, le pidieron que ella misma escribiera una respuesta mejor. **
Ding Xiaoyu, del equipo editorial, se enfrenta a requisitos aún más exigentes. Cada respuesta se enfrentará a dos rondas de revisión antes de ser calificada para su entrega. La primera vino del líder del equipo: "Después de completar algunas preguntas, tendremos una reunión de revisión para encontrar fallas con nosotros hasta que el líder del equipo esté satisfecho con los cambios". La segunda vino de la sede, y no es así. hasta que la sede haya pasado la revisión.
Una vez, debido a errores de formato, la mayoría de las respuestas de Ding Xiaoyu se consideraron completamente incorrectas. "Puede que sea suficiente con ajustar el orden, pero no les importa si el contenido de tu respuesta es incorrecto o si hay un problema con el formato. Es sólo que todo está mal".
Lo que dejó a Ding Xiaoyu aún más devastada fue que el líder del equipo declaró directamente que si volvía a cometer tantos errores, podría ser despedida.
**La anotación de datos para modelos grandes es un trabajo absolutamente orientado a resultados. No importa cuánto esfuerzo pongas en el proceso, mientras los resultados no sean buenos, todos los esfuerzos anteriores quedarán completamente anulados. **
Pero el problema es que ya sea la salida de respuestas del grupo de edición o la clasificación de las respuestas por parte del grupo de clasificación, es una tarea muy subjetiva. Es difícil para los pasantes de anotación de datos controlar si una respuesta es buena o mala; diferentes pasantes a menudo dan diferentes respuestas a la misma pregunta.
**Para resolver este problema, una de las tareas que el gran equipo de anotación de datos de modelos debe realizar todos los días es realizar una "reunión de auditoría" dentro de la empresa, conocida como "Racing Meeting". responder a los estándares y alinear las respuestas. Todos entienden y todas las sugerencias están alineadas. **
Sin embargo, es bastante difícil lograr una verdadera alineación. Esto es similar a la calificación del examen de ingreso a la universidad: a diferentes personas se les asignarán las mismas preguntas y, si los puntajes son inconsistentes, deberán ajustarse continuamente hasta obtener un puntaje unificado.
En la impresión de Chen Xi, todos los días se dedican dos o tres horas a reuniones. Al final de la reunión, a menudo se llega a la solución más simple y cruda, con la minoría obedeciendo a la mayoría, lo que ella describió como "crear valor sin valor".
Sin embargo, en comparación con todos sentados juntos para alinear "artificialmente" los estándares de respuesta, un problema más problemático es: los estándares ** no están alineados artificialmente de una vez por todas, sino que deben ajustarse constantemente en función de la retroalimentación del resultado del modelo. **
Lo primero que hace Yang Xiaoyun cuando va a trabajar todos los días es confirmar si se ha emitido un nuevo estándar de anotación ese día, que va desde el marco de la respuesta, la división de párrafos hasta la selección de motores de búsqueda y formatos como espacios y signos de puntuación. Pero ** los estándares cambian constantemente. ** Una vez que se descubre que los datos suministrados no funcionan en la máquina, es necesario volver a formular los estándares y todos los problemas se anularán y reescribirán.
"Es como tejer. ¿Deberíamos tejer granos horizontales o verticales? ¿Deberíamos tejer botones de sésamo o botones de trigo? Pero no importa qué botón sea, solo se puede poner en el programa y ejecutar. Si descubre que no se puede ejecutar "Hay que cambiar un método", explicó Yang Xiaoyun a "Jiazi Guangnian". Detrás de esta metáfora está que si la respuesta dada por la anotación de datos puede no lograr el efecto esperado durante el proceso de entrenamiento del modelo de recompensa, se debe ajustar el estándar.
El cambio de normas significa que la conclusión de la última reunión de alineación no es válida y las normas deben alinearse nuevamente.
"Redundante y eficiente, dice tonterías de manera muy eficiente todos los días", se quejó Yang Xiaoyun.
3. Estudiantes de alto rendimiento que son explotados por las grandes fábricas
Por un lado, hay infinitas reuniones que se llevan a cabo todos los días y, por otro lado, existen estándares de datos que pueden cambiar en cualquier momento. Muchos estudiantes destacados, como Chen Xi, que se sintieron atraídos por los carteles brillantes y brillantes de las grandes fábricas, perdieron su entusiasmo inicial debido a conflictos internos y finalmente decidieron irse.
**La característica común de estos pasantes es un alto grado de educación. El requisito de contratación es una licenciatura o superior, pero muchos pasantes tienen una maestría. **
Muchos de ellos son educados en las mejores universidades de China e incluso del mundo. Yang Xiaoyun estaba rodeado por estudiantes de la Universidad de Pekín y el Imperial College de Londres, y los pasantes junto a la estación de trabajo de Chenxi eran de la Universidad de Nankai y la Universidad de Ciencia y Tecnología Electrónica de China; a Ding Xiaoyu se le informó claramente durante la capacitación que las calificaciones académicas de los pasantes fueron examinados. "Él (el entrevistador) dijo que los estudiantes universitarios altamente educados como nosotros pueden aprender cosas rápidamente y comenzar fácilmente".
**Manejar un grupo de personas inteligentes nunca es fácil. Porque estas personas pueden descubrir fácilmente la esencia de su trabajo a partir de acciones repetidas y luego preguntarse si este trabajo es realmente valioso para su futuro. **
Ding Xiaoyu describió su trabajo como "de poco valor y muy agotador internamente".
Cuando llega a su estación de trabajo todas las mañanas, abre la pantalla y el cuaderno, y usa el cuaderno para verificar las reglas mientras escribe las respuestas en la pantalla. Ding Xiaoyu puede sentir claramente que las reglas y procedimientos detallados la hacen perder gradualmente el espacio. pensar, y ella se convierte en una máquina. "Si no aprendes algo y no tienes la energía para aprender otras cosas, poco a poco perderás la motivación para aprender y el entusiasmo por hacer otras cosas".
Ding Xiaoyu también ha trabajado en el equipo de desensibilización, pero el trabajo real no tiene una conexión fundamental con la palabra "desensibilización". Simplemente utiliza diferentes chatbots y los productos beta internos de la empresa para responder las mismas preguntas, y compara y califica las respuestas. Después de solo unos días de trabajo, fue transferida al equipo de revisión de textos, lo que debía hacer era corregir los errores que ocurrían al convertir el formato PDF a Word, principalmente errores tipográficos y signos de puntuación. En un proceso que ella describió como "casi colapso", completó 25 páginas de tareas de corrección de errores relacionados con la medicina todos los días.
Durante el proceso de entrevista, el entrevistador le preguntó a Ding Xiaoyu si podía aceptar un trabajo aburrido y repetitivo. "Mi respuesta en ese momento fue que era aceptable. Creo que todas las respuestas de los candidatos deberían ser aceptables". Porque él solo tuvo una experiencia de pasantía como estudiante universitario, y con la expectativa de acumular más pasantías y experimentar grandes empresas, incluso con Dudas, Ding Xiaoyu aún decidió unirse a la empresa.
En solo dos meses, Ding Xiaoyu ha sido considerado como la persona que persistió hasta el final entre los pasantes en el mismo período. Fue testigo de cómo muchos pasantes llegaban con grandes ambiciones y luego se marchaban con la cabeza gacha.
El antropólogo David Graeber define los trabajos de mierda como trabajos que no tienen significado ni propósito. Trabajos que deberían eliminarse mediante la automatización de las máquinas siguen existiendo debido a una fachada, para complacer a los superiores y para llenar lagunas en el sistema. La anotación de datos es como una variación de trabajos de mierda que a menudo se piensa que han sido reemplazados por máquinas, pero que aún requieren que los humanos los realicen.
Cuando llega la moda de la inteligencia artificial, la gente suele escuchar la expectativa de que la IA pueda reemplazar a los humanos en la realización de tareas repetitivas y aburridas, permitiendo así que los humanos tengan más tiempo y energía para realizar un trabajo más creativo y satisfactorio.
Pero también es posible que la inteligencia artificial, al igual que las tecnologías que ahorraban mano de obra en el pasado, como los teléfonos y las máquinas de escribir, supere los problemas de la transmisión de información y la escritura a mano, pero también cree una gran cantidad de comunicación y papeleo que requiera nueva inteligencia artificial para funcionar. Gestión, como recepción, oficinista. Puede que la IA no reemplace a los humanos, pero creará trabajos más tediosos, aburridos y aislantes.
**Además de no poder obtener el reconocimiento del valor de su trabajo, es posible que el salario que reciben no permita a estos mejores estudiantes lograr el "reconocimiento del precio". **
Según "Jiazi Guangnian", estos datos muestran que el salario de los pasantes no es alto. Si están ubicados en una ciudad de primer nivel, el salario de la mayoría de los pasantes de inteligencia artificial es de 150 yuanes/día, con asignación de habitación y comedor gratuito; si están ubicados en una ciudad de segundo nivel, solo les quedan 100 yuanes/día. y la asignación de habitación también se reduce en un tercio 2. El suplemento de comida de 20 yuanes reemplaza la comida gratis.
Al igual que la pasantía de Ding Xiaoyu en una ciudad de segundo nivel, debido a que la oficina está ubicada en el centro de la ciudad y el área es próspera, una comida para llevar puede exceder fácilmente el estándar de subsidio de comida de 20 yuanes y básicamente requiere pagar el salario de la pasantía.
Debido a que la mayoría de ellos son solo anotadores básicos para entrenar modelos grandes, se les puede asignar uniformemente a puestos que no tienen nada que ver con su profesión. También pueden ser transferidos a diferentes departamentos en cualquier momento y se les exige que comiencen rápidamente después de un breve período. capacitación.
**Ding Xiaoyu los describió como grupos de pasantes de los que las grandes fábricas se aprovecharon. **
Chen Xi claramente sintió que ella no era la única que sentía la brecha entre las expectativas y el trabajo real. "Para decirlo sin rodeos, siento que este trabajo no es adecuado para mí. A veces, al charlar, descubro que otros pasantes pueden tener 985 títulos de licenciatura y algunos han regresado del extranjero con una maestría. La brecha entre ellos también es muy , muy grande."
Yang Xiaoyun lo expresó de manera más directa: "Puede que sea una metáfora inapropiada. Mi madre fue a la escuela secundaria, así que puede hacer este trabajo".
**4. "En realidad somos trabajadores de la línea de montaje" **
De hecho, el gobierno contrata a los mejores estudiantes para realizar algunos trabajos de baja tecnología y paga costos salariales extremadamente bajos, lo que también es un reflejo objetivo del caos del mercado en las primeras etapas del desarrollo de la anotación de datos de modelos grandes. ** Para las empresas de anotación de datos, en la etapa actual de desarrollo de modelos grandes, la anotación de datos aún no ha formado un estándar unificado y no existen requisitos específicos para los anotadores.
La persona a cargo del Departamento de Producto de Stardust Data dijo: "A medida que se completen las capacidades básicas del modelo grande y el proceso de desarrollo comience a volverse más vertical y complejo, las tareas cambiarán gradualmente, lo que requerirá herramientas y personal para actualizarse e iterarse. En consecuencia. Sin embargo, los modelos grandes aún se encuentran en las primeras etapas de desarrollo y la demanda del mercado de anotadores varía dependiendo de la tarea. En comparación con los proyectos de CV (Visión por Computadora), los anotadores de PNL (Procesamiento del Lenguaje Natural) tienen requisitos más altos para la capacidad de comprensión. Los requisitos de terminología profesional y conocimiento del dominio son mayores, y se debe proporcionar un corpus preciso y confiable”.
El responsable dijo que los problemas que plantean los modelos grandes a la anotación de datos se reflejan más en el diseño de alto nivel. Para cada tarea de anotación de datos, cómo comprender las demandas del escenario de aplicación del cliente, diseñar un conjunto de soluciones como la selección de datos, el diseño de distribución de datos y el diseño de canalizaciones que se puedan implementar de manera eficiente y a bajo costo, y cómo mejorar la eficiencia y las capacidades. de las herramientas de la plataforma son claves. Un desafío mayor.
Esto se basa en la participación de expertos en dominios verticales como anotadores senior, inyectando conocimientos y experiencia en el dominio en el diseño de la solución e incluso participando en el proceso iterativo de inspección de la calidad de los datos.
Zhang Ziqian, jefe de operaciones del proveedor de soluciones de datos Besai Technology, dijo sin rodeos que actualmente, en términos de capacitación de modelos a gran escala, no existe una diferencia obvia en la dificultad del trabajo y los salarios por hora entre los anotadores básicos y los anotadores que anteriormente se dedicaban a la selección de fotogramas. . **Al ajustar modelos grandes y crear soluciones en campos verticales para los clientes, el mayor problema es cómo construir conjuntos de datos de alta calidad, lo que requiere expertos en etiquetado en campos profesionales como TI, medicina y finanzas. Escasez.
OpenAI invirtió docenas de estudiantes de doctorado en la orientación y revisión de la anotación de datos, y subcontrató la anotación de datos básicos a empresas de anotación de datos, dispersas en áreas de bajos ingresos como África e India. **Los que realmente marcan la diferencia son los anotadores senior, que sólo representan una pequeña proporción. **
Al comparar las descripciones de trabajo de los anotadores contratados por Baidu en su sede de Beijing y la base de anotaciones de datos de Haikou, podemos ver que también son para entrenar modelos grandes: el primero es un anotador senior responsable de orientación, capacitación y revisión, mientras que el segundo es un anotador de datos básicos., los dos tienen niveles salariales muy diferentes.
Fuente de la imagen: reclutamiento directo de BOSS
** En otras palabras, los anotadores senior de alto nivel son en realidad talentos clave para la capacitación de modelos grandes. Su trabajo es más técnico y valioso, y el costo de mano de obra también es mayor. **
** Por el contrario, incluso si estos pasantes de escuelas prestigiosas vienen a entrenar modelos grandes, en esta etapa son esencialmente los mismos que los anotadores de datos del pasado. **
** Los pasantes a menudo bromean entre ellos diciendo que no están trabajando en una gran fábrica, sino en Internet Foxconn, y que son trabajadores en la línea de montaje. No pueden ver a dónde conducirán en última instancia los resultados de su trabajo, ni pueden crear una cadena horizontal de significado con las personas que los rodean. **
Este chiste de "Internet Foxconn" se refiere no sólo al trabajo de estos becarios, sino también a la carga de trabajo y al modelo de gestión, que está casi a la par de la línea de montaje de una fábrica.
La cantidad de trabajo que los pasantes deben realizar cada día tiene una línea roja de eficiencia humana prescrita. Para Yang Xiaoyun, necesita marcar 32 preguntas por día y, si no se cumple la línea roja, debe informar los motivos o trabajar horas extras para terminarla. El requisito previo para completar el trabajo son los estándares en constante cambio de la Asociación Lazi y la recopilación continua de información.
Para completar la capacitación del modelo lo más rápido posible, el equipo de anotaciones enfrenta una gestión de alta presión. Al grupo de Yang Xiaoyun no se le permite hablar durante las horas de trabajo. El precio de unas pocas charlas puede agregarse a la carga de trabajo. Si no completa el trabajo, se le recordará frenéticamente en el grupo. Incluso si está enfermo y pregunta. Para obtener una licencia, es posible que una llamada urgente de su empleado habitual lo interrumpa.
Además, para garantizar que los datos no se filtren, está expresamente prohibido el intercambio de anotaciones de datos entre grupos. Incluso si los pasantes de diferentes grupos se encuentran muy cerca, no pueden discutir el contenido del trabajo. Ninguno de estos pasantes sabe cuántos grupos subdivididos hay en el etiquetado de datos de la empresa y cuántos pasantes hay. Un grupo puede tener 10, 40, 50, 60 personas o cientos de personas en cada piso.
Bajo la línea roja de eficiencia humana de alta presión, Yang Xiaoyun sólo puede estar temporalmente "feliz" cuando se encuentra con preguntas prohibidas. Porque el contenido que involucre violencia, pornografía y sangre debe eliminarse directamente, pero aún puede contarse en elementos de trabajo personal. "Es equivalente a apretar un tornillo defectuoso. Sólo estarás feliz de no tener que apretar el tornillo". Durante la división del trabajo de la mañana, los pasantes incluso compitieron entre sí para conseguir los artículos prohibidos.
Después de que Yang Xiaoyun dejó su trabajo temprano, a menudo visitaba los momentos de los pasantes que todavía se reunían en la empresa a las 10 de la noche, o incluso a las 12 en punto. También hay pasantes que le envían mensajes de voz, llorando, pero como han alquilado una casa y no tienen forma de irse, si no pueden persistir, significa que todo el alquiler será en vano.
** 5. Aquí nunca faltará gente **
Pero no son las personas las que no perseveraron.
Li Zhuxi es uno de los pocos pasantes con experiencia en anotación de datos. Ella estudió lingüística cognitiva y explicó que la tendencia de combinar la lingüística con la neurología, observar las imágenes del cerebro y establecer interfaces cerebro-computadora tiene cierta conexión con la inteligencia artificial.
Antes de llegar a esta gran fábrica, había realizado anotaciones de datos para grandes modelos de lenguaje en otra gran fábrica, y eso fue antes del lanzamiento de ChatGPT. En la impresión de Li Zhuxi, después de que ChatGPT salió del círculo, surgieron pasantías de anotación de datos similares como hongos después de una lluvia.
Realizó con éxito las prácticas de tres meses, aunque lo describió como un trabajo "relativamente mecánico y no muy difícil". Li Zhuxi describió que presta más atención a la experiencia: "No espero que este trabajo sea interesante. Aún así es bueno experimentarlo. No solo obtengo experiencia de pasantía en una gran fábrica, sino que también experimento la cultura corporativa única aquí. "
Para Zhao Shuo, un estudiante de artes liberales de una escuela en Shuangfei, el puesto de pasantía de edición de inteligencia artificial en una gran fábrica ha sido su elección de nivel superior.
Cuando buscaba una pasantía de verano, en realidad prefería un puesto operativo en un instituto de investigación. El instituto de investigación es una institución pública y tiene personal, lo cual era muy atractivo para Zhao Shuo. "En ese momento, estaba particularmente ansioso por retroalimentación que podría darme." . Pero al final, el instituto no eligió a Zhao Shuo, que era un estudiante de posgrado de primer año, y reclutó a un estudiante de grado superior.
Hay gente que es más "rizada".
A los ojos de Zhao Shuo, algunos pasantes trabajarán particularmente duro y asumirán más tareas para buscar oportunidades de convertirse en empleados regulares. Una actitud seria y diligente ganará el favor de los empleados de tiempo completo: "Los líderes a menudo tienen ciertos intercambios con ellos y también les darán cierta autorización de la dirección para gestionar a los pasantes".
La compañía incluso selecciona pasantes con un desempeño sobresaliente cada semana y publica sus fotos en la pared como reconocimiento, pero no necesariamente hay un incentivo adicional, y no hay ninguno en la línea de negocios de Zhao Shuo.
Jia Yuhang, gerente general de Yunmei Data, le dijo a Jiaziguangnian que existen dos rutas de promoción principales para los anotadores de datos: una es la ruta de los expertos. Después de dominar habilidades relevantes en campos verticales específicos, los anotadores junior pueden convertirse gradualmente en expertos senior en anotaciones. La otra es la ruta de gestión, convirtiéndose en el gestor del proyecto.
Pero Zhao Shuo no elegiría quedarse. Después de un año de estudios de posgrado, Zhao Shuo se dio cuenta claramente de que sus expectativas para el trabajo futuro habían disminuido. Sintiendo los crecientes cambios en el entorno general y observando la insatisfacción de los estudiantes que eligieron un empleo después de graduarse, los trabajos "de alta gama, sofisticados" e "insustituibles" que Zhao Shuo esperaba anteriormente fueron reemplazados gradualmente por un trabajo estable. Como estudiante de artes liberales, le preocupa no haber dominado todavía habilidades irreemplazables y espera encontrar un trabajo gestionado dentro del establishment.
Mientras conversaban, los becarios se lamentaban entre sí de que el trabajo que estaban haciendo pronto sería reemplazado por máquinas y que ya no sería necesaria la alimentación manual de datos.
Para Jia Yuhang, director general de Cloud Measurement Data, no existen preocupaciones similares. Con la producción en masa real de algoritmos y la mejora de las capacidades de circuito cerrado de datos, la cantidad total de datos etiquetados y la cantidad de etiquetado manual de datos siguen aumentando año tras año. En el pasado, era 100% anotación manual, pero ahora hay una cierta proporción de anotación manual, anotación automática y verificación manual. En el futuro, la proporción de etiquetado automático puede ser cada vez mayor. Sin embargo, aunque la proporción de anotaciones manuales está disminuyendo, con el desarrollo gradual de la industria de la inteligencia artificial y la creciente cantidad de datos, la cantidad de anotaciones manuales seguirá aumentando.
Después de dejar su trabajo temprano, Yang Xiaoyun encontró una pasantía de planificación de juegos que le gustó. El ambiente de trabajo allí era relajado y se sentía más gratificante. La edición de inteligencia artificial fue una experiencia de pasantía "desafortunada" para ella. Para Ding Xiaoyu, fue un proceso de desencanto. Incluso si fuera a una pasantía en una gran fábrica que había estado esperando, todavía enfrentaría innumerables trabajos aburridos. Sintió que esto podría deberse a que sus habilidades no eran fuertes. suficientes o había muy pocas oportunidades de experiencia.
Pero allí nunca faltará gente.
Yang Xiaoyun escuchó que después de que ella se fue, el equipo se expandió de docenas a cientos en un mes. Ding Xiaoyu descubrió que cada 10 días vendría un nuevo grupo de pasantes, cada grupo formado por veinte o treinta personas.
“Puedes irte maldiciendo y diciéndole al mundo lo malo que es tu trabajo, pero habrá un flujo constante de gente nueva que vendrá a ocupar tu lugar”.
*A petición de los entrevistados, los personajes Chen Xi, Yang Xiaoyun, Ding Xiaoyu, Li Zhuxi y Zhao Shuo en el artículo son seudónimos.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Pasantes bajo la moda de los grandes modelos: ¿985 per cápita? Pero el "etiquetado" en una gran fábrica
Fuente: Jiazi Guangnian
Autor: Zhu Yue
El primer día de la pasantía oficial, Chen Xi sintió que podrían haberla "engañado".
Chen Xi, una futura estudiante de posgrado que acababa de terminar su tesis de graduación de la escuela, estaba lista para encontrar algo que hacer por sí misma. Después de enviar varios currículums, pronto fue invitada al puesto de edición de inteligencia artificial (dirección de traducción) de una importante empresa nacional de Internet.
La descripción del trabajo dice:
Para Chen Xi, que no sabía mucho sobre la formación de modelos, ésta parecía una pasantía bastante buena.
La entrevista de Chenxi fue en el campo de la traducción, lo cual es muy consistente con su especialización en inglés. A principios de año, ChatGPT se hizo popular en China y Chenxi tiene la costumbre de usar productos de inteligencia artificial todos los días, lo que está en línea con sus intereses. Además, tendrá la oportunidad de participar en tecnologías emergentes. El desarrollo industrial es poco común para los estudiantes de artes liberales; por supuesto, la mayor atracción proviene de esta importante empresa de Internet. En los últimos años, la empresa ha atraído con éxito a innumerables jóvenes estudiantes. Desde cierta perspectiva, el nombre de una gran empresa en un currículum es suficiente para convertirse en un símbolo de las propias capacidades.
Sin embargo, aparte de la simple descripción del trabajo en la página de contratación, Chen Xi no recibió más información sobre esta pasantía del entrevistador.
"La razón por la que me sentí engañado en ese momento fue porque RR.HH. básicamente se centró en cuestiones relacionadas con la traducción durante la entrevista". Después de responder varias preguntas de traducción durante la entrevista, Chen Xi consiguió la oferta. Hasta que empezó a trabajar pensaba que era un trabajo de traductora.
Chen Xi no es el único que se siente "engañado".
Como uno de los primeros pasantes de editores de inteligencia artificial, Yang Xiaoyun también llegó a esta gran fábrica a finales de febrero. El entrevistador dijo que este es un trabajo que requiere altas habilidades como captura de información, resumen de lenguaje y edición de textos.
Después de empezar, se dio cuenta: "El trabajo descrito por RR.HH. y el trabajo real son dos cosas completamente diferentes. No importa lo glamoroso que sea, en realidad es un trabajo de 'calificación'".
Hoy en día, la moda de la inteligencia artificial ha llevado a chatbots que parecen personas reales y software de dibujo que puede generar imágenes con indicaciones simples. La aparición de grandes modelos a nivel de fenómeno ha atraído mucha atención como base para entrenar modelos grandes. Los datos, los algoritmos y la potencia informática han atraído mucha atención. La anotación de datos es una parte indispensable del enlace de datos.
En 2007, Li Feifei, entonces profesor asistente en el Departamento de Ciencias de la Computación de la Universidad de Princeton, inició un proyecto llamado ImageNet, con la esperanza de ampliar los datos que pueden usarse para entrenar algoritmos de IA.
Para proporcionar tantos ejemplos visuales como fuera posible para cada palabra, casi 50.000 trabajadores de la plataforma de crowdsourcing de Amazon, Mechanical Turk, pasaron dos años y medio etiquetando objetos en las imágenes, como globos, fresas, etc., para un total de 3,2 millones de imágenes. . Estos trabajadores provienen de 167 países de todo el mundo y en su mayoría están ubicados en áreas con bajos costos laborales.
Una investigación de la revista Time descubrió que para reducir la violencia, el sexismo y el racismo en el conjunto de datos de ChatGPT, OpenAI utilizó trabajadores kenianos que ganaban menos de 2 dólares la hora. "Bloomberg" informó que el chatbot de IA de Google, Bard, fue entrenado por miles de trabajadores contratados, que solo tuvieron 3 minutos para revisar y anotar las respuestas de Bard.
Durante mucho tiempo, la anotación de datos no requería altos requisitos cognitivos para el reconocimiento del lenguaje y de las imágenes. En la era de los grandes modelos, la anotación de datos ha pasado de las imágenes al lenguaje, que es más exigente y vertical, y requiere conocimientos profesionales en campos específicos y habilidades lingüísticas fluidas.
Pero para los anotadores de datos comunes, sigue siendo un trabajo de baja tecnología que se repite constantemente.
Al igual que estos estudiantes "estafados" de escuelas prestigiosas que ingresan a grandes fábricas para realizar prácticas, no pueden explicar claramente para qué sirve su trabajo y cuál es su valor. A menudo sólo tienen una comprensión vaga del mismo para "entrenar modelos grandes".
Los pasantes de edición de inteligencia artificial representados por Chen Xi y Yang Xiaoyun nacieron de la necesidad de entrenar modelos grandes. Estos populares modelos a gran escala permiten a los pasantes entrar con curiosidad y anhelo, al mismo tiempo que sienten el verdadero caos y la falta de valor detrás de ellos.
** 1. Cuando los estudiantes universitarios inundan la anotación de datos de modelos grandes **
Según los "Estándares nacionales de habilidades vocacionales para capacitadores en inteligencia artificial" publicados por el Ministerio de Recursos Humanos y Seguridad Social en 2021, el nivel de educación general de los capacitadores en inteligencia artificial es la graduación de la escuela secundaria (o educación equivalente). Pueden estar dispersos en áreas donde están ubicadas empresas tradicionales con uso intensivo de mano de obra, como Hebei, Henan, Shandong y Shanxi, o incluso en áreas montañosas más remotas donde la anotación de datos es un proyecto piloto para el alivio de la pobreza.
**Pero ya se han producido cambios con la aparición de modelos grandes. **
Lo que aburre a Yang Xiaoyun es en realidad el trabajo de anotación de datos realizado para entrenar modelos grandes.
Después de una simple capacitación y evaluación, Yang Xiaoyun fue asignado al equipo de edición. **Su trabajo diario es responder preguntas en el banco de preguntas. El propósito es optimizar el proceso de capacitación de modelos grandes escribiendo manualmente las respuestas por parte de los anotadores. **
**Los pasos para responder una pregunta están estrictamente controlados. **Tome el juego "Genshin Impact" como ejemplo. Si recibe la pregunta "¿Cuál es la reliquia sagrada de Yelan?", Yang Xiaoyun necesita dividir la respuesta en varios párrafos: Primero, ¿qué es Yelan? En segundo lugar, ¿qué son las santas reliquias? ¿Con qué coincide al final la reliquia sagrada de Yelan?
Recopile información en el motor de búsqueda designado, complete la edición de la respuesta y finalmente envíela en forma de Markdown.
Además de las preguntas simples y fáciles de responder, Yang Xiaoyun pasó la mayor parte de su tiempo en áreas profesionales con las que no estaba completamente familiarizado, como la zona económica, la zona legal, etc.
Obviamente, esto es completamente diferente del trabajo de anotación de datos anterior. **
Antes de la aparición de modelos grandes, los escenarios de anotación de datos solían ser fábricas con cientos de personas, cada persona tenía una computadora y solo se oía el sonido del mouse y el teclado. Y durante su jornada laboral de 8 horas, sólo hacen una cosa simple y repetitiva: enmarcar vehículos de motor, vehículos no motorizados, peatones y semáforos (detección de objetivos) en diferentes imágenes; o subrayar el tema de un párrafo, predicar, objeto (segmentación semántica).
Estos cuadros de dibujo para imágenes y videos y la segmentación semántica de texto son todos procesamiento de datos existentes, y los anotadores de datos en sí no necesitan dar "conclusiones creativas". Pero este no es el caso de la anotación de datos de modelos grandes. Además de procesar los datos existentes, los anotadores de datos también deben responder preguntas y dar conclusiones correctas. **
Según el "Informe de investigación de tendencias de inversión y análisis en profundidad sobre la situación actual de la industria de anotación de datos de China (2023-2030)" publicado por el Centro de datos de Guanyan Tianxia en 2023, antes del lanzamiento de ChatGPT, la anotación de datos de entrenamiento de IA se basaba principalmente sobre voz y visión por computadora, y lenguaje natural La demanda de procesamiento (NLP) es inferior al 15%.
A medida que el chatbot ChatGPT se convierte en una aplicación fenomenal de AIGC, existe una demanda cada vez mayor de tareas de anotación de texto de alta calidad, como el juicio emocional, la capacidad de comprensión e incluso la capacidad de razonamiento.
"La complejidad de los proyectos (de modelos grandes) se ha vuelto mayor que antes y los requisitos de personal son relativamente diferentes", dijo la persona a cargo del Departamento de Productos de Datos de Stardust a "Jiazi Light Year", "Reconocimiento y anotación de información visual parcial". Para la conducción autónoma, que es más trabajo físico, se requiere cierta capacitación por parte de los empleados. Una vez que aprenden a manejar cajas, dominar las teclas de acceso directo y dominar algunas habilidades, pueden volverse competentes rápidamente. ** Pero lo que los modelos grandes necesitan es un sistema completo y estructurado, un sistema de datos diversificado y completo que requiere cuatro capas de datos para respaldar la construcción y mejora del modelo. Estos datos implican entrenamiento previo, SFT (ajuste fino supervisado), RLHF (aprendizaje por refuerzo basado en retroalimentación humana, Aprendizaje reforzado a partir de la retroalimentación humana), implementación privatizada, etc. En respuesta a las necesidades de diferentes industrias, hemos lanzado la solución de pirámide de datos de modelos grandes COSMO; para los anotadores de datos de modelos grandes, etiquetar los datos COSMO no es una pregunta de opción múltiple, ni ¿Es simple? En lugar de comprensión lectora y edición de texto, te permite crear preguntas y respuestas y crear contenido.**”
Jia Yuhang, director general de datos de medición de la nube, divide los datos de entrenamiento del modelo más grande en tres etapas: datos básicos, datos de escena y optimización de datos de escena. **Él comparó estas tres etapas con el proceso de aprendizaje.
"La anotación de datos básicos, como el dibujo de cuadros, es relativamente simple y puede dominar la operación de la computadora tan pronto como la aprenda; los datos de la escena son datos en un campo específico necesarios para la investigación y el desarrollo específicos en enlaces específicos, y necesita aprender información relevante conocimiento del dominio para lograr los requisitos de anotación; en la tercera etapa, basada en la iteración continua y la optimización durante la puesta en uso, los requisitos de habilidades y conocimiento del dominio serán más refinados", dijo Jia Yuhang.
Bajo este tipo de demanda laboral, cada vez más empresas modelo grandes tienen una demanda de anotadores de datos, que en el pasado también ha pasado de tener un bajo nivel educativo a un nivel alto de educación, y esta demanda está aumentando.
En las principales plataformas nacionales de búsqueda de empleo, actualmente se están contratando muchos puestos de anotación de datos para modelos grandes. Estos puestos requieren que los anotadores tengan una licenciatura o superior. Baidu ha declarado anteriormente que su gran base de anotaciones de datos de modelos en Haikou tiene cientos de anotadores de datos y que la tasa de pregrado ha alcanzado el 100%.
** 2. Anotación estricta de datos de modelos grandes **
Detrás de estas tareas repetitivas está en realidad implementar la tecnología de "aprendizaje reforzado a partir de la retroalimentación humana". La mayor mejora de GPT-3.5 proviene de esto. La clave es la participación humana (Etiquetadora), es decir, estos anotadores de datos.
De los tres pasos anteriores de RLHF, el paso uno y el paso dos son relativamente más importantes porque determinan el nivel de calidad de los datos necesario para entrenar el modelo de recompensa. Los pasantes de anotación de datos en estos dos pasos también se dividen en dos grupos principales: "grupo de edición" y "grupo de clasificación". **
El trabajo del equipo de edición es responder las preguntas en el banco de preguntas, mientras que el trabajo del equipo de clasificación es clasificar las respuestas generadas (incluidas las respuestas modelo y generadas artificialmente).
Ding Xiaoyu se unió al editor en julio. Ding Xiaoyu, que también estudia inglés, y Chen Xi esperan un trabajo de traducción que pueda mejorar su nivel profesional, pero su trabajo en realidad no está relacionado con el inglés.
En comparación con cuando Yang Xiaoyun estaba como pasante en febrero, el equipo de edición al que se enfrentaba Ding Xiaoyu se ha subdividido más: cada pasante tiene que elegir una dirección vertical, como entretenimiento, física, política, etc., y los requisitos de respuesta se han vuelto más detallado.
Para una pregunta de opción múltiple sobre poesía antigua, no solo debes explicar la respuesta, sino que primero introduces el tipo de pregunta, luego la traducción y los antecedentes de la poesía, y finalmente un análisis de si cada opción es correcta o no. La cuestión es compararlo con el GPT-4 de marzo lanzado por OpenAI el día 14.
"Tienes que consultar su respuesta, pero no puede ser la misma y debe ser mejor que su respuesta" Ding Xiaoyu estaba indefenso.
Chenxi fue asignado al grupo de clasificación, donde se clasificaban múltiples respuestas a preguntas todos los días para determinar los pros y los contras de las diferentes respuestas.
Los resultados de la clasificación deben cuantificarse claramente. Necesita calificar las respuestas desde diferentes perspectivas como utilidad, autenticidad, relevancia, seguridad, etc. y anotar los motivos. Esto es para permitir que las máquinas se acerquen infinitamente a las respuestas que esperan los humanos.
**Chen Xi a veces tuvo que elegir entre varias respuestas malas. Y cuando todas las respuestas fueron malas, le pidieron que ella misma escribiera una respuesta mejor. **
Ding Xiaoyu, del equipo editorial, se enfrenta a requisitos aún más exigentes. Cada respuesta se enfrentará a dos rondas de revisión antes de ser calificada para su entrega. La primera vino del líder del equipo: "Después de completar algunas preguntas, tendremos una reunión de revisión para encontrar fallas con nosotros hasta que el líder del equipo esté satisfecho con los cambios". La segunda vino de la sede, y no es así. hasta que la sede haya pasado la revisión.
Una vez, debido a errores de formato, la mayoría de las respuestas de Ding Xiaoyu se consideraron completamente incorrectas. "Puede que sea suficiente con ajustar el orden, pero no les importa si el contenido de tu respuesta es incorrecto o si hay un problema con el formato. Es sólo que todo está mal".
Lo que dejó a Ding Xiaoyu aún más devastada fue que el líder del equipo declaró directamente que si volvía a cometer tantos errores, podría ser despedida.
**La anotación de datos para modelos grandes es un trabajo absolutamente orientado a resultados. No importa cuánto esfuerzo pongas en el proceso, mientras los resultados no sean buenos, todos los esfuerzos anteriores quedarán completamente anulados. **
Pero el problema es que ya sea la salida de respuestas del grupo de edición o la clasificación de las respuestas por parte del grupo de clasificación, es una tarea muy subjetiva. Es difícil para los pasantes de anotación de datos controlar si una respuesta es buena o mala; diferentes pasantes a menudo dan diferentes respuestas a la misma pregunta.
**Para resolver este problema, una de las tareas que el gran equipo de anotación de datos de modelos debe realizar todos los días es realizar una "reunión de auditoría" dentro de la empresa, conocida como "Racing Meeting". responder a los estándares y alinear las respuestas. Todos entienden y todas las sugerencias están alineadas. **
Sin embargo, es bastante difícil lograr una verdadera alineación. Esto es similar a la calificación del examen de ingreso a la universidad: a diferentes personas se les asignarán las mismas preguntas y, si los puntajes son inconsistentes, deberán ajustarse continuamente hasta obtener un puntaje unificado.
En la impresión de Chen Xi, todos los días se dedican dos o tres horas a reuniones. Al final de la reunión, a menudo se llega a la solución más simple y cruda, con la minoría obedeciendo a la mayoría, lo que ella describió como "crear valor sin valor".
Sin embargo, en comparación con todos sentados juntos para alinear "artificialmente" los estándares de respuesta, un problema más problemático es: los estándares ** no están alineados artificialmente de una vez por todas, sino que deben ajustarse constantemente en función de la retroalimentación del resultado del modelo. **
Lo primero que hace Yang Xiaoyun cuando va a trabajar todos los días es confirmar si se ha emitido un nuevo estándar de anotación ese día, que va desde el marco de la respuesta, la división de párrafos hasta la selección de motores de búsqueda y formatos como espacios y signos de puntuación. Pero ** los estándares cambian constantemente. ** Una vez que se descubre que los datos suministrados no funcionan en la máquina, es necesario volver a formular los estándares y todos los problemas se anularán y reescribirán.
"Es como tejer. ¿Deberíamos tejer granos horizontales o verticales? ¿Deberíamos tejer botones de sésamo o botones de trigo? Pero no importa qué botón sea, solo se puede poner en el programa y ejecutar. Si descubre que no se puede ejecutar "Hay que cambiar un método", explicó Yang Xiaoyun a "Jiazi Guangnian". Detrás de esta metáfora está que si la respuesta dada por la anotación de datos puede no lograr el efecto esperado durante el proceso de entrenamiento del modelo de recompensa, se debe ajustar el estándar.
El cambio de normas significa que la conclusión de la última reunión de alineación no es válida y las normas deben alinearse nuevamente.
"Redundante y eficiente, dice tonterías de manera muy eficiente todos los días", se quejó Yang Xiaoyun.
3. Estudiantes de alto rendimiento que son explotados por las grandes fábricas
**La característica común de estos pasantes es un alto grado de educación. El requisito de contratación es una licenciatura o superior, pero muchos pasantes tienen una maestría. **
Muchos de ellos son educados en las mejores universidades de China e incluso del mundo. Yang Xiaoyun estaba rodeado por estudiantes de la Universidad de Pekín y el Imperial College de Londres, y los pasantes junto a la estación de trabajo de Chenxi eran de la Universidad de Nankai y la Universidad de Ciencia y Tecnología Electrónica de China; a Ding Xiaoyu se le informó claramente durante la capacitación que las calificaciones académicas de los pasantes fueron examinados. "Él (el entrevistador) dijo que los estudiantes universitarios altamente educados como nosotros pueden aprender cosas rápidamente y comenzar fácilmente".
**Manejar un grupo de personas inteligentes nunca es fácil. Porque estas personas pueden descubrir fácilmente la esencia de su trabajo a partir de acciones repetidas y luego preguntarse si este trabajo es realmente valioso para su futuro. **
Ding Xiaoyu describió su trabajo como "de poco valor y muy agotador internamente".
Cuando llega a su estación de trabajo todas las mañanas, abre la pantalla y el cuaderno, y usa el cuaderno para verificar las reglas mientras escribe las respuestas en la pantalla. Ding Xiaoyu puede sentir claramente que las reglas y procedimientos detallados la hacen perder gradualmente el espacio. pensar, y ella se convierte en una máquina. "Si no aprendes algo y no tienes la energía para aprender otras cosas, poco a poco perderás la motivación para aprender y el entusiasmo por hacer otras cosas".
Ding Xiaoyu también ha trabajado en el equipo de desensibilización, pero el trabajo real no tiene una conexión fundamental con la palabra "desensibilización". Simplemente utiliza diferentes chatbots y los productos beta internos de la empresa para responder las mismas preguntas, y compara y califica las respuestas. Después de solo unos días de trabajo, fue transferida al equipo de revisión de textos, lo que debía hacer era corregir los errores que ocurrían al convertir el formato PDF a Word, principalmente errores tipográficos y signos de puntuación. En un proceso que ella describió como "casi colapso", completó 25 páginas de tareas de corrección de errores relacionados con la medicina todos los días.
Durante el proceso de entrevista, el entrevistador le preguntó a Ding Xiaoyu si podía aceptar un trabajo aburrido y repetitivo. "Mi respuesta en ese momento fue que era aceptable. Creo que todas las respuestas de los candidatos deberían ser aceptables". Porque él solo tuvo una experiencia de pasantía como estudiante universitario, y con la expectativa de acumular más pasantías y experimentar grandes empresas, incluso con Dudas, Ding Xiaoyu aún decidió unirse a la empresa.
En solo dos meses, Ding Xiaoyu ha sido considerado como la persona que persistió hasta el final entre los pasantes en el mismo período. Fue testigo de cómo muchos pasantes llegaban con grandes ambiciones y luego se marchaban con la cabeza gacha.
El antropólogo David Graeber define los trabajos de mierda como trabajos que no tienen significado ni propósito. Trabajos que deberían eliminarse mediante la automatización de las máquinas siguen existiendo debido a una fachada, para complacer a los superiores y para llenar lagunas en el sistema. La anotación de datos es como una variación de trabajos de mierda que a menudo se piensa que han sido reemplazados por máquinas, pero que aún requieren que los humanos los realicen.
Cuando llega la moda de la inteligencia artificial, la gente suele escuchar la expectativa de que la IA pueda reemplazar a los humanos en la realización de tareas repetitivas y aburridas, permitiendo así que los humanos tengan más tiempo y energía para realizar un trabajo más creativo y satisfactorio.
Pero también es posible que la inteligencia artificial, al igual que las tecnologías que ahorraban mano de obra en el pasado, como los teléfonos y las máquinas de escribir, supere los problemas de la transmisión de información y la escritura a mano, pero también cree una gran cantidad de comunicación y papeleo que requiera nueva inteligencia artificial para funcionar. Gestión, como recepción, oficinista. Puede que la IA no reemplace a los humanos, pero creará trabajos más tediosos, aburridos y aislantes.
**Además de no poder obtener el reconocimiento del valor de su trabajo, es posible que el salario que reciben no permita a estos mejores estudiantes lograr el "reconocimiento del precio". **
Según "Jiazi Guangnian", estos datos muestran que el salario de los pasantes no es alto. Si están ubicados en una ciudad de primer nivel, el salario de la mayoría de los pasantes de inteligencia artificial es de 150 yuanes/día, con asignación de habitación y comedor gratuito; si están ubicados en una ciudad de segundo nivel, solo les quedan 100 yuanes/día. y la asignación de habitación también se reduce en un tercio 2. El suplemento de comida de 20 yuanes reemplaza la comida gratis.
Al igual que la pasantía de Ding Xiaoyu en una ciudad de segundo nivel, debido a que la oficina está ubicada en el centro de la ciudad y el área es próspera, una comida para llevar puede exceder fácilmente el estándar de subsidio de comida de 20 yuanes y básicamente requiere pagar el salario de la pasantía.
Debido a que la mayoría de ellos son solo anotadores básicos para entrenar modelos grandes, se les puede asignar uniformemente a puestos que no tienen nada que ver con su profesión. También pueden ser transferidos a diferentes departamentos en cualquier momento y se les exige que comiencen rápidamente después de un breve período. capacitación.
**Ding Xiaoyu los describió como grupos de pasantes de los que las grandes fábricas se aprovecharon. **
Chen Xi claramente sintió que ella no era la única que sentía la brecha entre las expectativas y el trabajo real. "Para decirlo sin rodeos, siento que este trabajo no es adecuado para mí. A veces, al charlar, descubro que otros pasantes pueden tener 985 títulos de licenciatura y algunos han regresado del extranjero con una maestría. La brecha entre ellos también es muy , muy grande."
Yang Xiaoyun lo expresó de manera más directa: "Puede que sea una metáfora inapropiada. Mi madre fue a la escuela secundaria, así que puede hacer este trabajo".
**4. "En realidad somos trabajadores de la línea de montaje" **
La persona a cargo del Departamento de Producto de Stardust Data dijo: "A medida que se completen las capacidades básicas del modelo grande y el proceso de desarrollo comience a volverse más vertical y complejo, las tareas cambiarán gradualmente, lo que requerirá herramientas y personal para actualizarse e iterarse. En consecuencia. Sin embargo, los modelos grandes aún se encuentran en las primeras etapas de desarrollo y la demanda del mercado de anotadores varía dependiendo de la tarea. En comparación con los proyectos de CV (Visión por Computadora), los anotadores de PNL (Procesamiento del Lenguaje Natural) tienen requisitos más altos para la capacidad de comprensión. Los requisitos de terminología profesional y conocimiento del dominio son mayores, y se debe proporcionar un corpus preciso y confiable”.
El responsable dijo que los problemas que plantean los modelos grandes a la anotación de datos se reflejan más en el diseño de alto nivel. Para cada tarea de anotación de datos, cómo comprender las demandas del escenario de aplicación del cliente, diseñar un conjunto de soluciones como la selección de datos, el diseño de distribución de datos y el diseño de canalizaciones que se puedan implementar de manera eficiente y a bajo costo, y cómo mejorar la eficiencia y las capacidades. de las herramientas de la plataforma son claves. Un desafío mayor.
Esto se basa en la participación de expertos en dominios verticales como anotadores senior, inyectando conocimientos y experiencia en el dominio en el diseño de la solución e incluso participando en el proceso iterativo de inspección de la calidad de los datos.
Zhang Ziqian, jefe de operaciones del proveedor de soluciones de datos Besai Technology, dijo sin rodeos que actualmente, en términos de capacitación de modelos a gran escala, no existe una diferencia obvia en la dificultad del trabajo y los salarios por hora entre los anotadores básicos y los anotadores que anteriormente se dedicaban a la selección de fotogramas. . **Al ajustar modelos grandes y crear soluciones en campos verticales para los clientes, el mayor problema es cómo construir conjuntos de datos de alta calidad, lo que requiere expertos en etiquetado en campos profesionales como TI, medicina y finanzas. Escasez.
OpenAI invirtió docenas de estudiantes de doctorado en la orientación y revisión de la anotación de datos, y subcontrató la anotación de datos básicos a empresas de anotación de datos, dispersas en áreas de bajos ingresos como África e India. **Los que realmente marcan la diferencia son los anotadores senior, que sólo representan una pequeña proporción. **
Al comparar las descripciones de trabajo de los anotadores contratados por Baidu en su sede de Beijing y la base de anotaciones de datos de Haikou, podemos ver que también son para entrenar modelos grandes: el primero es un anotador senior responsable de orientación, capacitación y revisión, mientras que el segundo es un anotador de datos básicos., los dos tienen niveles salariales muy diferentes.
** En otras palabras, los anotadores senior de alto nivel son en realidad talentos clave para la capacitación de modelos grandes. Su trabajo es más técnico y valioso, y el costo de mano de obra también es mayor. **
** Por el contrario, incluso si estos pasantes de escuelas prestigiosas vienen a entrenar modelos grandes, en esta etapa son esencialmente los mismos que los anotadores de datos del pasado. **
** Los pasantes a menudo bromean entre ellos diciendo que no están trabajando en una gran fábrica, sino en Internet Foxconn, y que son trabajadores en la línea de montaje. No pueden ver a dónde conducirán en última instancia los resultados de su trabajo, ni pueden crear una cadena horizontal de significado con las personas que los rodean. **
Este chiste de "Internet Foxconn" se refiere no sólo al trabajo de estos becarios, sino también a la carga de trabajo y al modelo de gestión, que está casi a la par de la línea de montaje de una fábrica.
La cantidad de trabajo que los pasantes deben realizar cada día tiene una línea roja de eficiencia humana prescrita. Para Yang Xiaoyun, necesita marcar 32 preguntas por día y, si no se cumple la línea roja, debe informar los motivos o trabajar horas extras para terminarla. El requisito previo para completar el trabajo son los estándares en constante cambio de la Asociación Lazi y la recopilación continua de información.
Para completar la capacitación del modelo lo más rápido posible, el equipo de anotaciones enfrenta una gestión de alta presión. Al grupo de Yang Xiaoyun no se le permite hablar durante las horas de trabajo. El precio de unas pocas charlas puede agregarse a la carga de trabajo. Si no completa el trabajo, se le recordará frenéticamente en el grupo. Incluso si está enfermo y pregunta. Para obtener una licencia, es posible que una llamada urgente de su empleado habitual lo interrumpa.
Además, para garantizar que los datos no se filtren, está expresamente prohibido el intercambio de anotaciones de datos entre grupos. Incluso si los pasantes de diferentes grupos se encuentran muy cerca, no pueden discutir el contenido del trabajo. Ninguno de estos pasantes sabe cuántos grupos subdivididos hay en el etiquetado de datos de la empresa y cuántos pasantes hay. Un grupo puede tener 10, 40, 50, 60 personas o cientos de personas en cada piso.
Bajo la línea roja de eficiencia humana de alta presión, Yang Xiaoyun sólo puede estar temporalmente "feliz" cuando se encuentra con preguntas prohibidas. Porque el contenido que involucre violencia, pornografía y sangre debe eliminarse directamente, pero aún puede contarse en elementos de trabajo personal. "Es equivalente a apretar un tornillo defectuoso. Sólo estarás feliz de no tener que apretar el tornillo". Durante la división del trabajo de la mañana, los pasantes incluso compitieron entre sí para conseguir los artículos prohibidos.
Después de que Yang Xiaoyun dejó su trabajo temprano, a menudo visitaba los momentos de los pasantes que todavía se reunían en la empresa a las 10 de la noche, o incluso a las 12 en punto. También hay pasantes que le envían mensajes de voz, llorando, pero como han alquilado una casa y no tienen forma de irse, si no pueden persistir, significa que todo el alquiler será en vano.
** 5. Aquí nunca faltará gente **
Li Zhuxi es uno de los pocos pasantes con experiencia en anotación de datos. Ella estudió lingüística cognitiva y explicó que la tendencia de combinar la lingüística con la neurología, observar las imágenes del cerebro y establecer interfaces cerebro-computadora tiene cierta conexión con la inteligencia artificial.
Antes de llegar a esta gran fábrica, había realizado anotaciones de datos para grandes modelos de lenguaje en otra gran fábrica, y eso fue antes del lanzamiento de ChatGPT. En la impresión de Li Zhuxi, después de que ChatGPT salió del círculo, surgieron pasantías de anotación de datos similares como hongos después de una lluvia.
Realizó con éxito las prácticas de tres meses, aunque lo describió como un trabajo "relativamente mecánico y no muy difícil". Li Zhuxi describió que presta más atención a la experiencia: "No espero que este trabajo sea interesante. Aún así es bueno experimentarlo. No solo obtengo experiencia de pasantía en una gran fábrica, sino que también experimento la cultura corporativa única aquí. "
Para Zhao Shuo, un estudiante de artes liberales de una escuela en Shuangfei, el puesto de pasantía de edición de inteligencia artificial en una gran fábrica ha sido su elección de nivel superior.
Cuando buscaba una pasantía de verano, en realidad prefería un puesto operativo en un instituto de investigación. El instituto de investigación es una institución pública y tiene personal, lo cual era muy atractivo para Zhao Shuo. "En ese momento, estaba particularmente ansioso por retroalimentación que podría darme." . Pero al final, el instituto no eligió a Zhao Shuo, que era un estudiante de posgrado de primer año, y reclutó a un estudiante de grado superior.
Hay gente que es más "rizada".
A los ojos de Zhao Shuo, algunos pasantes trabajarán particularmente duro y asumirán más tareas para buscar oportunidades de convertirse en empleados regulares. Una actitud seria y diligente ganará el favor de los empleados de tiempo completo: "Los líderes a menudo tienen ciertos intercambios con ellos y también les darán cierta autorización de la dirección para gestionar a los pasantes".
La compañía incluso selecciona pasantes con un desempeño sobresaliente cada semana y publica sus fotos en la pared como reconocimiento, pero no necesariamente hay un incentivo adicional, y no hay ninguno en la línea de negocios de Zhao Shuo.
Jia Yuhang, gerente general de Yunmei Data, le dijo a Jiaziguangnian que existen dos rutas de promoción principales para los anotadores de datos: una es la ruta de los expertos. Después de dominar habilidades relevantes en campos verticales específicos, los anotadores junior pueden convertirse gradualmente en expertos senior en anotaciones. La otra es la ruta de gestión, convirtiéndose en el gestor del proyecto.
Pero Zhao Shuo no elegiría quedarse. Después de un año de estudios de posgrado, Zhao Shuo se dio cuenta claramente de que sus expectativas para el trabajo futuro habían disminuido. Sintiendo los crecientes cambios en el entorno general y observando la insatisfacción de los estudiantes que eligieron un empleo después de graduarse, los trabajos "de alta gama, sofisticados" e "insustituibles" que Zhao Shuo esperaba anteriormente fueron reemplazados gradualmente por un trabajo estable. Como estudiante de artes liberales, le preocupa no haber dominado todavía habilidades irreemplazables y espera encontrar un trabajo gestionado dentro del establishment.
Mientras conversaban, los becarios se lamentaban entre sí de que el trabajo que estaban haciendo pronto sería reemplazado por máquinas y que ya no sería necesaria la alimentación manual de datos.
Para Jia Yuhang, director general de Cloud Measurement Data, no existen preocupaciones similares. Con la producción en masa real de algoritmos y la mejora de las capacidades de circuito cerrado de datos, la cantidad total de datos etiquetados y la cantidad de etiquetado manual de datos siguen aumentando año tras año. En el pasado, era 100% anotación manual, pero ahora hay una cierta proporción de anotación manual, anotación automática y verificación manual. En el futuro, la proporción de etiquetado automático puede ser cada vez mayor. Sin embargo, aunque la proporción de anotaciones manuales está disminuyendo, con el desarrollo gradual de la industria de la inteligencia artificial y la creciente cantidad de datos, la cantidad de anotaciones manuales seguirá aumentando.
Después de dejar su trabajo temprano, Yang Xiaoyun encontró una pasantía de planificación de juegos que le gustó. El ambiente de trabajo allí era relajado y se sentía más gratificante. La edición de inteligencia artificial fue una experiencia de pasantía "desafortunada" para ella. Para Ding Xiaoyu, fue un proceso de desencanto. Incluso si fuera a una pasantía en una gran fábrica que había estado esperando, todavía enfrentaría innumerables trabajos aburridos. Sintió que esto podría deberse a que sus habilidades no eran fuertes. suficientes o había muy pocas oportunidades de experiencia.
Pero allí nunca faltará gente.
Yang Xiaoyun escuchó que después de que ella se fue, el equipo se expandió de docenas a cientos en un mes. Ding Xiaoyu descubrió que cada 10 días vendría un nuevo grupo de pasantes, cada grupo formado por veinte o treinta personas.
“Puedes irte maldiciendo y diciéndole al mundo lo malo que es tu trabajo, pero habrá un flujo constante de gente nueva que vendrá a ocupar tu lugar”.
*A petición de los entrevistados, los personajes Chen Xi, Yang Xiaoyun, Ding Xiaoyu, Li Zhuxi y Zhao Shuo en el artículo son seudónimos.