Xiaoyan, que trabaja como anotador de datos en una importante empresa de Internet, a menudo se siente aislado en la empresa.
La estación de trabajo de Xiaoyan está al lado de la de los gerentes de producto y programadores, quienes pueden disfrutar de los mismos beneficios: la misma insignia de trabajo, computadoras Apple, pueden ir al gimnasio o ir a la cápsula espacial a dormir en cualquier momento.
Pero Xiaoyan puede darse cuenta de que, como anotadora de datos, ella y otros colegas pertenecen a "dos mundos".
Aunque somos un equipo, nadie llamará al anotador en la reunión de la mañana todos los días, por lo que Xiaoyan solo puede mirar en secreto afuera de la puerta. Una vez, alguien trajo un carrito con lámparas de escritorio, que era un prototipo del producto de IA en el que estaba trabajando el equipo, los programadores se reunieron alrededor de él, muy emocionados, y lo tomaron en sus manos para jugar. Los anotadores se sentaron en sus estaciones de trabajo y se dedicaron a sus propios asuntos sin ningún incidente. "No saben que el producto se fabrica basándose en los datos etiquetados".
Cuando Xiaoyan se unió a la empresa, ésta estaba desarrollando un producto educativo de IA, que requería etiquetar una gran cantidad de datos para entrenar la IA. La empresa compró una montaña de libros de preguntas de estudio para escuelas primarias y secundarias. El trabajo de Xiaoyan consistía en tomar fotografías de cada pregunta, luego dibujar cuadros y marcar estas preguntas en la computadora.
Al trabajar también para la IA, los programadores son claramente conscientes del valor de su trabajo y disfrutan del placer que brinda el avance continuo de los algoritmos, pero pocos anotadores sienten que es su propio trabajo el que crea la IA.
El progreso de la inteligencia artificial es inseparable de la anotación de datos. El desarrollo de la conducción autónoma en los últimos años ha impulsado el mercado de la anotación de datos. Según un informe de Deloitte, la demanda de etiquetado en el campo de la conducción autónoma representará el 38% de todas las aplicaciones posteriores de IA en 2022, y se espera que la proporción aumente al 52% para 2027.
El auge de los modelos grandes este año ha añadido combustible a la industria de la anotación de datos. Una gran cantidad de pedidos basados en escenarios de entrenamiento de modelos grandes están volando hacia las empresas de anotación de datos. Parece que el aburrido negocio de la anotación de datos ha vuelto a recibir vitalidad. .
Algunas empresas de tecnología están más avanzadas y están intentando utilizar la IA para sintetizar automáticamente datos para el entrenamiento de IA. Los datos sintéticos se basan en una pequeña cantidad de datos reales, generados infinitamente por IA y no requieren etiquetado, en lugar de depender del etiquetado manual. En el campo de la conducción autónoma, los datos sintéticos pueden cubrir algunas condiciones extremas de la carretera, como peatones que irrumpen repentinamente en la carretera.
En su imaginación, los datos sintéticos reemplazarán la anotación manual en el futuro. Se eliminará gradualmente el etiquetado de empresas que no tienen tecnología y dependen únicamente de mano de obra. Un dato muestra que el 70% de los datos básicos utilizados para la inteligencia artificial en el extranjero son datos sintéticos, y este camino se está verificando.
Lo anterior no es una buena noticia para la gran cantidad de anotadores de datos. Sin embargo, algunos anotadores contactados por 36Kr aún no saben qué es ChatGPT y reaccionaron como si hubieran escuchado el término por primera vez.
Xiaoyan dijo que el etiquetador es una cola que se puede cortar en cualquier momento. El único suspenso es cuando el cuchillo caerá por completo.
Los anotadores que entrenan máquinas se sienten más como máquinas
Xiaohe se especializó en inglés y realizó una pasantía en una gran fábrica durante su último año. En su primer día de trabajo, la oficina estaba en un edificio de oficinas, era espaciosa y limpia, completamente en línea con su imaginación de una empresa de Internet. No pasó mucho tiempo antes de que se diera cuenta de que el contenido del trabajo que aprendió durante la entrevista - "organizar y clasificar los datos de voz de la empresa" - era en realidad anotaciones de datos.
Más tarde, Xiaohe admitió que si hubiera sabido que era el comienzo de trabajar para AI, se habría ido de inmediato.
Hay 6 pasantes en el grupo, todos ellos estudiantes del departamento de lenguas extranjeras de una prestigiosa universidad. Una jefa de equipo asigna tareas todos los días. A veces es un montón de símbolos fonéticos en inglés, y la tarea de Xiaohe es distinguir la pronunciación británica de la estadounidense; a veces es un Excel, haz clic en él y verás datos en todas partes. Si te desplazas hacia abajo, hay más de 10,000 elementos. .
"Se siente como escalar una montaña", dijo Xiaohe.
El “proyecto” que más he hecho es la anotación oral para estudiantes de secundaria. Los anotadores están acostumbrados a hablar del trabajo como proyectos, un proyecto tras otro. Xiaohe escucha 200 grabaciones con acentos fuertes al día, cada una de las cuales dura dos minutos. Si escucha una pregunta general, puntúe 1; si escucha una pregunta especial, puntúe 2; si no escucha ninguna de las dos, puntúe 0. Para evitar fugas, solo podía usar auriculares con cable en la oficina, a Xiaohe le dolían los oídos y se sentía "involuntariamente irritable".
A menudo escucha malas palabras utilizadas en las grabaciones. Algunos niños no dicen algunas palabras antes de empezar a maldecir. En otra ocasión, durante un proyecto de navegación de mapas, alguien no pudo evitar maldecir en la grabación. "No sé por qué alguien estaría tan enojado".
Xiaohe dijo que no puedes tomártelo demasiado en serio, solo puedes marcar esta grabación como "sin sentido", luego pasar la página y continuar escuchando la siguiente.
**"Como una máquina", casi todos los anotadores se describirían a sí mismos de esta manera. ** La anotación es una obviedad. Un anotador de Shandong dijo que el proyecto más difícil que jamás haya realizado es la anotación de huellas dactilares. Obtuvo un montón de huellas dactilares de alguien que no conocía (algunas de ellas todavía estaban borrosas) y necesitaba pasar el marco a lo largo de los bordes de las huellas dactilares poco a poco. "Después de llegar a casa ese día, pude ver huellas dactilares en todos mis ojos cuando los cerré".
Muchos proyectos requieren que los anotadores mantengan una estricta confidencialidad, pero a los anotadores no les importa para qué sirve el proyecto. Durante el trabajo, los grafiteros deben entregar sus teléfonos móviles y colocarlos en una bolsa colgada en la pared. Sólo podrán recuperar sus teléfonos si reciben una llamada.
La mayoría de los anotadores han experimentado el proceso desde la falta de familiaridad hasta la competencia, desde la novedad hasta el aburrimiento. La etapa inicial del proyecto fue la más interesante, en ese momento las reglas de etiquetado aún no estaban completas, a menudo encontraban áreas controvertidas y discutían o incluso discutían entre ellos, y el ambiente era animado. En las etapas intermedia y tardía, las reglas casi están finalizadas y solo queda el trabajo mecánico y repetitivo, y la gente caerá en una sensación de falta de sentido.
**Un comentarista dijo que era un "trabajo sin sentido". **
En Fuzhou, Jiangxi, estudiantes de escuelas vocacionales locales están anotando datos; Fuente: fotografía de IC
Jia Wenjuan, profesora de la Universidad de Shanghai, ha realizado una investigación de campo sobre la anotación de datos y cree que la anotación de datos no es trabajo mental o físico, sino trabajo cognitivo: "Lo que la gente vende es su propia cognición". El humor negro es que queremos que las máquinas se parezcan más a los humanos, pero al mismo tiempo hacemos que los humanos se parezcan más a las máquinas. En otras palabras, deja de lado el sentido común y piensa como un robot. **
Y una vez que el anotador empieza a pensar "¿Por qué debería hacer esto?", significa que no está lejos de dimitir.
Zheng Wei, el jefe de una empresa de anotación de datos, dijo sin rodeos que no puede retener a la gente. En el mejor de los casos, la empresa tiene menos de 20 personas. Los nuevos empleados suelen durar solo medio mes, muchas personas vienen a trabajar el primer día y se van al día siguiente. No tuvo más remedio que seguir reduciendo sus requisitos de contratación y al final sintió que "no estoy seleccionando personas, sino que otros me están seleccionando a mí".
No sabía cómo retener a los que se iban: "Las cosas mejorarán cada vez más si se quedan aquí. En realidad, yo mismo no lo creo", dijo el comisionado Zheng a 36 Krypton. El desgaste de los empleados finalmente abrumó a la empresa y, cuando solo quedaban dos anotadores, decidió disolver el equipo. No mucho después, ChatGPT desató una nueva ola de IA.
El auge de los modelos grandes es bueno para la anotación de datos, pero también intensifica la involución del equipo de anotación **. **
En cuanto a la aceptación de trabajos, Xiaodai afirmó que entre el 80 y el 90% de los proyectos de marcado en el mercado tienen ahora precios unitarios muy bajos, "porque hay demasiados subcontratistas en el medio" y "todos quieren obtener ganancias con el precio". diferencia y no quiero realmente hacer el trabajo". Trabajó como anotador en una plataforma de crowdsourcing durante dos años y este año comenzó su propio negocio para formar su propio equipo de anotaciones.
La anotación de datos no es muy rentable. Tomando como ejemplo el dibujo del marco 2D de la conducción autónoma, el precio de envío del pedido de una gran empresa es de 10 centavos y el equipo de etiquetado que se hace cargo del trabajo cuesta 8 centavos cada uno. "Ahora se ha reducido a 5 o 6 puntos", dijo Xiaodai. Calculó una cuenta y si era inferior a 8 puntos, solo podía perder dinero.
Para sobrevivir, Xiao Dai pasa la mayor parte de su tiempo buscando proyectos y pasando el rato en varias plataformas y bares de publicaciones. Los proyectos son genuinos y falsos, y la mayoría no son confiables. El agente ha sufrido pérdidas. Hay un proyecto donde el dinero no ha llegado después de 8 meses de espera.
Más tarde, primero trabajó como anotador a tiempo parcial, y solo después de que no hubo ningún problema con la licitación de prueba y el acuerdo, dejó que el equipo se hiciera cargo del trabajo. Una vez escuché que la plataforma lanzaría un lote de proyectos a las 3 en punto en medio de la noche, así que activó una alarma con anticipación para recibir pedidos.
**La pérdida de personal, los bajos precios unitarios y los cobros inestables son como tumores que arrastran a la mayoría de las pequeñas empresas de esta industria. **
No hay anotador que no desprecie este trabajo: no pueden ganar dinero, no ven espacios de promoción ni oportunidades de desarrollo, y caen en un largo período de depresión y pérdida.
Mientras escribía este artículo, la mayoría de los anotadores contactados por 36Kr dimitieron. Una niña dijo que había estado trabajando durante dos meses y que su salario era inferior a 3.000 yuanes.
Anotadores internos: Tasa de licenciatura 100%
En el pasado, el umbral para la anotación de datos era bajo. En Shandong, Shanxi, Henan, Guizhou y otros lugares, muchas empresas de anotación de datos han contratado una gran cantidad de mano de obra barata. Los más comunes incluyen madres, personas discapacitadas y estudiantes de escuelas vocacionales, que siempre que dominen las operaciones básicas de las computadoras pueden ingresar a esta industria.
En la era de los grandes modelos, se está produciendo silenciosamente entre los candidatos una mezcla y eliminación de la anotación de datos.
Los investigadores descubrieron que la calidad de los datos de entrenamiento tiene un impacto muy grande en el rendimiento del modelo. En comparación con la cantidad de datos, con mayor calidad de datos, el efecto de mejora del modelo es más obvio. Para controlar la calidad de los datos, algunas empresas de IA han formado sus propios equipos de etiquetado. El primer paso es elevar el umbral de entrada a la industria.
Lo más obvio es que las calificaciones académicas de los anotadores están empezando a mejorar.
En abril de este año, un fabricante líder de modelos a gran escala estableció una base de anotaciones de datos y el primer grupo de anotadores reclutados ** tenía una tasa de licenciatura del 100%. **El responsable de la empresa explicó que los datos de modelos grandes implican una amplia gama de conocimientos y criterios de evaluación complejos, lo que pone a prueba en gran medida la comprensión del lenguaje y las capacidades de razonamiento lógico del anotador.
Xiao Wang acababa de graduarse de la universidad y cuando regresó a su ciudad natal para buscar trabajo, accidentalmente se encontró con el reclutamiento de esta base de etiquetado de datos. Entonces participó en la entrevista y aprobó con éxito. La base le envió un material de formación de 300.000 palabras y sólo pasando el examen de formación podrá asumir oficialmente el cargo.
Los anotadores trabajan en preguntas todos los días. A los recién llegados se les hacen 40 preguntas al día, mientras que a los trabajadores experimentados se les hacen entre 70 y 80 preguntas. El sistema backend distribuye preguntas a todos, la mayoría de las cuales son registros de conversaciones entre usuarios reales y modelos grandes. Las preguntas de los usuarios llegan de todo el mundo y son aún más extrañas: ¿Cuál de estos tres móviles es mejor? ¿Qué huevos son mejores o gashapon? ¿Cuáles son los criterios para las personas exitosas? ¿Por qué Lin Daiyu luchó contra el Demonio de Hueso?
Un modelo grande tendrá muchas respuestas, y el trabajo de Xiao Wang es leer cada respuesta, seleccionar errores y calificarlos uno por uno según la calidad. 5 puntos es una puntuación perfecta, 1 punto es la más baja y las respuestas por debajo de 3 puntos. deben dividirse en tipos de error. Si la respuesta no es la pregunta, se otorgará directamente la puntuación más baja. Si se encuentra una pregunta delicada, no se otorgará ninguna puntuación y se juzgará como "otra".
Clasificación, puntuación y evaluación, estos pasos de anotación un poco complicados son exactamente lo que se llama RLHF (Aprendizaje por refuerzo a partir de la retroalimentación humana, es decir, aprendizaje por refuerzo a partir de la retroalimentación humana). El propósito es alinear continuamente modelos grandes con valores y métodos humanos. del pensamiento Más utilizable. OpenAI utilizó RLHF en el proceso de entrenamiento de ChatGPT y logró resultados notables.
En comparación con el etiquetado de datos anterior, las reglas de etiquetado para modelos grandes son más subjetivas. Cuando un ingeniero de algoritmos entrevista a un anotador, le hará esta pregunta a la otra persona: "Si fuera un líder empresarial y se enfrentara a cuatro tipos de empleados: Sun Wukong, Zhu Bajie, Tang Monk y Sha Seng, ¿a quién preferiría?". ¿contratar?"
No existe una respuesta estándar, afirmó. **Este tipo de pregunta sirve para comprobar si el anotador tiene capacidad de pensamiento lógico. **
La demanda de talentos por parte de la industria se ha vuelto urgente. Una empresa de nueva creación llamada Kaiwang Data está cooperando con universidades para formar a un gran número de estudiantes universitarios anotadores. El director ejecutivo, Yu Xu, dijo que la compañía construyó la "Academia de Datos Kaywang" el año pasado y ha capacitado a más de 1.500 estudiantes en 50 escuelas para participar en la anotación de datos.
Cuando Xiao Wang califica las respuestas del gran modelo, a menudo necesita verificar un poco los hechos y la carga de trabajo depende completamente de la suerte. Una vez me encontré con una pregunta: ¿Cuál es mejor, el BMW Serie 3 o el Mercedes-Benz Serie C? El modelo grande enumera 40 parámetros de los dos automóviles respectivamente, y Xiao Wang debe verificar cada parámetro. Esa pregunta le llevó media hora.
Después de realizar anotaciones durante un tiempo, Xiao Wang descubrió que su puntuación rara vez superaba los 3 puntos: "Las respuestas de la IA no son suficientes para hacerme sentir muy satisfecho o sobresaliente". Recordó que una pregunta era: "Si el auricular Bluetooth está roto, ¿debería ir al dentista o al fabricante del auricular?" Obviamente era una pregunta de pesca, pero la respuesta de la IA hizo que sus ojos se iluminaran. "Decía que fuera al dentista para reparación, no al hospital."
Xiao Wang está satisfecho con este trabajo. Su salario básico mensual es de 1.800 yuanes, una bonificación por asistencia perfecta de 200 yuanes y un subsidio de vivienda de 200 yuanes. Teniendo en cuenta el rendimiento, puede ganar 4.000 yuanes al mes. Dijo que se considera que los ingresos están por encima del promedio en el área local. También se recogió el pelo y los dos se sentaron en estaciones de trabajo adyacentes.
Había alrededor de 20 estudiantes universitarios que estaban entrenando al mismo tiempo que Xiao Wang. En dos días, casi todos se habían ido y solo quedaban dos o tres personas.
Pero no tenemos que preocuparnos por la empresa, aquí nunca faltarán estudiantes universitarios. Un CTO reveló la verdad a 36Kr: vaya y eche un vistazo a la situación laboral actual de los estudiantes universitarios.
Lo que más quiero eliminar es la anotación humana, no la IA
Hay que admitir que hay muchos informes sobre la anotación de datos. El consenso de la gente incluye que este trabajo es la “cadena de montaje de Internet”, lo cual es difícil de hacer durante mucho tiempo, y que la anotación manual eventualmente será reemplazada por la IA.
El mes pasado, pasamos mucho tiempo comunicándonos con ingenieros de algoritmos y empresas de inteligencia artificial. Aunque el consenso anterior no se ha actualizado, se puede sentir vagamente que lo que más quiere eliminar el trabajo humano puede no ser la IA. Antes de que la IA pueda realmente actuar, aquellos que dominan la tecnología más avanzada ya han levantado sus guadañas.
En el mundo de la tecnología, no se puede subestimar la importancia de los datos. El ingeniero de algoritmos Xiao Duan dijo que si una empresa de inteligencia artificial no tiene datos etiquetados, no importa qué tan bueno sea el algoritmo que escriban, estará hecho pedazos. Cuantos más datos etiquetados, mejor. Recolectar toda la lana de los grafiteros es un negocio con ganancias seguras.
A veces, el algoritmo puede terminar en una hora los datos que los anotadores tardaron cuatro o cinco días en completar. Xiao Duan trabaja para una importante empresa de Internet, el departamento tiene un presupuesto suficiente y varios anotadores a tiempo completo. "Intentamos no dejar inactivos a los anotadores. Los dirigentes leerán el informe semanal. Si consideran que no hay muchas tareas, les asignaremos más tareas".
Un comentarista le dijo a 36Kr que, aunque los programadores que trabajan con él dicen que todo tipo de trabajo tiene valor, sin darse cuenta revelan un rastro de desprecio. "Por supuesto, este grupo de personas está orientado a la tecnología", se consoló el anotador.
La tecnología avanza mucho más rápido de lo que todos esperaban. En la era de los modelos grandes, la calidad de los datos afectará directamente el rendimiento del modelo. **Al comprender esto, algunas empresas de inteligencia artificial se despidieron de los subcontratistas de anotaciones de datos sin dudarlo.
"La calidad de los datos que obtuvimos era tan pobre que básicamente eran inútiles", dijo el director de tecnología de una empresa de inteligencia artificial. Su negocio principal son los videos generados por IA y han desarrollado un modelo de desarrollo propio que puede generar cantidades ilimitadas de videos de productos de comercio electrónico. Para entrenar el modelo, reclutaron especialmente a 50 estudiantes universitarios para realizar anotaciones de datos.
También es difícil para los estudiantes universitarios confiar en campos profesionales como la atención médica, las finanzas y la informática. Además de crear su propia base de etiquetado, una importante empresa nacional de Internet también paga a profesionales para que etiqueten. Aunque la proporción de profesionales en la industria de la anotación es todavía pequeña, su papel es bastante obvio. Por ejemplo, resulta más tranquilizador dejar una pregunta sobre la suspensión de los pagos de la seguridad social a profesionales que estén familiarizados con los documentos gubernamentales.
Un secreto a voces es que mucho antes de que ChatGPT se hiciera popular, OpenAI organizó a más de una docena de estudiantes de doctorado para "calificar". En ocho años, OpenAI gastó mil millones de dólares solo en entrenar el modelo.
En mayo de este año, una empresa de datos estadounidense comenzó a contratar profesionales en campos específicos. La remuneración de estos anotadores de alto nivel ya no es una ganga: por ejemplo, el salario por hora para etiquetar datos legales es de 45 dólares estadounidenses y el salario por hora para poesía es de 25 dólares estadounidenses.
Sin embargo, a los ojos de algunas empresas de inteligencia artificial, ya sean trabajadores manuales o administrativos, quieren ahorrar costos. Al comunicarse con estas empresas, 36 Krypton escuchaba con frecuencia una palabra: reducir costos y aumentar la eficiencia.
El método más común es utilizar IA para anotaciones automatizadas. Una empresa de datos afirmó que la proporción de anotaciones automatizadas ha alcanzado más del 70%.
El ingeniero de algoritmos Xiao Li y sus colegas están haciendo intentos más innovadores: ** Siempre que se utilice una pequeña parte de los datos reales como modelo, mediante tecnología de inteligencia artificial generativa y una serie de algoritmos, se pueden obtener datos de entrenamiento de alta calidad. sintetizado. En otras palabras, no se necesita a nadie en absoluto. **
"El precio de nuestros datos sintéticos es un poco más barato que el de la anotación manual", dijo Xiao Li.
Actualmente, los datos sintéticos se utilizan principalmente en los campos de la conducción autónoma y la robótica. Xiao Li dijo que cuando salió ChatGPT, se dio cuenta de que los datos anotados podrían no funcionar y que al final se tendrían que utilizar datos sintéticos. El fundador de OpenAI, Sam Altman, también tiene una opinión similar: "Los datos sintéticos son la forma más eficaz de resolver la escasez de datos de modelos grandes".
La nueva empresa Light Wheel Intelligence produce principalmente datos sintéticos en los campos de la conducción autónoma y la robótica. "El resultado final del etiquetado automatizado es que no hay etiquetado", afirmó el director general Xie Chen. "La mayoría de las empresas de etiquetado no ven ese largo plazo".
Xie Chen mencionó a 36Kr que un colega del equipo había realizado previamente anotaciones automatizadas en un OEM y había conquistado la anotación 4D-BEV más compleja. Se trata de una herramienta de anotación líder en la industria que utiliza el tiempo como cuarta latitud para la anotación en el espacio 3D para mejorar el rendimiento de los sistemas de conducción autónoma. Este año decidió abandonar la anotación automatizada, tomó la iniciativa de encontrar a Xie Chen y finalmente se unió a Nimbus Intelligence.
Este colega es Xiao Li. Dijo que la aparición de la IA generativa alguna vez lo puso muy ansioso, pero después de ver datos sintéticos, se emocionó nuevamente.
Uno de sus objetivos laborales es "reemplazar (etiquetar) a las personas en esta industria", pero le da vergüenza decir con certeza: "Probablemente será en el corto plazo, tal vez uno o dos años".
Finalmente, volvamos al mundo de los anotadores. La ansiedad provocada por el rápido desarrollo de la tecnología es aquí casi invisible. Sólo hay molestias triviales y repetitivas y algunas fantasías ingenuas.
El estudiante universitario Xiao Wang todavía entrena modelos grandes en su ciudad natal. Cuando charlamos recientemente, dijo que este trabajo era una oportunidad para ingresar al campo de la inteligencia artificial. El camino de promoción que les marca la empresa va desde anotadores hasta inspectores de calidad, formadores, supervisores y finalmente directores de proyectos. El objetivo de Xiao Wang es convertirse en supervisor y luego cambiar de trabajo a un puesto más cercano a la IA. Qué es exactamente, aún no lo sabe.
En comparación con el ambicioso Xiao Wang, la mayoría de los anotadores tienen poco interés en la IA. Una chica explicó: "No presto mucha atención a la alta tecnología". Lleva dos años marcando y ya es una empleada senior. Recientemente fue ascendida a inspectora de calidad. Para ella, el trabajo de anotación es sencillo y estable, sin “fricciones mentales” y ocasionalmente puede pescar. En este año en el que la IA ha revolucionado el mundo de la tecnología, su vida ha sido tan tranquila como el agua.
Uno de los pocos cambios es la incorporación de un bot conversacional a las herramientas de anotación proporcionadas por la empresa. La empresa les dice a todos que si encuentran alguna pregunta que no comprenden durante la anotación, simplemente pregúntenle al robot directamente para ahorrar tiempo. La eficiencia ha mejorado rápidamente. Le dijo a 36 Krypton que antes podía procesar hasta quinientas o seiscientas cajas por día, pero que ahora puede procesar más de setecientas.
"Gracias al robot", dijo. Nadie le dijo todavía que se llamaba ChatGPT.
(A petición del entrevistado, algunos de los personajes del artículo tienen seudónimos. La autora de 36Kr, Anita Deng, también contribuyó al artículo).
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Anotadores de datos, atrapados en modelos grandes
Texto original: 36氪
Xiaoyan, que trabaja como anotador de datos en una importante empresa de Internet, a menudo se siente aislado en la empresa.
La estación de trabajo de Xiaoyan está al lado de la de los gerentes de producto y programadores, quienes pueden disfrutar de los mismos beneficios: la misma insignia de trabajo, computadoras Apple, pueden ir al gimnasio o ir a la cápsula espacial a dormir en cualquier momento.
Pero Xiaoyan puede darse cuenta de que, como anotadora de datos, ella y otros colegas pertenecen a "dos mundos".
Aunque somos un equipo, nadie llamará al anotador en la reunión de la mañana todos los días, por lo que Xiaoyan solo puede mirar en secreto afuera de la puerta. Una vez, alguien trajo un carrito con lámparas de escritorio, que era un prototipo del producto de IA en el que estaba trabajando el equipo, los programadores se reunieron alrededor de él, muy emocionados, y lo tomaron en sus manos para jugar. Los anotadores se sentaron en sus estaciones de trabajo y se dedicaron a sus propios asuntos sin ningún incidente. "No saben que el producto se fabrica basándose en los datos etiquetados".
Cuando Xiaoyan se unió a la empresa, ésta estaba desarrollando un producto educativo de IA, que requería etiquetar una gran cantidad de datos para entrenar la IA. La empresa compró una montaña de libros de preguntas de estudio para escuelas primarias y secundarias. El trabajo de Xiaoyan consistía en tomar fotografías de cada pregunta, luego dibujar cuadros y marcar estas preguntas en la computadora.
Al trabajar también para la IA, los programadores son claramente conscientes del valor de su trabajo y disfrutan del placer que brinda el avance continuo de los algoritmos, pero pocos anotadores sienten que es su propio trabajo el que crea la IA.
El progreso de la inteligencia artificial es inseparable de la anotación de datos. El desarrollo de la conducción autónoma en los últimos años ha impulsado el mercado de la anotación de datos. Según un informe de Deloitte, la demanda de etiquetado en el campo de la conducción autónoma representará el 38% de todas las aplicaciones posteriores de IA en 2022, y se espera que la proporción aumente al 52% para 2027.
El auge de los modelos grandes este año ha añadido combustible a la industria de la anotación de datos. Una gran cantidad de pedidos basados en escenarios de entrenamiento de modelos grandes están volando hacia las empresas de anotación de datos. Parece que el aburrido negocio de la anotación de datos ha vuelto a recibir vitalidad. .
Algunas empresas de tecnología están más avanzadas y están intentando utilizar la IA para sintetizar automáticamente datos para el entrenamiento de IA. Los datos sintéticos se basan en una pequeña cantidad de datos reales, generados infinitamente por IA y no requieren etiquetado, en lugar de depender del etiquetado manual. En el campo de la conducción autónoma, los datos sintéticos pueden cubrir algunas condiciones extremas de la carretera, como peatones que irrumpen repentinamente en la carretera.
En su imaginación, los datos sintéticos reemplazarán la anotación manual en el futuro. Se eliminará gradualmente el etiquetado de empresas que no tienen tecnología y dependen únicamente de mano de obra. Un dato muestra que el 70% de los datos básicos utilizados para la inteligencia artificial en el extranjero son datos sintéticos, y este camino se está verificando.
Lo anterior no es una buena noticia para la gran cantidad de anotadores de datos. Sin embargo, algunos anotadores contactados por 36Kr aún no saben qué es ChatGPT y reaccionaron como si hubieran escuchado el término por primera vez.
Xiaoyan dijo que el etiquetador es una cola que se puede cortar en cualquier momento. El único suspenso es cuando el cuchillo caerá por completo.
Los anotadores que entrenan máquinas se sienten más como máquinas
Xiaohe se especializó en inglés y realizó una pasantía en una gran fábrica durante su último año. En su primer día de trabajo, la oficina estaba en un edificio de oficinas, era espaciosa y limpia, completamente en línea con su imaginación de una empresa de Internet. No pasó mucho tiempo antes de que se diera cuenta de que el contenido del trabajo que aprendió durante la entrevista - "organizar y clasificar los datos de voz de la empresa" - era en realidad anotaciones de datos.
Más tarde, Xiaohe admitió que si hubiera sabido que era el comienzo de trabajar para AI, se habría ido de inmediato.
Hay 6 pasantes en el grupo, todos ellos estudiantes del departamento de lenguas extranjeras de una prestigiosa universidad. Una jefa de equipo asigna tareas todos los días. A veces es un montón de símbolos fonéticos en inglés, y la tarea de Xiaohe es distinguir la pronunciación británica de la estadounidense; a veces es un Excel, haz clic en él y verás datos en todas partes. Si te desplazas hacia abajo, hay más de 10,000 elementos. .
"Se siente como escalar una montaña", dijo Xiaohe.
El “proyecto” que más he hecho es la anotación oral para estudiantes de secundaria. Los anotadores están acostumbrados a hablar del trabajo como proyectos, un proyecto tras otro. Xiaohe escucha 200 grabaciones con acentos fuertes al día, cada una de las cuales dura dos minutos. Si escucha una pregunta general, puntúe 1; si escucha una pregunta especial, puntúe 2; si no escucha ninguna de las dos, puntúe 0. Para evitar fugas, solo podía usar auriculares con cable en la oficina, a Xiaohe le dolían los oídos y se sentía "involuntariamente irritable".
A menudo escucha malas palabras utilizadas en las grabaciones. Algunos niños no dicen algunas palabras antes de empezar a maldecir. En otra ocasión, durante un proyecto de navegación de mapas, alguien no pudo evitar maldecir en la grabación. "No sé por qué alguien estaría tan enojado".
Xiaohe dijo que no puedes tomártelo demasiado en serio, solo puedes marcar esta grabación como "sin sentido", luego pasar la página y continuar escuchando la siguiente.
**"Como una máquina", casi todos los anotadores se describirían a sí mismos de esta manera. ** La anotación es una obviedad. Un anotador de Shandong dijo que el proyecto más difícil que jamás haya realizado es la anotación de huellas dactilares. Obtuvo un montón de huellas dactilares de alguien que no conocía (algunas de ellas todavía estaban borrosas) y necesitaba pasar el marco a lo largo de los bordes de las huellas dactilares poco a poco. "Después de llegar a casa ese día, pude ver huellas dactilares en todos mis ojos cuando los cerré".
Muchos proyectos requieren que los anotadores mantengan una estricta confidencialidad, pero a los anotadores no les importa para qué sirve el proyecto. Durante el trabajo, los grafiteros deben entregar sus teléfonos móviles y colocarlos en una bolsa colgada en la pared. Sólo podrán recuperar sus teléfonos si reciben una llamada.
La mayoría de los anotadores han experimentado el proceso desde la falta de familiaridad hasta la competencia, desde la novedad hasta el aburrimiento. La etapa inicial del proyecto fue la más interesante, en ese momento las reglas de etiquetado aún no estaban completas, a menudo encontraban áreas controvertidas y discutían o incluso discutían entre ellos, y el ambiente era animado. En las etapas intermedia y tardía, las reglas casi están finalizadas y solo queda el trabajo mecánico y repetitivo, y la gente caerá en una sensación de falta de sentido.
**Un comentarista dijo que era un "trabajo sin sentido". **
Jia Wenjuan, profesora de la Universidad de Shanghai, ha realizado una investigación de campo sobre la anotación de datos y cree que la anotación de datos no es trabajo mental o físico, sino trabajo cognitivo: "Lo que la gente vende es su propia cognición". El humor negro es que queremos que las máquinas se parezcan más a los humanos, pero al mismo tiempo hacemos que los humanos se parezcan más a las máquinas. En otras palabras, deja de lado el sentido común y piensa como un robot. **
Y una vez que el anotador empieza a pensar "¿Por qué debería hacer esto?", significa que no está lejos de dimitir.
Zheng Wei, el jefe de una empresa de anotación de datos, dijo sin rodeos que no puede retener a la gente. En el mejor de los casos, la empresa tiene menos de 20 personas. Los nuevos empleados suelen durar solo medio mes, muchas personas vienen a trabajar el primer día y se van al día siguiente. No tuvo más remedio que seguir reduciendo sus requisitos de contratación y al final sintió que "no estoy seleccionando personas, sino que otros me están seleccionando a mí".
No sabía cómo retener a los que se iban: "Las cosas mejorarán cada vez más si se quedan aquí. En realidad, yo mismo no lo creo", dijo el comisionado Zheng a 36 Krypton. El desgaste de los empleados finalmente abrumó a la empresa y, cuando solo quedaban dos anotadores, decidió disolver el equipo. No mucho después, ChatGPT desató una nueva ola de IA.
El auge de los modelos grandes es bueno para la anotación de datos, pero también intensifica la involución del equipo de anotación **. **
En cuanto a la aceptación de trabajos, Xiaodai afirmó que entre el 80 y el 90% de los proyectos de marcado en el mercado tienen ahora precios unitarios muy bajos, "porque hay demasiados subcontratistas en el medio" y "todos quieren obtener ganancias con el precio". diferencia y no quiero realmente hacer el trabajo". Trabajó como anotador en una plataforma de crowdsourcing durante dos años y este año comenzó su propio negocio para formar su propio equipo de anotaciones.
La anotación de datos no es muy rentable. Tomando como ejemplo el dibujo del marco 2D de la conducción autónoma, el precio de envío del pedido de una gran empresa es de 10 centavos y el equipo de etiquetado que se hace cargo del trabajo cuesta 8 centavos cada uno. "Ahora se ha reducido a 5 o 6 puntos", dijo Xiaodai. Calculó una cuenta y si era inferior a 8 puntos, solo podía perder dinero.
Para sobrevivir, Xiao Dai pasa la mayor parte de su tiempo buscando proyectos y pasando el rato en varias plataformas y bares de publicaciones. Los proyectos son genuinos y falsos, y la mayoría no son confiables. El agente ha sufrido pérdidas. Hay un proyecto donde el dinero no ha llegado después de 8 meses de espera.
Más tarde, primero trabajó como anotador a tiempo parcial, y solo después de que no hubo ningún problema con la licitación de prueba y el acuerdo, dejó que el equipo se hiciera cargo del trabajo. Una vez escuché que la plataforma lanzaría un lote de proyectos a las 3 en punto en medio de la noche, así que activó una alarma con anticipación para recibir pedidos.
**La pérdida de personal, los bajos precios unitarios y los cobros inestables son como tumores que arrastran a la mayoría de las pequeñas empresas de esta industria. **
No hay anotador que no desprecie este trabajo: no pueden ganar dinero, no ven espacios de promoción ni oportunidades de desarrollo, y caen en un largo período de depresión y pérdida.
Mientras escribía este artículo, la mayoría de los anotadores contactados por 36Kr dimitieron. Una niña dijo que había estado trabajando durante dos meses y que su salario era inferior a 3.000 yuanes.
Anotadores internos: Tasa de licenciatura 100%
En el pasado, el umbral para la anotación de datos era bajo. En Shandong, Shanxi, Henan, Guizhou y otros lugares, muchas empresas de anotación de datos han contratado una gran cantidad de mano de obra barata. Los más comunes incluyen madres, personas discapacitadas y estudiantes de escuelas vocacionales, que siempre que dominen las operaciones básicas de las computadoras pueden ingresar a esta industria.
En la era de los grandes modelos, se está produciendo silenciosamente entre los candidatos una mezcla y eliminación de la anotación de datos.
Los investigadores descubrieron que la calidad de los datos de entrenamiento tiene un impacto muy grande en el rendimiento del modelo. En comparación con la cantidad de datos, con mayor calidad de datos, el efecto de mejora del modelo es más obvio. Para controlar la calidad de los datos, algunas empresas de IA han formado sus propios equipos de etiquetado. El primer paso es elevar el umbral de entrada a la industria.
Lo más obvio es que las calificaciones académicas de los anotadores están empezando a mejorar.
En abril de este año, un fabricante líder de modelos a gran escala estableció una base de anotaciones de datos y el primer grupo de anotadores reclutados ** tenía una tasa de licenciatura del 100%. **El responsable de la empresa explicó que los datos de modelos grandes implican una amplia gama de conocimientos y criterios de evaluación complejos, lo que pone a prueba en gran medida la comprensión del lenguaje y las capacidades de razonamiento lógico del anotador.
Xiao Wang acababa de graduarse de la universidad y cuando regresó a su ciudad natal para buscar trabajo, accidentalmente se encontró con el reclutamiento de esta base de etiquetado de datos. Entonces participó en la entrevista y aprobó con éxito. La base le envió un material de formación de 300.000 palabras y sólo pasando el examen de formación podrá asumir oficialmente el cargo.
Los anotadores trabajan en preguntas todos los días. A los recién llegados se les hacen 40 preguntas al día, mientras que a los trabajadores experimentados se les hacen entre 70 y 80 preguntas. El sistema backend distribuye preguntas a todos, la mayoría de las cuales son registros de conversaciones entre usuarios reales y modelos grandes. Las preguntas de los usuarios llegan de todo el mundo y son aún más extrañas: ¿Cuál de estos tres móviles es mejor? ¿Qué huevos son mejores o gashapon? ¿Cuáles son los criterios para las personas exitosas? ¿Por qué Lin Daiyu luchó contra el Demonio de Hueso?
Un modelo grande tendrá muchas respuestas, y el trabajo de Xiao Wang es leer cada respuesta, seleccionar errores y calificarlos uno por uno según la calidad. 5 puntos es una puntuación perfecta, 1 punto es la más baja y las respuestas por debajo de 3 puntos. deben dividirse en tipos de error. Si la respuesta no es la pregunta, se otorgará directamente la puntuación más baja. Si se encuentra una pregunta delicada, no se otorgará ninguna puntuación y se juzgará como "otra".
Clasificación, puntuación y evaluación, estos pasos de anotación un poco complicados son exactamente lo que se llama RLHF (Aprendizaje por refuerzo a partir de la retroalimentación humana, es decir, aprendizaje por refuerzo a partir de la retroalimentación humana). El propósito es alinear continuamente modelos grandes con valores y métodos humanos. del pensamiento Más utilizable. OpenAI utilizó RLHF en el proceso de entrenamiento de ChatGPT y logró resultados notables.
En comparación con el etiquetado de datos anterior, las reglas de etiquetado para modelos grandes son más subjetivas. Cuando un ingeniero de algoritmos entrevista a un anotador, le hará esta pregunta a la otra persona: "Si fuera un líder empresarial y se enfrentara a cuatro tipos de empleados: Sun Wukong, Zhu Bajie, Tang Monk y Sha Seng, ¿a quién preferiría?". ¿contratar?"
No existe una respuesta estándar, afirmó. **Este tipo de pregunta sirve para comprobar si el anotador tiene capacidad de pensamiento lógico. **
La demanda de talentos por parte de la industria se ha vuelto urgente. Una empresa de nueva creación llamada Kaiwang Data está cooperando con universidades para formar a un gran número de estudiantes universitarios anotadores. El director ejecutivo, Yu Xu, dijo que la compañía construyó la "Academia de Datos Kaywang" el año pasado y ha capacitado a más de 1.500 estudiantes en 50 escuelas para participar en la anotación de datos.
Cuando Xiao Wang califica las respuestas del gran modelo, a menudo necesita verificar un poco los hechos y la carga de trabajo depende completamente de la suerte. Una vez me encontré con una pregunta: ¿Cuál es mejor, el BMW Serie 3 o el Mercedes-Benz Serie C? El modelo grande enumera 40 parámetros de los dos automóviles respectivamente, y Xiao Wang debe verificar cada parámetro. Esa pregunta le llevó media hora.
Después de realizar anotaciones durante un tiempo, Xiao Wang descubrió que su puntuación rara vez superaba los 3 puntos: "Las respuestas de la IA no son suficientes para hacerme sentir muy satisfecho o sobresaliente". Recordó que una pregunta era: "Si el auricular Bluetooth está roto, ¿debería ir al dentista o al fabricante del auricular?" Obviamente era una pregunta de pesca, pero la respuesta de la IA hizo que sus ojos se iluminaran. "Decía que fuera al dentista para reparación, no al hospital."
Xiao Wang está satisfecho con este trabajo. Su salario básico mensual es de 1.800 yuanes, una bonificación por asistencia perfecta de 200 yuanes y un subsidio de vivienda de 200 yuanes. Teniendo en cuenta el rendimiento, puede ganar 4.000 yuanes al mes. Dijo que se considera que los ingresos están por encima del promedio en el área local. También se recogió el pelo y los dos se sentaron en estaciones de trabajo adyacentes.
Había alrededor de 20 estudiantes universitarios que estaban entrenando al mismo tiempo que Xiao Wang. En dos días, casi todos se habían ido y solo quedaban dos o tres personas.
Pero no tenemos que preocuparnos por la empresa, aquí nunca faltarán estudiantes universitarios. Un CTO reveló la verdad a 36Kr: vaya y eche un vistazo a la situación laboral actual de los estudiantes universitarios.
Lo que más quiero eliminar es la anotación humana, no la IA
Hay que admitir que hay muchos informes sobre la anotación de datos. El consenso de la gente incluye que este trabajo es la “cadena de montaje de Internet”, lo cual es difícil de hacer durante mucho tiempo, y que la anotación manual eventualmente será reemplazada por la IA.
El mes pasado, pasamos mucho tiempo comunicándonos con ingenieros de algoritmos y empresas de inteligencia artificial. Aunque el consenso anterior no se ha actualizado, se puede sentir vagamente que lo que más quiere eliminar el trabajo humano puede no ser la IA. Antes de que la IA pueda realmente actuar, aquellos que dominan la tecnología más avanzada ya han levantado sus guadañas.
En el mundo de la tecnología, no se puede subestimar la importancia de los datos. El ingeniero de algoritmos Xiao Duan dijo que si una empresa de inteligencia artificial no tiene datos etiquetados, no importa qué tan bueno sea el algoritmo que escriban, estará hecho pedazos. Cuantos más datos etiquetados, mejor. Recolectar toda la lana de los grafiteros es un negocio con ganancias seguras.
A veces, el algoritmo puede terminar en una hora los datos que los anotadores tardaron cuatro o cinco días en completar. Xiao Duan trabaja para una importante empresa de Internet, el departamento tiene un presupuesto suficiente y varios anotadores a tiempo completo. "Intentamos no dejar inactivos a los anotadores. Los dirigentes leerán el informe semanal. Si consideran que no hay muchas tareas, les asignaremos más tareas".
Un comentarista le dijo a 36Kr que, aunque los programadores que trabajan con él dicen que todo tipo de trabajo tiene valor, sin darse cuenta revelan un rastro de desprecio. "Por supuesto, este grupo de personas está orientado a la tecnología", se consoló el anotador.
La tecnología avanza mucho más rápido de lo que todos esperaban. En la era de los modelos grandes, la calidad de los datos afectará directamente el rendimiento del modelo. **Al comprender esto, algunas empresas de inteligencia artificial se despidieron de los subcontratistas de anotaciones de datos sin dudarlo.
"La calidad de los datos que obtuvimos era tan pobre que básicamente eran inútiles", dijo el director de tecnología de una empresa de inteligencia artificial. Su negocio principal son los videos generados por IA y han desarrollado un modelo de desarrollo propio que puede generar cantidades ilimitadas de videos de productos de comercio electrónico. Para entrenar el modelo, reclutaron especialmente a 50 estudiantes universitarios para realizar anotaciones de datos.
También es difícil para los estudiantes universitarios confiar en campos profesionales como la atención médica, las finanzas y la informática. Además de crear su propia base de etiquetado, una importante empresa nacional de Internet también paga a profesionales para que etiqueten. Aunque la proporción de profesionales en la industria de la anotación es todavía pequeña, su papel es bastante obvio. Por ejemplo, resulta más tranquilizador dejar una pregunta sobre la suspensión de los pagos de la seguridad social a profesionales que estén familiarizados con los documentos gubernamentales.
Un secreto a voces es que mucho antes de que ChatGPT se hiciera popular, OpenAI organizó a más de una docena de estudiantes de doctorado para "calificar". En ocho años, OpenAI gastó mil millones de dólares solo en entrenar el modelo.
En mayo de este año, una empresa de datos estadounidense comenzó a contratar profesionales en campos específicos. La remuneración de estos anotadores de alto nivel ya no es una ganga: por ejemplo, el salario por hora para etiquetar datos legales es de 45 dólares estadounidenses y el salario por hora para poesía es de 25 dólares estadounidenses.
Sin embargo, a los ojos de algunas empresas de inteligencia artificial, ya sean trabajadores manuales o administrativos, quieren ahorrar costos. Al comunicarse con estas empresas, 36 Krypton escuchaba con frecuencia una palabra: reducir costos y aumentar la eficiencia.
El método más común es utilizar IA para anotaciones automatizadas. Una empresa de datos afirmó que la proporción de anotaciones automatizadas ha alcanzado más del 70%.
El ingeniero de algoritmos Xiao Li y sus colegas están haciendo intentos más innovadores: ** Siempre que se utilice una pequeña parte de los datos reales como modelo, mediante tecnología de inteligencia artificial generativa y una serie de algoritmos, se pueden obtener datos de entrenamiento de alta calidad. sintetizado. En otras palabras, no se necesita a nadie en absoluto. **
"El precio de nuestros datos sintéticos es un poco más barato que el de la anotación manual", dijo Xiao Li.
Actualmente, los datos sintéticos se utilizan principalmente en los campos de la conducción autónoma y la robótica. Xiao Li dijo que cuando salió ChatGPT, se dio cuenta de que los datos anotados podrían no funcionar y que al final se tendrían que utilizar datos sintéticos. El fundador de OpenAI, Sam Altman, también tiene una opinión similar: "Los datos sintéticos son la forma más eficaz de resolver la escasez de datos de modelos grandes".
La nueva empresa Light Wheel Intelligence produce principalmente datos sintéticos en los campos de la conducción autónoma y la robótica. "El resultado final del etiquetado automatizado es que no hay etiquetado", afirmó el director general Xie Chen. "La mayoría de las empresas de etiquetado no ven ese largo plazo".
Xie Chen mencionó a 36Kr que un colega del equipo había realizado previamente anotaciones automatizadas en un OEM y había conquistado la anotación 4D-BEV más compleja. Se trata de una herramienta de anotación líder en la industria que utiliza el tiempo como cuarta latitud para la anotación en el espacio 3D para mejorar el rendimiento de los sistemas de conducción autónoma. Este año decidió abandonar la anotación automatizada, tomó la iniciativa de encontrar a Xie Chen y finalmente se unió a Nimbus Intelligence.
Este colega es Xiao Li. Dijo que la aparición de la IA generativa alguna vez lo puso muy ansioso, pero después de ver datos sintéticos, se emocionó nuevamente.
Uno de sus objetivos laborales es "reemplazar (etiquetar) a las personas en esta industria", pero le da vergüenza decir con certeza: "Probablemente será en el corto plazo, tal vez uno o dos años".
Finalmente, volvamos al mundo de los anotadores. La ansiedad provocada por el rápido desarrollo de la tecnología es aquí casi invisible. Sólo hay molestias triviales y repetitivas y algunas fantasías ingenuas.
El estudiante universitario Xiao Wang todavía entrena modelos grandes en su ciudad natal. Cuando charlamos recientemente, dijo que este trabajo era una oportunidad para ingresar al campo de la inteligencia artificial. El camino de promoción que les marca la empresa va desde anotadores hasta inspectores de calidad, formadores, supervisores y finalmente directores de proyectos. El objetivo de Xiao Wang es convertirse en supervisor y luego cambiar de trabajo a un puesto más cercano a la IA. Qué es exactamente, aún no lo sabe.
En comparación con el ambicioso Xiao Wang, la mayoría de los anotadores tienen poco interés en la IA. Una chica explicó: "No presto mucha atención a la alta tecnología". Lleva dos años marcando y ya es una empleada senior. Recientemente fue ascendida a inspectora de calidad. Para ella, el trabajo de anotación es sencillo y estable, sin “fricciones mentales” y ocasionalmente puede pescar. En este año en el que la IA ha revolucionado el mundo de la tecnología, su vida ha sido tan tranquila como el agua.
Uno de los pocos cambios es la incorporación de un bot conversacional a las herramientas de anotación proporcionadas por la empresa. La empresa les dice a todos que si encuentran alguna pregunta que no comprenden durante la anotación, simplemente pregúntenle al robot directamente para ahorrar tiempo. La eficiencia ha mejorado rápidamente. Le dijo a 36 Krypton que antes podía procesar hasta quinientas o seiscientas cajas por día, pero que ahora puede procesar más de setecientas.
"Gracias al robot", dijo. Nadie le dijo todavía que se llamaba ChatGPT.
(A petición del entrevistado, algunos de los personajes del artículo tienen seudónimos. La autora de 36Kr, Anita Deng, también contribuyó al artículo).