Profesor de Fudan Xiao Yanghua: el intérprete de código ChatGPT es un logro histórico

Fuente: El Papel

Reportero Shao Wen

Después de que se lance la versión beta del intérprete de código ChatGPT, los usuarios pueden usar el lenguaje natural para dar instrucciones a ChatGPT para completar tareas de programación complejas, incluso si no son programadores. Esto puede tener dos impactos importantes: eliminar la brecha del idioma y remodelar la industria.

Habrá dos tendencias en la iteración rápida de modelos grandes en el futuro: primero, ChatGPT definitivamente aprenderá de datos más diversos y de mayor escala, y al mismo tiempo combinará más datos profesionales en el dominio privado para llevar a cabo un aprendizaje más amplio; En segundo lugar, aumentará el grado de análisis de datos, lo que puede considerarse un aprendizaje más profundo hasta cierto punto.

Fuente de la imagen: generada por la herramienta de IA ilimitada

La versión beta del intérprete de código de ChatGPT está oficialmente abierta a todos los usuarios de ChatGPT Plus. Puede usar el lenguaje natural humano como instrucciones para conducir modelos grandes para completar operaciones matemáticas, análisis de datos, dibujo gráfico profesional e incluso generar videos y analizar el mercado de valores.

"La capacidad ChatGPT de OpenAI se ha actualizado nuevamente. Ha completado la actualización de una herramienta a un asistente, y esta vez se ha actualizado de un asistente ordinario a un asistente profesional". El 12 de julio, Xiao Yanghua, profesor de la Universidad de Fudan y director del Shanghai Key Laboratory of Data Science Pengpai Technology (hablando sobre el reciente lanzamiento de gran éxito de OpenAI: el intérprete de código ChatGPT (intérprete de código).

El 9 de julio, hora de Beijing, se abrió oficialmente la versión beta del intérprete de código ChatGPT para todos los usuarios de ChatGPT Plus. Puede usar el lenguaje natural humano como instrucciones para conducir modelos grandes para completar operaciones matemáticas, análisis de datos, dibujo gráfico profesional e incluso generar videos, Analizar el mercado de valores.

Es decir, aunque los usuarios no sean programadores, pueden dar instrucciones a ChatGPT en lenguaje natural para realizar tareas de programación complejas. Esto es evaluado por el mundo exterior como "la función más poderosa de GPT-4".

"Usando una metáfora inapropiada", dijo Xiao Yanghua: "Se puede ver que OpenAI debería estar 'planificado durante mucho tiempo'. Han estado trabajando arduamente para mejorar las capacidades de interacción multimodal de los modelos grandes". La interacción multimodal está impulsada por lenguaje natural Capacidades para tareas multimodales como imágenes, diagramas especializados, etc.

¿Qué significa ser un ayudante tan profesional? "Significa que ChatGPT es capaz de completar incluso una gran cantidad de trabajo altamente profesional. Se puede decir que puede ser competente para el trabajo de estudiantes universitarios con carreras relacionadas en universidades, como las carreras de ciencia de datos", dijo Xiao Yanghua.

"La capacidad de analizar datos determina la capacidad que el modelo grande puede obtener en el futuro"

En cuanto a por qué ChatGPT eligió actualizarse en esta área, Xiao Yanghua cree que esto se debe al análisis profundo y al aprendizaje de los datos.Dichos datos existen ampliamente, y la mayoría de los documentos incluyen esencialmente análisis de datos profesionales de varias disciplinas. Las versiones anteriores de GPT se enfocaban principalmente en el uso efectivo de datos de texto, pero el uso de gráficos, cuadrículas y su correspondencia con el texto en estos datos es relativamente extenso y simple. Esta actualización en realidad se benefició del análisis en profundidad de la literatura profesional y otros datos, y del establecimiento de la relación correspondiente entre el texto, los gráficos y las fórmulas, lo que permitió a GPT adquirir la capacidad de generar gráficos y tablas a través de la interacción del lenguaje natural.

A partir de tal descubrimiento, Xiao Yanghua obtuvo una revelación en la investigación y el desarrollo de tecnología: "Es probable que este tipo de capacidad de análisis en profundidad para el corpus sea uno de los factores centrales que determinan la capacidad de los modelos grandes. El desarrollo de modelos grandes no no importa cuántos datos No demasiados".

Para ChatGPT, Xiao Yanghua cree que la dirección de los esfuerzos de OpenAI ha sido buscar más datos de alta calidad y analizar en profundidad los datos existentes, para hacer que sus capacidades sean cada vez más poderosas. Por lo tanto, la obtención de datos a gran escala, de alta calidad y diversos, y el análisis en profundidad de estos datos puede ser una de las ideas importantes para promover el desarrollo de modelos grandes. "

"Limpiando la brecha lingüística"

Mirando la actualización de la capacidad de ChatGPT en general, Xiao Yanghua cree que hay dos posibles impactos dignos de atención: primero, "eliminar la brecha del idioma"; segundo, remodelar la forma industrial.

¿Qué es la brecha lingüística? Desde la invención de las computadoras, los seres humanos esperan dejar que las computadoras completen varias tareas establecidas de acuerdo con sus propios deseos, lo que requiere que los profesionales expresen intenciones y emitan instrucciones a través de lenguaje no natural o lenguaje formal, como el lenguaje ensamblador temprano, y luego C ++ alto. -lenguaje de programación de nivel, lenguaje de consulta estructurado como SQL, etc. El lenguaje de la comunicación humana y la comunicación es el lenguaje natural.

Según las leyendas occidentales, para evitar que los humanos construyeran la "Torre de Babel" que llega al cielo, Dios arruinó los lenguajes humanos, haciendo imposible que los humanos se comunicaran y entendieran a los demás. Xiao Yanghua cree que también existe una situación similar entre las máquinas y los humanos. Al menos, las máquinas no han podido comprender con precisión el lenguaje natural humano, por lo que, de hecho, los humanos han estado adaptando las máquinas y convirtiendo sus intenciones en varios lenguajes formales.

Sin embargo, las tareas que las computadoras necesitan para completar existen en miles de industrias.Xiao Yanghua dijo que esto significa que para completar diferentes tareas, los profesionales tienen que aprender diferentes idiomas, como idiomas específicos para el diseño de chips e idiomas para automatización de oficinas. Todos estos requieren una capacitación compleja para dominarlos, por lo que cada tarea profesional requiere un aprendizaje de idiomas complejo, lo que establece un umbral de idioma alto para que las personas se involucren en una industria determinada.

Pero ahora parece que Xiao Yanghua juzga: "Todos estos lenguajes formales son innecesarios y básicamente pueden ser reemplazados por lenguaje natural". Hasta cierto punto, se puede considerar que las máquinas "entienden" el lenguaje natural humano y al mismo tiempo entender Ha desarrollado varios lenguajes formales profesionales, que pueden convertir con precisión las intenciones humanas expresadas en varios lenguajes naturales en lenguajes formales correspondientes, como lenguajes de programación y lenguajes de diseño de chips.

Esto es para eliminar la brecha del idioma, y ya no hay una barrera para que las máquinas "entiendan" a los humanos. "Si la primera versión de ChatGPT eliminó la brecha de expresión del lenguaje natural entre el hombre y la máquina, esta función de ChatGPT con Code Interpreter eliminará la brecha de expresión del lenguaje profesional entre el hombre y la máquina". Xiao Yanghua cree que esto tendrá un impacto de gran alcance. El impacto es un logro histórico.

"Pronto, los modelos grandes serán gradualmente competentes para las habilidades de 'lenguaje' requeridas por los seres humanos para participar en un trabajo muy profesional, como el lenguaje matemático y el lenguaje físico, así como la capacidad de pensamiento y la capacidad de resolución de problemas correspondientes. Porque, en principio, esto es similar, el lenguaje matemático requerido por los matemáticos para llevar a cabo el trabajo de investigación es solo un lenguaje formal. Siempre que se puedan obtener los datos emparejados del lenguaje natural y el lenguaje profesional correspondiente, los modelos grandes tienen la oportunidad de aprender. Estos datos están ampliamente disponibles en En la tesis, el software profesional ampliamente utilizado, como MATLAB, también se puede usar para la síntesis de datos, aliviando aún más el problema de la escasez de datos en el aprendizaje de capacidades profesionales a gran escala ", dijo Xiao Yanghua.

**¿Todavía hay necesidad de puestos profesionales? **

Esto significa que en el futuro, la mayor parte del trabajo profesional que requiere un dominio de los idiomas profesionales se puede hacer bien, y el modelo grande puede completarlo bien. Esto también plantea una pregunta que vale la pena considerar en profundidad: Xiao Yanghua preguntó: ¿Todavía tenemos espacio para que se desarrollen los profesionales o es necesario su trabajo?

En opinión de Xiao Yanghua, con la mejora de la capacidad de los modelos grandes, todo el trabajo realizado con la ayuda del lenguaje se dividirá en tres pasos en el futuro: el primer paso es solicitar (), el segundo paso es generar y el tercer paso es evaluar.

"Obviamente, estos trabajos generados, ya sean profesionales o no profesionales, se pueden entregar al modelo grande. Pero los profesionales aún tienen su valor, como escribir palabras rápidas, cómo generar el profesionalismo requerido para la generación de gráficos de modelos grandes y cómo para evaluar y analizar la calidad de los resultados generados. Los seres humanos aún tienen sus ventajas en estos aspectos, o en el corto plazo, los modelos grandes aún necesitan una mejora mayor para ser competentes ", dijo Xiao Yanghua, por lo que esto remodelará la forma de la industria.

Además, la mayoría de las tareas relacionadas con la generación de contenido y el trabajo analítico se descompondrán en muchos pasos de subdivisión, entre los cuales los pasos de subdivisión repetitivos, rutinarios y generativos se transferirán gradualmente al modelo grande, y las tareas de subdivisión que realizan los modelos pequeños tradicionales. los buenos en se entregan a modelos pequeños, y las tareas de subdivisión que todavía son buenas para los humanos se entregan a los humanos. Xiao Yanghua cree que descomponer tareas complejas en múltiples pasos (descomposición) y luego completar los pasos en los que son buenos (reorganización) por modelos grandes, modelos pequeños y humanos es una tendencia básica.

Dos tendencias de iteración rápida de modelos grandes

En cuanto a si esta actualización representa el surgimiento de GPT-4.5, Xiao Yanghua cree que esta no es la clave, pero este problema ha atraído tanta atención, que en realidad refleja las preocupaciones de los seres humanos sobre la rápida iteración de modelos grandes, y en un en cierta medida refleja el posible impacto de todos en él preocupaciones sobre el impacto social. En su opinión, esta preocupación no es descabellada: "En el caso de su iteración rápida, al menos entendemos que su velocidad puede no ser capaz de mantenerse al día con su velocidad de iteración. Incluso tenemos que presionar activamente el botón de pausa para el desarrollo". de modelos grandes, piense detenidamente en lo que puede y no puede hacer”.

Para las dos tendencias de iteración rápida de modelos grandes, Xiao Yanghua cree que, en primer lugar, ChatGPT ahora se basa principalmente en el aprendizaje de datos públicos, y definitivamente aprenderá de datos más diversos y de mayor escala, al tiempo que combina la experiencia del dominio privado con datos más sólidos. En segundo lugar, aumentará el grado de análisis de datos, lo que se puede considerar que mejora la profundidad del aprendizaje hasta cierto punto. En otras palabras, hay dos dimensiones, una es aprender más y más extensamente, y la otra es aprender datos antiguos cada vez más especializados y más profundos.

"Esta es una idea muy importante en esta versión. De hecho, es muy probable que los datos sigan siendo los mismos, pero se aprenden más profundamente", continuó Xiao Yanghua, "si los modelos grandes en cada campo están fragmentados y no se puede integrar, entonces su capacidad aún puede estar dentro del rango controlable. Sin embargo, si ChatGPT tiene una gran capacidad de conocimiento general y combina continuamente varios datos de dominio privado para el aprendizaje, entonces su capacidad de actualización puede estar más allá de nuestras expectativas. Por lo tanto, la promoción de modelos grandes Es imperativo e inminente desarrollar en una dirección segura y controlable”.