¡GPT-4 fue expuesto como "estúpido"! Para reducir costos, ¿OpenAI se involucró en secreto en "pequeños movimientos"?

Organizar | Zheng Liyuan

Listado | CSDN (ID: CSDNnews)

"¿Cree que la calidad de GPT-4 ha disminuido recientemente?"

A mediados de mayo de este año, los usuarios de GPT-4 publicaron en el foro de desarrolladores en línea de OpenAI, diciendo que GPT-4 parecía estar "volviéndose estúpido":

"He estado usando ChatGPT por un tiempo y he sido usuario de GPT Plus desde el lanzamiento de GPT-4. Generalmente uso GPT-4 para ayudar con el análisis y la creación de contenido de formato largo. En el pasado, GPT-4 pareció funcionar bien, entendió mi solicitud. Pero ahora, parece perder el rastro de la información, me da mucha información incorrecta y malinterpreta mi solicitud cada vez más... Actualmente, GPT-4 se siente más como GPT -3.5.

¿Alguien más ha notado esto, o soy solo yo quien tropezó con este problema? "

Resultó que el usuario de GPT-4 no estaba solo: varios usuarios comentaron en el hilo: "¡Siento lo mismo!"

La problemática nueva versión de GPT-4

Según los comentarios de muchos usuarios, GPT-4 no solo ha disminuido en el análisis y la creación de contenido de formato largo, sino también en la calidad de la escritura.

Peter Yang, jefe de producto de Roblox, tuiteó que la salida del modelo GPT-4 es más rápida, pero la calidad se ha deteriorado: "Solo problemas simples, como hacer que la escritura sea más clara y concisa y brindar ideas... en mi opinión, la calidad de la escritura ha disminuido”.

La capacidad lógica de la última versión de GPT-4 disminuye significativamente cuando se analizan/evalúan problemas inversos complejos, diferentes tasas o patrones de cambio y variabilidad espacio-temporal.

"Antes de la actualización de GPT-4, rara vez recibía respuestas de error, pero ahora tengo que verificar todos los resultados (es decir, las condiciones negativas dobles ahora a veces no se convierten correctamente en condiciones positivas). Creo que estos errores son más similares a GPT: 3.5 en lugar del nivel de inferencia GPT-4 anterior".

Incluso en términos de capacidad de codificación, la calidad de salida de la nueva versión de GPT-4 no es tan buena como antes.

Un desarrollador que usa GPT-4 para escribir código funcional para un sitio web se quejó: "El GPT-4 actual es muy decepcionante. Es como conducir un Ferrari durante un mes y luego, de repente, se convierte en una vieja camioneta. No estoy seguro de querer seguir pagando por ello".

Otro desarrollador también mencionó que GPT-4 ahora reproduce el código: "Apesta totalmente, GPT-4 comienza a reproducir el código u otra información una y otra vez. Lo dejé escribir el código y escribió en un punto, de repente un "", ¡y luego comenzar de nuevo! Comparado con antes, ahora es un idiota".

Además, en los foros de desarrolladores en línea de Twitter y OpenAI, los usuarios continúan informando que la nueva versión de GPT-4 debilitó la lógica, generó muchas respuestas de error, no pudo rastrear la información proporcionada, no siguió las instrucciones y olvidó escribir. el código de software básico Poner paréntesis en , recordar solo los recordatorios más recientes y más.

Con respecto al rendimiento de la repentina "reducción de la inteligencia" de GPT-4, algunos usuarios especularon: "La versión actual se siente muy diferente de la versión cuando se acaba de lanzar. ¡Supongo que OpenAI decidió comprometer la calidad para adaptarse a más clientes!"

Desde este punto de vista, la evaluación de GPT-4 por parte de los usuarios de hoy no es tan buena como el período pico de "evaluación del viento" cuando debutó por primera vez.

GPT-4 es más rápido, pero también "estúpido"

A fines del año pasado, nació ChatGPT basado en GPT-3.5, y su excelente capacidad de generación desencadenó un auge AIGC. Por lo tanto, cuando OpenAI anunció GPT-4, que es más potente que GPT-3.5, en marzo de este año, el mundo entero estaba asombrado.

En ese momento, GPT-4 se denominó "el modelo de IA más poderoso de la historia", especialmente por su multimodalidad, lo que significa que puede comprender tanto imágenes como entrada de texto, por lo que rápidamente se convirtió en una herramienta popular para desarrolladores y otras industrias tecnológicas. El modelo de elección para los profesionales también ha producido más elogios para GPT-4: generar un sitio web en 10 segundos, aprobar la prueba de derecho estadounidense más difícil y aprobar la prueba de matemáticas de pregrado del MIT con la máxima puntuación...

Sin embargo, cuando las personas se sorprenden con el poder de GPT-4, muchas personas también se sorprenden por su costo y velocidad de respuesta. "GPT-4 es lento, pero muy preciso", dijo Sharon Zhou, directora ejecutiva de Lamini, una startup que ayuda a los desarrolladores a crear modelos de lenguaje personalizados a gran escala.

Hasta mayo, GPT-4 siguió siendo "lento y costoso pero preciso"; más tarde, GPT-4 respondió más rápido y, al mismo tiempo, los usuarios cuestionaron la degradación de su rendimiento.

Para este fenómeno, varios expertos en IA, incluida Sharon Zhou, creen que OpenAI puede estar creando varios modelos GPT-4 más pequeños que funcionan de manera similar a los modelos más grandes pero que son menos costosos de ejecutar.

Los expertos especulan: puede estar relacionado con la tecnología MoE

Según la introducción de Sharon Zhou, este método se llama Mixture-of-Experts (MoE), es decir, un sistema experto mixto. La tecnología MoE es una tecnología de aprendizaje integrada desarrollada en el campo de las redes neuronales, y también es una tecnología clave para entrenar modelos con billones de parámetros. Debido al aumento del tamaño del modelo en esta etapa, la sobrecarga de entrenamiento también está aumentando, y MoE La tecnología puede activar dinámicamente parte de la red neuronal, lo que aumenta en gran medida la cantidad de parámetros del modelo sin aumentar la cantidad de cálculo.

Específicamente, MoE descompone la tarea de modelado predictivo en varias subtareas, entrena a un modelo experto (Modelo experto) en cada subtarea y desarrolla un modelo de activación (Modelo de activación), que se puede predecir de acuerdo con la entrada Venga a aprender en qué expertos confiar y combinar los resultados de las previsiones.

Entonces, ¿cuál es la situación cuando se hace referencia a la tecnología MoE con GPT-4? Sharon Zhou explicó que en GPT-4, estos pequeños modelos expertos serán capacitados para diferentes tareas y áreas temáticas. Por ejemplo, puede haber pequeños modelos expertos GPT-4 para biología, física, química, etc. 4 Cuando se hace una pregunta , el nuevo sistema sabe a qué modelo experto enviar la pregunta. Además, por si acaso, el nuevo sistema podría enviar consultas a dos o más modelos expertos y luego combinar los resultados.

Para este enfoque, Sharon Zhou lo describió como "El barco de Teseo" (una paradoja sobre el reemplazo de identidad, asumiendo que los elementos constitutivos de un objeto se reemplazan, pero ¿sigue siendo el objeto original?), es decir, con el paso del tiempo, OpenAI reemplazará partes de GPT-4: "OpenAI está convirtiendo GPT-4 en una pequeña flota".

Sobre la base de la especulación anterior, Sharon Zhou cree que es probable que los recientes comentarios "estúpidos" de GPT-4 estén relacionados con el método de capacitación del Ministerio de Educación: "Cuando los usuarios prueben GPT-4, haremos muchas preguntas diferentes y la escala es pequeña. El modelo experto GPT-4 no lo hará bien, pero está recopilando nuestros datos, y está mejorando y aprendiendo".

**¿Arquitectura GPT-4 expuesta? **

Varios expertos en inteligencia artificial también publicaron los llamados "detalles de la arquitectura GPT-4" esta semana en medio de los crecientes comentarios de los usuarios sobre la "tontería" de GPT-4.

Entre ellos, un bloguero de Twitter llamado Yam Peleg dijo que GPT-4 tiene alrededor de 1,8 billones de parámetros, abarca 120 capas, es más de 10 veces más grande que GPT-3 y está entrenado en tokens de 13 T. El entrenamiento costó alrededor de $ 63 millones. .. Vale la pena mencionar que Yam Peleg también dijo que OpenAI está utilizando MoE, que consiste en reducir el costo de operación de GPT-4 mediante el uso de 16 modelos expertos mixtos.

A partir de ahora, OpenAI no ha respondido a esta declaración. Pero Oren Etzioni, el CEO fundador del Instituto Allen de Inteligencia Artificial, dijo a los medios: "Aunque no me han confirmado, creo que estas especulaciones deberían ser más o menos correctas".

Explicó que generalmente hay dos razones para usar el método MOE: o desea generar una mejor respuesta o desea una respuesta más económica y rápida.

"Idealmente, MOE le permitirá obtener ambas ventajas al mismo tiempo, pero en realidad, por lo general, debe hacer una compensación entre costo y calidad". Basado en esto, Oren Etzioni cree que, combinado con la situación actual, OpenAI parece reducir GPT -4 a costa de sacrificar algo de calidad.

Entonces, ¿cuál es su opinión sobre este asunto?

Link de referencia:

Ver originales
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Recompensa
  • Comentar
  • Compartir
Comentar
0/400
Sin comentarios
  • Anclado
Opere con criptomonedas en cualquier momento y lugar
qrCode
Escanee para descargar la aplicación Gate
Comunidad
Español
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)