Entrevista丨 No creas en grandes modelos, la innovación en esta etapa sigue siendo "interactiva"

Fuente de la imagen: Generada por Unbounded AI

**Fuente:**Revisión de tecnología de IA

Autor: Huang Nan; Editor: Chen Caixian

MOSS, que se considera un "rebelde" en "The Wandering Earth", es una vida digital hecha a medida para Tinder Project. Es muy inteligente y tiene la capacidad de superar la moral humana, la filosofía, la ciencia, el arte y otros conocimientos. Puede encontrar la solución óptima y tomar la decisión "más correcta" en el menor tiempo posible. Es una inteligencia perfecta.

Hoy en día, el gran modelo se utiliza para el cambio tecnológico y brinda una posibilidad casi absoluta para la implementación de "industria" y "campo" dentro de un rango limitado. En la nueva narrativa de comercialización de IA, las personas se unen activa o pasivamente al frenesí de medio de competencia de recursos.

Es un lujo mantener a los seres humanos cuerdos para siempre. Al igual que la civilización humana antes de MOSS, que experimentó una historia de destrucción y renacimiento, también necesitamos urgentemente volver a la racionalidad técnica desde el carnaval del aterrizaje de modelos a gran escala.

Hua Xiansheng, CTO de Terminus, que está en esta carrera armamentista, también dio su propio pensamiento tranquilo sobre el modelo grande y la respuesta para romper la situación.La siguiente es la transcripción de la conversación entre Hua Xiansheng y AI Technology Review, que es extraído por AI Technology Review de la siguiente manera:

1. Punto de vista 1: Los modelos grandes no son el final del surgimiento de la inteligencia

Solo un año después de la "emergencia inteligente" del modelo grande, el mundo físico y el método de producción de información han sufrido cambios revolucionarios, que se asignan a un espacio urbano más amplio e inevitablemente generarán una nueva ronda de innovación. En este sentido, Hua Xiansheng dijo sin rodeos al hablar de las revisiones de la tecnología de IA: "Aunque el modelo grande ha hecho un gran progreso, no seas supersticioso con el modelo grande, tiene sus limitaciones."

Según el recuerdo de Hua Xiansheng, después de que saliera ChatGPT el año pasado, le prestó mucha atención y lo probó por primera vez. Es innegable que sí es un gran avance. Por un lado, estoy sorprendido por la mejora sustancial en su capacidad, pero hablando francamente, también descubrí que no es tan poderoso como imaginábamos, no es lo suficientemente bueno.

"Cuando nació el aprendizaje profundo, todos pensaron que podía resolver todos los problemas. Podría usar un modelo lo suficientemente complejo y suficientes datos para construir modelos de varios problemas en el mundo real. Pero en el combate real, necesita profundizar en la industria. para realmente resolverlo. Problema. El gran modelo de hoy no ha cambiado esta regla, ** todavía necesita profundizar en el campo para comprender el proceso correspondiente, los datos, etc., para resolver los problemas de la industria. ** "Hua Xiansheng mencionado.

Hoy, en el campus súper inteligente de Terminus, los robots blandos se han convertido en existencias similares a MOSS en la era de los modelos a gran escala. Se esconde en las pantallas gigantes del parque y sabe todo sobre el parque. Puedes pedirle direcciones, obtener la información que necesitas y usarlo para realizar operaciones. Detrás de la coexistencia de humanos y máquinas está la alineación semántica de grandes modelos y hardware IoT para lograr un alto grado de inteligencia entre humanos, dispositivos IoT y ciudades.

Entonces, cuando AIoT se encuentre con el gran modelo, ¿con qué tipo de chispas chocará? Hua Xiansheng dio su pensamiento: AI es el alma de AIoT, e IoT es su percepción y control, como sus "manos y pies", y por supuesto también incluye la base física de su "cuerpo", es decir, recursos de potencia informática .

La aparición de LLM (Modelo de lenguaje grande) ha llevado las capacidades de IA un paso más cerca de un objetivo más general: primero, El modelo de lenguaje grande se puede usar directamente como interfaz interactiva del sistema AIoT. En segundo lugar, los datos de AIoT son intrínsecamente multimodales. Se espera que los grandes modelos multimodales resuelvan muchos problemas que deben resolverse a través de "reglas de IA +" en el pasado.

A los ojos de Hua Xiansheng, cuando se trata de modelos grandes de AIoT, hay dos rutas principales: la primera es actualizar lo que AI ha hecho en el pasado con un modelo grande y volver a hacerlo, que es lo que hace la mayoría de la gente; la primera es un modelo AIoT a gran escala en el verdadero sentido, donde los datos heterogéneos multimodales en AIoT se usan realmente** y se colocan en el modelo grande. "Sin embargo, este tipo de modelo AIoT real puede aparecer pronto en el futuro, o puede llevar mucho tiempo", dijo Hua Xiansheng.

En su opinión, el modelo grande utilizado en la industria de AIoT en esta etapa todavía se encuentra en la primera ruta técnica, es decir, el "pseudo" modelo grande de AIoT basado en lenguaje o lenguaje más visión.

Antes del surgimiento del "pseudo" modelo grande de AIoT, la conexión y la colaboración entre los dispositivos de AIoT se basaban completamente en las reglas predefinidas por expertos humanos. Estas reglas son fijas, incompletas y no autoevolutivas, y es posible que no se entiendan ni sigan directamente. por humanos instrucción. Pero con un modelo grande, podemos crear de forma automática y dinámica reglas de conexión y coordinación entre objetos de acuerdo con contextos muy diversos (cualquier estación, tiempo, personaje, instrucción, etc.), proporcionando una experiencia de escena inteligente adaptable, diversa, profunda e integrada. con instrucciones humanas.

Hua Xiansheng dijo en la entrevista: "No importa qué ruta, el modelo AIoT global más típico aún no ha aparecido. **"

2. Punto de vista 2: percepción estereoscópica, control preciso, liberando el poder prehistórico de los modelos grandes de AIoT

¿Qué capacidades debe tener un modelo AIoT real? Hua Xiansheng cree que existen dos diferencias principales entre AIoT y otras industrias. En primer lugar, hay una gran cantidad de datos heterogéneos. Una gran cantidad de sensores recopilan diversos datos, como el clima, la temperatura, la humedad, la electricidad y las precipitaciones, y la información es más rica. En segundo lugar, los dispositivos IoT no son solo dispositivos de detección, sino también controlar inversamente el medio ambiente. Dimensiones de percepción más ricas y poder de acción más fuerte es lo que debería tener el modelo AIoT.

Volviendo a la escena para potenciar el campo AIoT, es difícil lograrlo solo apoyándose en un modelo general con muchas limitaciones. Por tanto, el modelo grande de AIoT debe cumplir varias características:

Primero, profesionalismo. Debe ser profesional y ser capaz de resolver problemas más relacionados con el profesional en el campo. Los modelos grandes de hoy parecen poderosos, pero no tienen suficiente experiencia en el dominio para usarlos en el parque.

Segundo, confiabilidad. El modelo debe tener una buena comprensión de la escena que le interesa. Por un lado, debe comprender lo suficiente mediante la introducción de nuevos conocimientos; en segundo lugar, también necesita algunos métodos de restricción para que los resultados de salida sean altamente confiables, sin la "ilusión". de "tonterías graves".

En tercer lugar, el equilibrio entre rendimiento y costo. Desde la perspectiva de los costes de formación, una empresa de nueva creación normal no puede permitirse un modelo de propósito general particularmente grande; en segundo lugar, durante la inferencia, si el número de usuarios o visitas es demasiado grande, el servicio del modelo grande también fallará. Por lo tanto, un modelo simplificado es una buena opción. No necesitamos que sea un sabelotodo, siempre y cuando resuelva mis inquietudes y tenga algo de sentido común.

Cuarto, el ** sistema pasa **. Este gran modelo no solo tiene conocimiento, sino que también necesita estar profundamente acoplado con el sistema del parque para obtener información en tiempo real y puede contracontrolar el parque en tiempo real bajo la premisa de autorización.

Al referirse a la tecnología de inteligencia incorporada que ha llamado mucho la atención recientemente, Hua Xiansheng mencionó en la entrevista: El modelo grande de AIoT que propusimos es la encarnación de la tecnología de modelo grande existente. Los dispositivos AIoT son nuestros ojos y oídos, así como nuestras manos y pies. Actualmente, nos estamos enfocando más en la interacción y el enlace de escenas, y luego reemplazaremos la percepción y el control con modelos grandes. En particular, nuestros dispositivos y robots de super-IoT son en sí mismos manifestaciones de inteligencia incorporada, respaldados por capacidades del lado del servidor (IoT y maquetas) y capacidades del lado del robot (detección, planificación, actuación e interacción) perfectamente unidas, pero el robot de Terminus La inteligencia incorporada es la inteligencia incorporada de la "colaboración máquina-entorno", no solo la capacidad directa del propio robot.

3. Punto de vista 3: La dificultad de aterrizar, el desafío multimodal del modelo grande de AIoT

Con respecto a las dificultades en la implementación del modelo grande de AIoT, Hua Xiansheng cree que las dificultades incluyen principalmente varios aspectos.Además de cumplir con el profesionalismo, la confiabilidad, el equilibrio entre rendimiento y costo y la integración del sistema mencionados anteriormente, la implementación también requiere una implementación real. -Rendimiento en el tiempo Será mucho mayor, porque es un sistema AIoT que funciona realmente, además, su evolución en capacidades no es solo la actualización del modelo grande en sí, sino que también implica la acumulación de datos, iteración de memoria, etc. En general**, la mayor dificultad en la implementación de modelos grandes de AIoT radica en la multimodal**.

A la larga, es posible integrar datos de IoT en el modelo de AIoT de manera unificada, tal vez centrándose en texto/imágenes y alineando otros datos de IoT con el centro. Esto es lo que se necesita. Pero debido a la heterogeneidad y multimodalidad de los datos de AIoT, la integración y el uso efectivo de diferentes tipos de datos deben superar los desafíos de la representación y alineación de datos.

En primer lugar, en términos de representación de datos, ¿en qué forma se deben modelar varios datos de sensores, se debe usar texto de referencia como entrada de secuencia, se debe usar imagen de referencia como entrada de matriz o una nueva forma de modelado? En este sentido, tanto la academia como la industria aún no son concluyentes.

Además, en términos de alineación de datos, el modelo de lenguaje aprende del lenguaje y genera lenguaje, que es comprensible para los humanos.Sin embargo, en el campo AIoT, hay muchos datos sin etiquetas y anotaciones de información, y la mayoría de sus contextos no. no tiene una semántica explícita. , Es imposible hacer coincidir la semántica con los datos, lo que hace que los datos y la información generados por ellos sean incomprensibles. Necesita ser reprocesado para establecer la alineación semántica entre los datos de AIoT y el lenguaje natural para dar significado a estos datos.

4. Punto de vista 4: Los modelos grandes no son la única forma de lograr AGI, "modelo + sistema" es la solución correcta

Frente a las dificultades que enfrenta la IA en varios campos como AIoT, ¿cómo realizar AGI en el verdadero sentido? Hua Xiansheng cree que actualmente hay tres caminos posibles:

• El primer camino es la evolución y el progreso continuos del modelo grande, aumentando continuamente el tamaño del modelo, aumentando la cantidad de datos y la modalidad para generar un modelo súper grande para lograr AGI.
• El segundo camino es subvertir el conexionismo actual, estudiar nuevos marcos modelo para hacerlo más cercano al modo de trabajo del cerebro humano o el corazón humano, y tener poderosas capacidades de análisis, razonamiento, descubrimiento e innovación bajo la premisa de bajo consumo. consumo
• La tercera vía es el método de "modelo + sistema" propuesto por nosotros; a diferencia de la primera vía con un sistema modelo grande como núcleo, el sistema mencionado aquí es más extenso, incluyendo la fusión de grandes y pequeños modelos y Evolución incluye la fusión de modelos y reglas, la transformación mutua de reglas y modelos, etc. A través del método de fusión de sistemas y modelos, construiremos un cuerpo inteligente más complejo que pueda crecer continuamente.

Tomando el campo AIoT como ejemplo, Hua Xiansheng dijo que el modelo de lenguaje grande en sí mismo es una extensión de AIoT, y ** usa el modelo de lenguaje grande como un "cerebro" con poderosas capacidades de comprensión, y luego conecta dispositivos AIoT a través del sistema para combínelo con "ojos", "nariz", "oídos", "manos" y "pies", para que tenga múltiples capacidades de percepción, análisis, toma de decisiones y control, para lograr una inteligencia más fuerte **. Cuando el "modelo + sistema" se usa cada vez más y se acumulan más y más datos, es posible realmente realizar el modelo AIoT de "gran unificación" de datos multimodales y heterogéneos.