Interpretación de 6.000 palabras: 10 desafíos del actual modelo de lenguaje grande Investigación LLM

Autor: Chip Huyen

Traducción: Conejo Alfa

Enlace fuente:

El objetivo de perfeccionar el modelo del gran lenguaje es la primera vez en mi vida que veo a tantas personas inteligentes trabajando duro por un objetivo común al mismo tiempo. Después de comunicarme con muchas personas de la industria y el mundo académico, noté que habían surgido diez direcciones de investigación. Las dos direcciones que actualmente reciben más atención son las alucinaciones (ilusión de salida) y el aprendizaje contextual.

Para mí, las más interesantes son la tercera dirección (modo de datos multimodalidad multimodal), la quinta dirección (nueva arquitectura) y la sexta dirección (desarrollo de alternativas de GPU de alternativas de GPU) que se enumeran a continuación.

Los 10 principales desafíos abiertos en la investigación de LLM Reducir y evaluar la producción (información ficticia) Longitud y construcción del contexto optimizadas Integrar otros formularios de datos Mejorar la velocidad y la rentabilidad del modelo de lenguaje Diseñar una nueva arquitectura de modelo. Desarrollar soluciones de GPU alternativas Mejorar la disponibilidad de agentes (inteligencia artificial) Mayor capacidad para aprender de las preferencias humanas. Mejorar la eficiencia de la interfaz de chat. Crear modelos de lenguaje para idiomas distintos del inglés

1. Reducir y evaluar las alucinaciones.

El entorno de salida es un tema que se ha discutido mucho, por lo que aquí resumiré una larga historia. Las alucinaciones ocurren cuando los modelos de IA inventan cosas. Para muchos casos de uso creativo, la ilusión es una función. Sin embargo, las alucinaciones son un error en la mayoría de los casos de uso. Recientemente participé en un panel de discusión sobre LLM con expertos de Dropbox, Langchain, Elastics y Anthropic. Según ellos, el primer obstáculo que las empresas deben superar para aplicar LLM en la producción real es la producción de alucinaciones.

Reducir la producción de alucinaciones de los modelos y desarrollar métricas para evaluar la producción de alucinaciones es un tema de investigación en auge, y muchas nuevas empresas se están centrando actualmente en este problema. También existen trucos para reducir la probabilidad de producir alucinaciones, como agregar más contexto a la palabra clave, CoT, autoconsistencia o requisitos específicos para que la respuesta del modelo sea concisa.

La siguiente es una serie de artículos y materiales de referencia sobre la producción de alucinaciones:

Encuesta sobre alucinaciones en la generación del lenguaje natural (Ji et al., 2022)

Cómo las alucinaciones de los modelos de lenguaje pueden convertirse en una bola de nieve (Zhang et al., 2023)

Una evaluación multitarea, multilingüe y multimodal de ChatGPT sobre razonamiento, alucinaciones e interactividad (Bang et al., 2023)

El aprendizaje contrastivo reduce las alucinaciones en las conversaciones (Sun et al., 2022)

La autoconsistencia mejora el razonamiento de la cadena de pensamiento en modelos de lenguaje (Wang et al., 2022)

SelfCheckGPT: Detección de alucinaciones de caja negra sin recursos para modelos generativos de lenguaje grande (Manakul et al., 2023)

Un ejemplo sencillo de verificación de hechos y alucinaciones gracias a NeMo-Guardrails de NVIDIA

2. Optimice la longitud y la construcción del contexto

La mayoría de las preguntas requieren contexto. Por ejemplo, si preguntamos a ChatGPT: "¿Qué restaurante vietnamita es el mejor?" el contexto requerido será "¿Dónde está el alcance de este restaurante?", porque el mejor restaurante de Vietnam es el mismo que el mejor restaurante vietnamita de Estados Unidos. Estados Unidos Restaurantes, el alcance del problema es diferente.

Según el siguiente artículo interesante "SITUATEDQA: Incorporating Extra-Linguistic Contexts into QA" (Zhang & Choi, 2021), una parte importante de las respuestas a las preguntas de búsqueda de información dependen del contexto, por ejemplo, en el conjunto de datos Natural Question NQ-Open alrededor de 16,5 %.

(NQ-Abierto:

Personalmente creo que en los casos reales que enfrentan las empresas, esta proporción será mayor. Por ejemplo, supongamos que una empresa crea un chatbot para atención al cliente. Para que este chatbot responda cualquier pregunta que un cliente tenga sobre cualquier producto, el contexto necesario probablemente sea el historial de ese cliente o la información sobre ese producto. Debido a que el modelo de lenguaje "aprende" del contexto que se le proporciona, este proceso también se denomina aprendizaje de contexto.

Contexto requerido de imagen para consultas de atención al cliente

La longitud del contexto es muy importante para RAG (Generación mejorada de recuperación), y RAG se ha convertido en el modo principal de escenarios de aplicación industriales de modelos de lenguaje grandes. Específicamente, la generación de mejoras de recuperación se divide principalmente en dos etapas:

**Fase 1: fragmentación (también conocida como indexación)**fragmentación (también conocida como indexación)

Recopile todos los documentos utilizados por LLM, divida estos documentos en fragmentos que puedan introducirse en un modelo más grande para generar incrustaciones y almacene estas incrustaciones en una base de datos vectorial.

Fase 2: Consulta

Cuando un usuario envía una consulta, como "¿Mi póliza de seguro cubre el medicamento X?", el modelo de lenguaje grande convierte esta consulta en una incrustación, a la que llamamos QUERY_EMBEDDING. La base de datos vectorial obtendrá el bloque cuya incrustación sea más similar a QUERY_EMBEDDING.

Cuanto mayor sea la longitud del contexto, más fragmentos podremos incluir en el contexto. Cuanta más información adquiera un modelo, mayor será la calidad de su producción y sus respuestas, ¿verdad?

No siempre. Cuánto contexto puede usar un modelo y con qué eficiencia el modelo usa el contexto son dos cuestiones diferentes. Mientras trabajamos para aumentar la longitud del contexto del modelo, también estamos trabajando para mejorar la eficiencia del contexto. Algunas personas lo llaman "ingeniería" o "construcción". Por ejemplo, un artículo reciente habla sobre cómo los modelos pueden comprender mejor el principio y el final de los índices, en lugar de solo la información en el medio: Lost in the Middle: How Language Models Use Long Contexts (Liu et al., 2023).

3. Integración de otros modos de datos (multimodal)

En mi opinión, la multimodalidad es muy poderosa, pero también está subestimada. A continuación se explican los motivos de aplicación de la multimodalidad:

En primer lugar, muchos escenarios de aplicaciones específicas requieren datos multimodales, especialmente en industrias con modalidades de datos mixtas, como la atención médica, la robótica, el comercio electrónico, el comercio minorista, los juegos y el entretenimiento. Por ejemplo:

Las pruebas médicas a menudo requieren texto (p. ej., notas del médico, cuestionarios de pacientes) e imágenes (p. ej., tomografías computarizadas, rayos X, resonancias magnéticas).

Los metadatos del producto generalmente contienen imágenes, videos, descripciones e incluso datos tabulares (como fecha de producción, peso, color), porque desde la perspectiva de la demanda, es posible que deba completar automáticamente la información faltante del producto en función de los comentarios de los usuarios o las fotografías del producto, o es posible que desee permitir a los usuarios realizar búsquedas de productos utilizando información visual como la forma o el color.

En segundo lugar, se espera que la multimodalidad mejore significativamente el rendimiento del modelo. ¿No debería un modelo que entiende tanto texto como imágenes funcionar mejor que un modelo que sólo entiende texto? Los modelos basados en texto requieren tanto texto que nos preocupa que pronto nos quedemos sin datos de Internet para entrenar modelos basados en texto. Una vez que se agota el texto, debemos aprovechar otros patrones de datos.

Un caso de uso que me entusiasma especialmente es aquel en el que la tecnología multimodal permite a las personas con discapacidad visual navegar tanto por Internet como por el mundo real.

A continuación se presenta una serie de artículos y materiales de referencia relacionados con la multimodalidad:

[CLIP] Aprendizaje de modelos visuales transferibles a partir de la supervisión del lenguaje natural (OpenAI, 2021)

Flamingo: un modelo de lenguaje visual para el aprendizaje en pocas ocasiones (DeepMind, 2022)

BLIP-2: Entrenamiento previo de imágenes y lenguaje de arranque con codificadores de imágenes congeladas y modelos de lenguaje grandes (Salesforce, 2023)

KOSMOS-1: El lenguaje no es todo lo que necesita: alinear la percepción con los modelos de lenguaje (Microsoft, 2023)

PaLM-E: un modelo de lenguaje multimodal incorporado (Google, 2023)

LLaVA: Ajuste de instrucciones visuales (Liu et al., 2023)

NeVA: Asistente de visión y lenguaje NeMo (NVIDIA, 2023)

4. Haga que LLM sea más rápido y económico

Cuando GPT-3.5 se lanzó por primera vez a finales de noviembre de 2022, muchas personas expresaron su preocupación por los retrasos y los costos de su uso en producción. Sin embargo, el análisis de latencia/costos ha cambiado rápidamente desde entonces. En menos de medio año, la comunidad encontró una manera de crear un modelo que funciona muy cerca de GPT-3.5, pero requiere solo alrededor del 2% de la huella de memoria de GPT-3.5.

La conclusión aquí es: si creas algo lo suficientemente bueno, la gente encontrará una manera de hacerlo rápido y rentable.

Los siguientes son los datos de rendimiento de "Guanaco 7B", en comparación con el rendimiento de ChatGPT GPT-3.5 y GPT-4, según el informe del periódico "Guanco". Tenga en cuenta: en general, las siguientes comparaciones de desempeño están lejos de ser perfectas y la evaluación de LLM es muy, muy difícil.

Comparación de rendimiento de Guanaco 7B con ChatGPT GPT-3.5 y GPT-4:

Hace cuatro años, cuando comencé a escribir las notas de lo que se convertiría en la sección "Compresión de modelos" del libro Diseño de sistemas de aprendizaje automático, escribí sobre cuatro técnicas principales para la optimización/compresión de modelos:

Cuantización: El método de optimización de modelos más versátil hasta la fecha. La cuantificación reduce el tamaño de un modelo al usar menos bits para representar sus parámetros, por ejemplo, en lugar de usar 32 bits, se pueden usar 16 bits o incluso 4 bits para representar números de punto flotante.

Destilación de conocimientos: un método para entrenar modelos pequeños para imitar un modelo grande o una colección de modelos.

Factorización de rango bajo: la idea clave aquí es reemplazar los tensores de alta dimensión con tensores de baja dimensión para reducir la cantidad de parámetros. Por ejemplo, puedes descomponer un tensor de 3x3 en el producto de un tensor de 3x1 y 1x3, de modo que en lugar de 9 parámetros, solo necesites 6 parámetros.

Poda Las cuatro técnicas anteriores siguen siendo relevantes y populares en la actualidad. Alpaca utiliza la destilación del conocimiento para entrenar. QLoRA utiliza una combinación de factorización y cuantificación de rango bajo.

** 5. Diseñar una nueva arquitectura de modelo **

Desde AlexNet en 2012, hemos visto el ascenso y la caída de muchas arquitecturas, incluidas LSTM, seq2seq, etc. Comparado con estos, el impacto de Transformer es increíble. Transformer existe desde 2017, y por cuánto tiempo esta arquitectura seguirá siendo popular es una pregunta abierta.

Desarrollar una nueva arquitectura que supere a Transformer no es fácil. Transformer ha sido objeto de mucha optimización en los últimos 6 años, y esta nueva arquitectura debe ejecutarse en el hardware que le interesa a la gente en la escala que le interesa hoy.

Nota: Google diseñó originalmente Transformer para ejecutarse rápidamente en TPU y luego lo optimizó en GPU.

En 2021, el S4 del laboratorio de Chris Ré atrajo una gran atención; consulte "Modelado eficiente de secuencias largas con espacios de estados estructurados" (Gu et al., 2021) para obtener más detalles. El laboratorio de Chris Ré sigue desarrollando intensamente nuevas arquitecturas, una de las cuales es Monarch Mixer (Fu, 2023), desarrollada recientemente en colaboración con la startup Together.

Su idea principal es que para la arquitectura Transformer existente, la complejidad de la atención es la cuadrática de la longitud de la secuencia, mientras que la complejidad de MLP es la cuadrática de la dimensión del modelo. Las arquitecturas con complejidad subcuadrática serán más eficientes.

Mezclador Monarca

6. Desarrollar alternativas de GPU

Las GPU han sido el hardware dominante para el aprendizaje profundo desde AlexNet en 2012. De hecho, una de las razones generalmente reconocidas de la popularidad de AlexNet es que fue el primer artículo que utilizó con éxito GPU para entrenar una red neuronal. Antes de la llegada de las GPU, si querías entrenar un modelo a la escala de AlexNet, necesitabas usar miles de CPU, como la que Google lanzó unos meses antes de AlexNet. Unas pocas GPU se volvieron más accesibles para los estudiantes de doctorado e investigadores que miles de CPU, lo que provocó un auge en la investigación del aprendizaje profundo.

Durante la última década, muchas empresas, tanto grandes como nuevas, han intentado crear nuevo hardware para inteligencia artificial. Los intentos más notables incluyen la TPU de Google, la IPU de Graphcore (¿cómo va la IPU?) y Cerebras. SambaNova recaudó más de mil millones de dólares para desarrollar nuevos chips de IA, pero parece haber girado para convertirse en una plataforma de IA generativa.

Durante un tiempo, hubo grandes expectativas para la computación cuántica, y entre los actores clave se incluyen:

QPU de IBM

*La computadora cuántica de Google informó un hito importante en la reducción de errores cuánticos a principios de este año en la revista Nature. Su máquina virtual cuántica es de acceso público a través de Google Colab. *

*Laboratorios de investigación como MIT Quantum Engineering Center, Max Planck Institute for Quantum Optics, Chicago Quantum Exchange Center, Oakridge National Laboratory, etc. *

Otra dirección igualmente interesante son los chips fotónicos. No sé mucho sobre esta área, así que corríjanme si me equivoco. Los chips existentes utilizan electricidad para transmitir datos, lo que consume mucha energía y genera retrasos. Los chips fotónicos, por otro lado, utilizan fotones para transmitir datos, aprovechando la velocidad de la luz para una computación más rápida y eficiente. Varias nuevas empresas en este espacio han recaudado cientos de millones de dólares, incluidas Lightmatter ($270 millones), Ayar Labs ($220 millones), Lightelligence ($200 millones+) y Luminous Computing ($115 millones).

La siguiente es la línea de tiempo de progreso de los tres métodos principales de cálculo de la matriz de fotones, extraída del artículo "La multiplicación de la matriz fotónica ilumina el acelerador fotónico y más allá" (Zhou, Nature 2022). Los tres métodos diferentes son la conversión de luz plana (PLC), el interferómetro Mach-Zehnder (MZI) y la multiplexación por división de longitud de onda (WDM).

7. Mejorar la disponibilidad de los agentes

Agente se refiere a un modelo de lenguaje grande que puede realizar acciones (puede entenderse como agentes que pueden completar varias tareas en su nombre, por eso se llama Agente), como navegar por Internet, enviar correos electrónicos, reservar, etc. Esta es probablemente una de las direcciones más nuevas en comparación con otras direcciones de investigación en este artículo. La gente está entusiasmada con los Agentes debido a su novedad y su enorme potencial. Auto-GPT es ahora el repositorio número 25 más popular con el número de estrellas en GitHub. GPT-Engineering es otro repositorio popular.

A pesar del entusiasmo en esta dirección, persisten dudas sobre si los grandes modelos de lenguaje son lo suficientemente confiables y eficaces como para estar capacitados para actuar. Sin embargo, ha surgido un escenario de aplicación en el que los agentes se utilizan para la investigación social, como el famoso experimento de Stanford, que demostró que un pequeño grupo de agentes generativos produjo comportamientos sociales emergentes: por ejemplo, a partir de una idea especificada por el usuario, un agente quiere. para celebrar una fiesta de San Valentín, el Agente reparte automáticamente invitaciones a la fiesta en los dos días siguientes, hace nuevos amigos y se invita mutuamente a la fiesta... (Agentes Generativos: Simulacros Interactivos de Comportamiento Humano, Park et al., 2023),

Quizás la startup más notable en este espacio sea Adept, fundada por dos ex coautores de Transformer y un ex vicepresidente de OpenAI, y ha recaudado casi 500 millones de dólares hasta la fecha. El año pasado, mostraron cómo su agente podía navegar por Internet y cómo agregar una nueva cuenta a Salesforce.

8. Iterar RLHF

RLHF (Aprendizaje por refuerzo a partir de la retroalimentación humana) es genial, pero un poco complicado. No sería sorprendente que la gente encontrara mejores formas de formar un LLM. Sin embargo, todavía quedan muchas cuestiones sin resolver en RLHF, como por ejemplo:

①¿Cómo expresar matemáticamente las preferencias humanas?

Actualmente, las preferencias humanas se determinan mediante comparación: un anotador humano determina si la respuesta A es mejor que la respuesta B. Sin embargo, no tiene en cuenta cuánto mejor es la respuesta A que la respuesta B.

②¿Qué es la preferencia humana?

Anthropic mide la calidad de sus modelos en función del resultado en tres dimensiones: útil, honesto e inofensivo. Véase IA constitucional: inofensividad a partir de la retroalimentación de la IA (Bai et al., 2022).

DeepMind intenta generar respuestas que agraden a la mayoría de las personas. Consulte Ajuste de modelos de lenguaje para encontrar acuerdos entre humanos con diversas preferencias (Bakker et al., 2022).

Además, ¿queremos una IA que pueda tomar una postura, o una IA tradicional que evite temas potencialmente controvertidos?

③ ¿De quién es la preferencia “humana”? ¿Deben tenerse en cuenta las diferencias de cultura, religión, orientación política, etc.? Existen muchos desafíos para obtener datos de capacitación suficientemente representativos de todos los usuarios potenciales.

Por ejemplo, para los datos de InstructGPT de OpenAI, no hay anotadores mayores de 65 años. Los etiquetadores son principalmente filipinos y bangladesíes. Consulte InstructGPT: Entrenamiento de modelos de lenguaje para seguir instrucciones con retroalimentación humana (Ouyang et al., 2022).

Estadísticas de nacionalidad de los anotadores de InstructGPT

Si bien los esfuerzos liderados por la comunidad son encomiables por su intención, pueden generar datos sesgados. Por ejemplo, para el conjunto de datos de OpenAssistant, 201 de los 222 (90,5%) encuestados se identificaron como hombres. Jeremy Howard tiene un gran hilo en Twitter:

9. Mejorar la eficiencia de la interfaz de chat.

Desde ChatGPT, la gente ha estado discutiendo si el chat es una interfaz adecuada para diversas tareas.

Para más detalles, consulte:

El lenguaje natural es la interfaz de usuario perezosa (Austin Z. Henley, 2023)

Por qué los chatbots no son el futuro (Amelia Wattenberger, 2023)

¿Qué tipos de preguntas requieren una conversación para responder? Un estudio de caso de preguntas de AskReddit (Huang et al., 2023)

Las interfaces de chat de IA podrían convertirse en la interfaz de usuario principal para leer la documentación (Tom Johnson, 2023)

Interactuar con LLM con Minimal Chat (Eugene Yan, 2023)

Sin embargo, este no es un tema nuevo. En muchos países, especialmente en Asia, el chat se utiliza como interfaz de súper aplicaciones desde hace unos diez años, como escribió Dan Grover en 2014.

En 2016, cuando muchos pensaban que las aplicaciones estaban muertas y que los chatbots eran el futuro, la discusión se volvió a calentar:

El chat como interfaz (Alistair Croll, 2016)

¿Es la tendencia Chatbot un gran malentendido? (Will Knight, 2016)

Los bots no reemplazarán las aplicaciones. Mejores aplicaciones reemplazarán a las aplicaciones (Dan Grover, 2016)

Personalmente me gusta la interfaz de chat por las siguientes razones:

①La interfaz de chat es una interfaz que todos, incluso aquellos que no tienen contacto previo con computadoras o Internet, pueden aprender a usar rápidamente (universal). A principios de la década de 2010, cuando trabajaba como voluntario en un vecindario de bajos ingresos en Kenia, me sorprendió lo familiarizados que estaban todos allí con las operaciones bancarias en sus teléfonos, a través de mensajes de texto. Nadie en esa comunidad tenía una computadora.

② La interfaz de chat es de fácil acceso. Si tus manos están ocupadas con otras cosas, usa la voz en lugar del texto.

③ El chat también es una interfaz muy poderosa: puedes hacerle cualquier solicitud y te responderá, incluso si la respuesta no es necesariamente perfecta.

Sin embargo, el autor cree que la interfaz del chat se puede seguir mejorando en algunos aspectos:

① Se pueden intercambiar varios mensajes a la vez

Actualmente, básicamente asumimos que solo hay una ronda de mensajes por comunicación. Pero no es así como mis amigos y yo enviamos mensajes de texto. Por lo general, necesito varios mensajes para completar mi pensamiento, porque necesito insertar diferentes datos (como imágenes, ubicaciones, enlaces), es posible que me haya perdido algo en el mensaje anterior o simplemente no quiero poner todo en un solo mensaje. párrafo grande.

②Entrada multimodal

En el campo de las aplicaciones multimodales, la mayor parte de los esfuerzos se dedican a construir mejores modelos y menos a construir mejores interfaces. Tomemos como ejemplo el chatbot NeVA de Nvidia. No soy un experto en experiencia de usuario, pero creo que aquí se puede mejorar.

PD: Perdón por mencionar al equipo de NeVA aquí, incluso con esto, ¡tu trabajo sigue siendo genial!

③Integre la IA generativa en el flujo de trabajo

Linus Lee cubre esto muy bien en su artículo "Interfaz de IA generativa más allá de los chats". Por ejemplo, si desea hacer una pregunta sobre una determinada columna de un gráfico en el que está trabajando, debería poder señalar esa columna y preguntar.

④ Edición y eliminación de mensajes

¿Cómo cambiaría una edición o eliminación de la entrada del usuario el flujo de la conversación con el chatbot?

10. Cree un LLM para idiomas distintos del inglés

Sabemos que los LLM actuales de inglés como primera lengua no se adaptan bien a muchos otros idiomas en términos de rendimiento, latencia y velocidad. Ver:

ChatGPT más allá del inglés: hacia una combinación integral de grandes modelos lingüísticos en el aprendizaje multilingüe (Lai et al., 2023)

Todos los idiomas NO son creados (tokenizados) iguales (Yennie junio de 2023)

Solo conozco intentos de entrenar vietnamitas (como los intentos de la comunidad Symato); sin embargo, varios de los primeros lectores de este artículo me dijeron que no creían que debería incluir esta dirección, por las siguientes razones:

Esta no es tanto una cuestión de investigación sino más bien una cuestión de logística. Ya sabemos cómo hacerlo, sólo necesitamos que alguien invierta dinero y energía. Sin embargo, esto no es del todo correcto. La mayoría de los idiomas se consideran idiomas de bajos recursos; por ejemplo, muchos idiomas tienen datos de mucha menos calidad que el inglés o el chino y, por lo tanto, pueden requerir diferentes técnicas para entrenar modelos de idiomas grandes. Ver también:

Idiomas de bajos recursos: una revisión del trabajo pasado y los desafíos futuros (Magueresse et al., 2020)

JW300: un corpus paralelo de amplia cobertura para idiomas de bajos recursos (Agić et al., 2019)

Los más pesimistas creen que en el futuro muchos idiomas desaparecerán e Internet serán dos universos compuestos por dos idiomas: inglés y chino. Esta tendencia de pensamiento no es nueva. ¿Alguien recuerda el esperanto?

El impacto de las herramientas de inteligencia artificial, como la traducción automática y los chatbots, en el aprendizaje de idiomas aún no está claro. ¿Ayudarán a las personas a aprender un nuevo idioma más rápido o eliminarán por completo la necesidad de aprender un nuevo idioma?

en conclusión

Avíseme si me pierdo algo en este artículo y, para obtener perspectivas adicionales, consulte el artículo completo Challenges and Applications of Large Language Models (Kaddour et al., 2023).

Las preguntas anteriores son más difíciles que otras. Por ejemplo, creo que la pregunta 10 anterior, establecer un LLM en un idioma distinto del inglés, sería relativamente sencillo si se contara con suficiente tiempo y recursos.

El primer problema anterior es reducir la producción de alucinaciones, lo que será mucho más difícil porque las alucinaciones son simplemente LLM que hacen cosas probabilísticas.

Número 4, hacer que el LLM sea más rápido y más barato nunca se resolverá por completo. Se han logrado muchos avances en esta área y habrá más avances en el futuro, pero las mejoras en esta dirección continuarán.

Los elementos 5 y 6, nueva arquitectura y nuevo hardware, son muy desafiantes, pero son inevitables con el tiempo. Debido a la relación simbiótica entre la arquitectura y el hardware (la nueva arquitectura debe optimizarse para el hardware común y el hardware debe ser compatible con la arquitectura común), es probable que las realice la misma empresa.

Algunos problemas no se pueden resolver únicamente con conocimientos técnicos. Por ejemplo, el problema número 8, mejorar los métodos para aprender de las preferencias humanas, puede ser más una cuestión de política que técnica. La novena pregunta es mejorar la eficiencia de la interfaz de chat, que es más una cuestión de experiencia del usuario. Necesitamos más personas sin formación técnica para trabajar con nosotros en estos temas.

¿Qué dirección de investigación le interesa más? ¿Cuál cree que es la solución más prometedora a estos problemas? Me encantaría escuchar tu opinión.