Diálogo con el ganador del Premio Turing Hippakis: La mayor amenaza que trae la IA es convertir a los humanos en "esclavos de esclavos"

Fuente: Tecnología Tencent

Desde principios de 2023, ChatGPT ha sumido al mundo en un frenesí de IA. Con el debut de GPT4, sus poderosas capacidades emergentes hacen que las personas sientan que en solo unos años, la IA se convertirá en una existencia omnipotente.

Pero, ¿dónde está el límite superior de la IA basada en el modelo de lenguaje grande del paradigma Transformer? ¿Puede realmente reemplazarnos por completo? Ha habido muchas respuestas a estas preguntas. Algunas personas piensan que el gran modelo de lenguaje traerá una nueva era, que está muy cerca de la inteligencia artificial que puede completar todo el trabajo humano; pero algunas personas piensan que es solo un loro al azar, incapaz de entender el mundo en absoluto. En la actualidad, sin importar el punto de vista, falta una interpretación suficiente y un sistema bien formado.

Para permitir que las personas vean este problema con más detalle, Joseph Hifakis, un académico extranjero de la Academia de Ciencias de China, escribió "Comprender y cambiar el mundo", exponiendo su comprensión de décadas de la inteligencia artificial que conduce a AGI desde la perspectiva de principios cognitivos pensando en caminos potenciales. Joseph Schiffakis había ganado el Premio Turing diez años antes que Hinton et al. Esta vez, expuso muy claramente desde la perspectiva de los principios cognitivos su "capacidad e incapacidad de la inteligencia artificial" y "el camino que conduce a AGI". ” pensamiento de décadas.

Enfoque

1. Los seres humanos y la inteligencia artificial son complementarios en lugar de sustitutos entre sí. Los seres humanos poseen conocimiento de sentido común y la capacidad abstracta de formar modelos, lo que no se puede lograr con el paradigma actual de inteligencia artificial, por lo que no pueden formar innovaciones basadas en principios. La inteligencia artificial puede predecir cosas complejas que pueden tener una gran cantidad de variables sin dominar los principios. Esto es lo que los humanos no pueden lograr debido a la limitación de la capacidad cognitiva, lo que Hippakis llama "oráculo de IA" y puede traer una "nueva ciencia". 2. La mayor amenaza que traerá la IA es que la dependencia de los seres humanos de ella puede hacer que renunciemos a nuestros propios juicios indefinidamente, perdamos el poder de tomar decisiones y eventualmente nos convirtamos en "esclavos de esclavos". Para evitar esto, los humanos deben ser capaces de dominar todos los procesos de desarrollo y aplicación del conocimiento, asegurando que estas máquinas no tomen decisiones clave por nosotros por sí mismas. 3. De acuerdo con la situación de las capacidades complementarias, para los seres humanos, el mejor escenario futuro es una cooperación armoniosa entre las máquinas y los seres humanos, y se puede lograr una nueva prosperidad a través de esta cooperación. En este proceso, la sociedad debe desarrollar y aplicar tecnología con el objetivo de mejorar la vida humana.

01 La IA actual está lejos de AGI

**Tecnología Tencent: ¿Qué significa la aparición de ChatGPT para la inteligencia artificial? ¿Es un nuevo paradigma, o más bien una aplicación específica de un paradigma existente? **

Joseph Schiffakis: Creo que la aparición de ChatGPT y otros modelos de lenguaje es un paso importante en el desarrollo de la inteligencia artificial. **De hecho, hemos experimentado un cambio de paradigma tal que prácticamente se puede responder a cualquier consulta en lenguaje natural, a menudo con una respuesta muy relevante a la pregunta. Los modelos de lenguaje grande resuelven problemas de larga data en el procesamiento del lenguaje natural. **Esta es un área en la que los investigadores no han tenido éxito durante décadas, tradicionalmente abordada por la escuela de pensamiento simbolista, que separa la sintaxis y la semántica del lenguaje para construir reglas para la inteligencia artificial.

Ahora, los grandes modelos de lenguaje adoptan un enfoque diferente y consideran que el significado de una palabra está definido por todos los contextos en los que se usa. Utilizan el aprendizaje automático para realizar cálculos de distribuciones de probabilidad. Para las palabras, esta distribución de probabilidad se usa para predecir la siguiente palabra más probable en una oración. Este es un método muy simple pero efectivo. Es un poco ingenuo, pero resulta excelente para resumir texto. Por supuesto, la naturaleza de la solución que emplea también determina sus limitaciones. Los modelos de lenguaje son excelentes para crear resúmenes de algún texto o incluso escribir poesía. Si lo convierte en un resumen de la historia china del siglo XX, puede hacer un muy buen trabajo. Pero por otro lado, si haces algunas preguntas muy precisas o resuelves algunos problemas lógicos muy simples, puede salir mal. Podemos entender esto porque este tipo de pregunta es un modelo independiente del contexto, por lo tanto, no podemos comprobar la coherencia del texto y las respuestas que proporciona.

**Tecnología Tencent: ahora hay muchas tecnologías nuevas, como los árboles lógicos (LOT), que pueden ayudar a las máquinas a guiarse para comprender los procesos lógicos. Ahora, los grandes modelos de lenguaje se están entrenando para desarrollar procesos lógicos más específicos o complejos. Hay muchas capas en una red neuronal, y cuanto más alto es el nivel, más abstracta es la comprensión. ¿Es posible si pudiera haber algo así como un modelo o una comprensión estructural del mundo en estas neuronas de nivel superior? **

Joseph Schiffakis: En mi libro, explico que los humanos y las máquinas desarrollan y aplican diferentes tipos de conocimiento. Este conocimiento permite que humanos y máquinas resuelvan diferentes tipos de problemas, dependiendo de cuán válido y general sea. **Una distinción importante es entre "conocimiento científico y técnico" y "conocimiento experiencial táctil adquirido a través del aprendizaje". Por ejemplo, cuando hablo, cuando camino, mi cerebro en realidad resuelve problemas muy difíciles, pero no entiendo cómo funcionan, y Las redes neuronales generan el mismo conocimiento empírico implícito, lo que nos permite resolver problemas sin entender cómo trabajan ellos. **

Esto es lo que llamamos conocimiento basado en datos o basado en datos. Por el contrario, es muy importante que el mejor conocimiento científico y técnico se base en el uso de modelos matemáticos que proporcionen una comprensión profunda de los fenómenos físicos de los objetos y componentes. Por ejemplo, cuando construyes un puente, puedes estar seguro (por sus principios) de que el puente no se derrumbará en los siglos venideros. Sin embargo, con las redes neuronales podemos hacer ciertas predicciones, pero no entendemos cómo funcionan y es imposible construir una teoría que explique el comportamiento de las redes neuronales. **Esta propiedad hace que los modelos de lenguaje grandes estén severamente limitados en aplicaciones críticas sin participación humana.

La pregunta es si estos sistemas GPT-LM pueden lograr inteligencia a nivel humano. Este es el problema. Creo que hay mucha confusión sobre qué es la inteligencia y cómo lograrla. Porque si no tenemos un concepto claro de inteligencia, no podemos desarrollar teorías sobre cómo funciona y no podemos definir claramente la inteligencia.

Y hoy en día hay mucha confusión. Recientemente, escribí un artículo discutiendo este tema. De hecho, si abre un diccionario, como el Oxford Dictionary, verá que **inteligencia se define como la capacidad de aprender, comprender y pensar sobre el mundo, y de lograr objetivos y actuar con un propósito. **

**Las máquinas pueden hacer cosas impresionantes. Pueden superar a los humanos en los juegos. Son capaces de realizar diversas tareas. Grandes logros también se han logrado recientemente. Pueden realizar tareas relacionadas con las capacidades sensoriales, como el reconocimiento visual. Sin embargo, las máquinas no pueden superar a los humanos en lo que respecta a la conciencia situacional, la adaptación a los cambios ambientales y el pensamiento creativo. **Simplemente, GPT es muy bueno para traducir lenguaje natural, pero no puede conducir un automóvil. No puede usar GPT para conducir un automóvil. Todavía hay una gran brecha entre ellos. Creo que todavía tenemos un largo camino por recorrer. **Hoy solo tenemos inteligencia artificial débil, solo tenemos algunos componentes de inteligencia general. Necesitamos algo más. **

Creo que un gran paso hacia la inteligencia general serán los sistemas autónomos. El concepto ahora es claro, los sistemas autónomos surgen de la necesidad de automatizar aún más las organizaciones existentes, al reemplazar a los humanos con agentes autónomos, lo que también contempla el Internet de las cosas. De hecho, estamos hablando de automóviles autónomos, redes inteligentes, fábricas inteligentes, granjas inteligentes, redes de telecomunicaciones más inteligentes. **Estos sistemas son muy diferentes de Narrow AI en que estos sistemas están compuestos por agentes que están limitados en tiempo real y tienen que lidiar con muchos objetivos diferentes. Estos objetivos implican cambios en acciones y actividades en muchos dominios diferentes, y GPT no es bueno en esto, es bueno para manejar el lenguaje natural y la transformación de documentos. **Además, necesitamos sistemas que puedan funcionar en armonía con los agentes humanos. Todo esto no es posible con otros modelos de lenguaje. Así que todavía estamos bastante lejos de la inteligencia artificial general. Por supuesto, todo se reduce a qué consideramos exactamente que es la inteligencia, porque si la inteligencia se define como solo conversaciones y juegos, entonces hemos llegado a la inteligencia artificial general, pero no estoy de acuerdo con esa definición.

**Tecnología Tencent: La prueba estándar de inteligencia en el pasado es la prueba de Turing. Obviamente, GPT ha pasado la prueba de Turing en términos de diálogo, pero no es una inteligencia autónoma. En este caso, ¿cómo podemos juzgar la inteligencia de la IA? **

Joseph Schiffakis: Hace poco escribí un artículo argumentando que la prueba de Turing no es suficiente. **Propongo otra prueba, a la que llamo prueba de sustitución. De hecho, la idea es que si pudiera sustituir una máquina por otro agente que realiza una tarea, diría que este agente es tan inteligente como el agente que realiza la tarea. **Si pudiera reemplazar a un humano con una máquina para conducir un automóvil, enseñar a un humano o ser un buen cirujano, entonces diría que una máquina es tan inteligente como un humano.

Entonces, si toma esa definición, en lugar de probar, pensaría que la inteligencia humana es en realidad una combinación de habilidades. Entonces, ¿entiendes lo lejos que estamos de la inteligencia general? En esta prueba alternativa, es posible que algunas acciones deban ser realizadas por una máquina, como un robot. Cuando quieres hacer jardinería, necesitas un robot para hacerlo. GPT es solo un modelo de lenguaje, no incluye estas partes del robot.

**Tecnología Tencent: según su definición, veremos desaparecer la brecha entre la inteligencia artificial y la inteligencia humana solo cuando la informática y los sistemas puedan ejecutar automáticamente grandes cantidades de texto y adaptarse a entornos cambiantes. Y ahora aplicaciones como AutoGPT o Baby AGI pueden dividir la tarea en diferentes pasos e intentar lograr el objetivo de la tarea a través de diferentes procesos. Es bastante automatizado en cierto modo. ¿Crees que se está acercando a AGI en el proceso? **

Joseph Schiffakis: Hay muchos problemas aquí, incluidos los problemas de ingeniería de sistemas. **No basta con tener un agente superinteligente, porque también hay que garantizar que se pueda explicar su comportamiento. **Este también es un problema que discuto extensamente en mi tesis, que es el problema de la inteligencia artificial explicable o inteligencia artificial segura del que todos hablan.

Lo que la gente no entiende es que **con las redes neuronales, no podemos entender su comportamiento. Obviamente, no puede explicar por qué produce tal salida, porque no puede tener un modelo matemático para describir su comportamiento. Por supuesto, entendemos completamente cómo se calculan las funciones matemáticas de cada nodo de la red neuronal. **Es solo una combinación lineal de entradas, más algunas funciones no lineales, para que podamos entender el comportamiento de cada nodo. **Pero cuando tratamos de comprender las propiedades emergentes de toda la red neuronal, nos desesperamos. **Pero este no es un problema específico de la IA, es un problema general de la ciencia.

No se pueden inferir las propiedades del agua solo a partir de las propiedades de los átomos de oxígeno e hidrógeno. Incluso si entiende esto completamente, hay un problema de escala y complejidad. Este es el punto de la desesperación. **No podemos usar la lógica de la combinación de tecnologías o el reduccionismo para comprender el comportamiento general de la red neuronal a través del comportamiento de los elementos que la componen. Entonces, la única forma en que podemos aplicarlo a una red neuronal es probarlo, porque no podemos verificar su comportamiento y no podemos razonar al respecto. **Pero si solo se aplican pruebas, significa que está adoptando un enfoque puramente experimental, no una comprensión teórica. Por lo tanto, el tipo de contenido que realmente puede probar varía ampliamente: por ejemplo, no puede probar problemas de seguridad holísticos porque no puede analizar el comportamiento general. Pero puede hacer pruebas de seguridad a la defensiva.

Siempre hemos aplicado testing a hardware y software. Pero para probar, debe tener criterios sobre cuánto tiempo debe durar la prueba. Para hardware y software, contamos con modelos y estándares de cobertura. Pero para las redes neuronales, no tenemos ese estándar. No digo que este sea un problema muy difícil de resolver. **Para las redes neuronales, tenemos algunas posibilidades alternativas, como ejemplos contradictorios. Pero estas manipulaciones rompen cierta robustez en su comportamiento. **Así que ya ves, si te hago una pregunta, me darás una respuesta. Si modifico ligeramente tu pregunta, darías algunas respuestas similares si fueras un ser humano. Pero sabemos que cuando cambiamos ligeramente la entrada a una neurona, la respuesta puede ser muy diferente. Así que esto también es algo a considerar.

02 La emergencia nunca puede ser entendida

**Tecnología Tencent: ¿Cree que la aparición de este concepto, es decir, la transformación de capacidades básicas a capacidades más avanzadas, es inexplicable? **

Joseph Schiffakis: Sí. Sacas una materia como física. La física es un tema muy maduro. Los físicos intentan establecer una conexión lógica entre la teoría de partículas, la teoría cuántica o la relatividad general, y no creo que lo consigan nunca porque hay un problema de escala. Creo que existen problemas similares en cualquier tipo de sistema.

**Tecnología Tencent: Entonces, en su opinión, debido a este fenómeno inexplicable, ¿no podemos predecir qué puede hacer el modelo de lenguaje grande? **

Joseph Schiffakis: Obviamente, no podemos construir un modelo para predecir lo que puede hacer. No podemos construir modelos, me refiero a modelos matemáticos. Aquí, la comunidad de IA usa la palabra modelo para referirse a una red neuronal, lo cual es una fuente de confusión.

Creo que deberíamos adoptar otro enfoque holístico. Dado que no podemos formar un modelo relevante, **quizás podamos tener una manera de formar una teoría basada en pruebas y observaciones empíricas. Se supone que es una teoría de pruebas sobre propiedades estadísticas. **Pero según tengo entendido, tenemos algunas necesidades que son técnicamente difíciles de satisfacer en las redes neuronales actuales.

**Tecnología Tencent: Sí. Entonces, para comprender estas habilidades que surgen de ellas, ¿necesitamos establecer una disciplina como la psicología para comprenderlas? **

Joseph Schiffakis: Exactamente. Buena pregunta. Pero será un poco problemático usar GPT en sí mismo para establecer tal entendimiento. Porque, de hecho, algunas personas ahora dicen que un GPT aprueba con éxito el examen para convertirse en abogado o médico, entonces, ¿por qué ese GPT no puede convertirse en médico o abogado?

Creo que este es un argumento muy interesante, pero involucra el problema de robustez que mencioné anteriormente. Además de pasar el examen, la habilidad entre humanos y redes neuronales es muy diferente.

La cuestión de la solidez es que si le pides a una persona cuerda que responda la pregunta, si cambias un poco la pregunta, la respuesta será similar. GPT no garantiza la uniformidad de las respuestas. Otro problema es que los humanos pueden confiar en la lógica para controlar lo que hacen y lo que deben decir. Pero debido a que una red neuronal, típicamente como ChatGPT, no tiene control semántico sobre lo que hace, puede hacer cosas que obviamente están mal. Ninguna persona razonable cometería este error. Entonces, la conclusión de todo el argumento es que si GPT puede controlar lógicamente la consistencia de lo que dice, y es correspondientemente robusto, entonces permitir que GPT sea un abogado sería genial. Pero en realidad estamos lejos de este nivel de inteligencia artificial. **

**Tecnología Tencent: ¿Por qué ChatGPT es tan difícil de controlar? ¿Es porque es una característica de computación distribuida de una computadora? **

Joseph Schiffakis: GPT es un tipo diferente de computadora. Es una computadora natural. No es una computadora que ejecuta programas mientras los escribes, tienes control absoluto sobre lo que el sistema puede y no puede hacer. Cuando entrenas una red neuronal, pierdes ese control. Estos sistemas pueden ser creativos en cierto sentido porque tienen grados de libertad.

Ahora, si podemos controlar estos grados de libertad y entender cómo se comportan, estaremos bien. **El problema es que no podemos controlar este enorme grado de libertad de las redes neuronales, y es casi imposible controlarlo teóricamente. **Puede hacer una aproximación aproximada de cómo se comportan, pero no obtendrá resultados exactos. Si tiene un programa de computadora tradicional, incluso si es un programa largo, aún puede extraer el modelo semántico y comprender lo que sucede en él. Esta es una distinción muy importante.

**Tecnología Tencent: ¿Puedes hablar sobre el concepto de máquinas naturales en detalle? **

Joseph Schiffakis: **Las máquinas naturales son inteligencias que hacen uso de fenómenos naturales. Por ejemplo, una red neuronal es una máquina natural similar a una computadora cuántica u otras computadoras. **En el pasado, cuando yo era estudiante, también teníamos muchas computadoras. Al construir esta máquina natural, usaremos algunos principios en los fenómenos físicos, porque cualquier fenómeno físico contiene algún contenido de información. Por ejemplo, cuando tiro una piedra, la piedra es como una computadora, calcula una parábola, que forma un algoritmo. Puedes observar cualquier fenómeno y puedes usar fenómenos naturales para construir computadoras. Pero ** estas computadoras no están preprogramadas. Explotan ciertas leyes de la física o las matemáticas. Este es el caso de las redes neuronales. **

**Tecnología Tencent: Hablemos de otro contenido en su libro. Ha discutido algunos temas de investigación e innovación. Todos sabemos que aunque muchas ideas de redes neuronales provienen de Europa o Japón, las empresas que las usan y producen productos, como OpenAI y Deepmind, están todas en los Estados Unidos. ¿Cuál cree usted que es la razón de esto? **

Joseph Schiffakis: Hay una diferencia entre atención e innovación. **Porque la innovación es la capacidad de aplicar la investigación para desarrollar nuevos productos o servicios para lograr avances tecnológicos. **

Creo que esa es una gran ventaja de EE. UU., han hecho un gran trabajo de innovación. Esto comenzó en California, donde tienes lo que yo llamo el ecosistema de innovación. **El ecosistema de innovación reúne muy buenas instituciones académicas, grandes empresas tecnológicas, start-ups y capital y capital riesgo. Esta coherencia permite una traducción eficaz y eficiente de nuevos resultados y aplicaciones. Otros países también han adoptado este modelo. La idea de un ecosistema de innovación es común, y países más pequeños como Israel y Suiza han tenido mucho éxito. **Entonces, para resumir, creo que para lograr la innovación, debe vincular grandes universidades con grandes industrias. Depende no solo de los recursos materiales, sino también de factores culturales, la educación y las instituciones deben reconocer la creatividad y el espíritu empresarial individual.

03 Red neuronal Oracle: una nueva ciencia que no se puede entender

**Tecnología Tencent: Acabas de mencionar que las redes neuronales son el proceso de simulación de cerebros biológicos y el mundo físico. ¿Cómo es posible esta simulación cuando nuestra comprensión de los cerebros biológicos es aún muy limitada? ¿A qué distancia está esta red neuronal de nuestro cerebro biológico? **

Joseph Schiffakis: Esa es una buena pregunta. Acabo de decir que las redes neuronales son una especie de computadora natural, que adopta un paradigma diferente al de las computadoras tradicionales. Específicamente, las redes neuronales están inspiradas en el funcionamiento neuronal de nuestro cerebro. Imita algunos de los procesos naturales por los que funcionan los nervios. **Sin embargo, las redes neuronales solo imitan los principios computacionales del cerebro, que es más complejo porque tiene diferentes estructuras y funciones en diferentes regiones. Y estas diferentes funciones se basan en una arquitectura más compleja, que todavía estamos tratando de comprender. **Y la red neuronal del cerebro es un modo de computación paralelo. Las redes neuronales también son bastante diferentes en este aspecto.

También debe entenderse que **si solo estudiamos el cerebro a nivel biológico, no creo que podamos capturar completamente todas las intenciones humanas. **Como ejemplo, use su computadora portátil para ejecutar una pieza de software. Luego les daré instrumentos electrónicos para que estudien cómo funciona este hardware a través de mediciones. Si ha compilado el programa, todo el conocimiento está presente en forma de señales eléctricas a nivel de hardware. Pero solo analizando esta señal eléctrica, es imposible encontrar el código fuente del software problemático, porque tiene este problema de escala. **Creo que esta es la clave para entender la inteligencia humana, tenemos que estudiar el cerebro, pero no solo el cerebro. Por lo tanto, el fenómeno computacional del cerebro es una combinación de señales eléctricas, fenómenos fisicoquímicos y fenómenos psicológicos. **

**Y el problema actual es cómo conectar los fenómenos mentales con la computación cerebral. Este es un gran desafío en mi opinión. Si no tenemos éxito en esto, no creo que jamás podamos entender la inteligencia humana. **

**Tecnología Tencent: Mencionaste que la inteligencia artificial está abriendo un nuevo camino para el desarrollo del conocimiento humano, superando las limitaciones del cerebro humano para enfrentar problemas complejos. ¿En qué puntos crees que la IA puede superar por completo a los humanos? **

Joseph Schiffakis: Sí. En mi libro, explico que **las máquinas pueden ayudarnos a superar algunas de las limitaciones de nuestro pensamiento. **Esto ha sido confirmado por psicólogos. Las limitaciones aquí incluyen que la mente humana está limitada por la complejidad cognitiva. **Los humanos no podemos entender la relación entre más de cinco parámetros independientes. Es por esto que las teorías que desarrollamos son muy simples. No tenemos una teoría con miles de parámetros independientes formados. **

**Creo que ahora es posible desarrollar una teoría con miles de parámetros. Creo que hoy podemos construir lo que llamo un "oráculo de red neuronal" con la ayuda de supercomputadoras e inteligencia artificial. Un oráculo de red neuronal es una red neuronal entrenada para comprender y analizar fenómenos complejos o sistemas complejos. Estos fenómenos complejos pueden depender de miles de parámetros. ** Tomando como ejemplo los fenómenos físicos, ahora hay algunos proyectos interesantes, como el entrenamiento de redes neuronales para predecir terremotos. Los participantes en estos proyectos no necesitan poseer mucho conocimiento científico, solo necesitan alimentar el modelo con la base de datos. Tienen datos de terremotos de todo el mundo en sus manos. Publicaron un artículo explicando que con un procedimiento de entrenamiento muy simple, podrían hacer mejores predicciones que las que podrían hacer usando teorías complejas existentes. **

** Así que creo que esta es una dirección muy importante en el futuro. Tendremos más "oráculos" que nos ayuden a predecir el desarrollo de fenómenos complejos o sistemas complejos. ** Por ejemplo, tendremos sistemas de gemelos digitales inteligentes que nos ayudarán a hacer predicciones, pero no entenderán (la lógica de las predicciones). Así que ** vamos a tener un nuevo tipo de ciencia. **Creo que es interesante poder usar este tipo de ciencia, pero también necesitamos controlar la calidad del conocimiento producido. **Debes pensar en esto, porque los humanos ya no tendrán el privilegio exclusivo de producir conocimiento. Ahora el hombre tiene que competir con las máquinas. **

Entonces, la pregunta importante para nuestra sociedad es si podemos cooperar con las máquinas y dominar el desarrollo y la evolución del conocimiento desarrollado por las máquinas. **O desarrollaremos una situación en la que la ciencia impulsada por humanos y la ciencia impulsada por máquinas coexistan. **Sería un escenario interesante si tuviéramos ciencia paralela impulsada por estas máquinas.

**Tecnología Tencent: usted mencionó que la mente humana también es un sistema informático. Ambos sistemas son muy similares en sus componentes en comparación con las máquinas automáticas. Entonces, ¿cuáles son las capacidades únicas de los humanos en comparación con una fuerte inteligencia artificial? **

Joseph Schiffakis: Esa es una muy buena pregunta. Debido a que he estado trabajando en sistemas autónomos, intenté diseñar autos sin conductor. Para un automóvil autónomo, tendría funciones como la percepción, convirtiendo la información sensorial en conceptos. Tendrías una función reflexiva que modela el mundo exterior y toma decisiones. Tomar decisiones significa gestionar muchos objetivos diferentes. Para lograr estos objetivos, necesita planificación y más. De hecho, hay muchas similitudes entre los sistemas autónomos y la mente humana.

Sin embargo, existen algunas diferencias importantes entre los seres humanos y los sistemas autónomos. **Una diferencia muy importante es que los humanos poseen lo que yo llamaría conocimiento de sentido común. El conocimiento del sentido común es la red de conocimientos que desarrollamos desde el nacimiento. Tenemos un mecanismo, no sabemos cómo funciona. Pero a través de la experiencia diaria, enriqueces esta red y obtienes el conocimiento del sentido común para comprender el mundo. ** Para un ser humano, cuando piensa, conecta la información sensorial con este modelo conceptual de sentido común. Luego, los resultados del análisis se retroalimentan del modelo conceptual a la información sensorial. Esto es muy diferente de las redes neuronales. Déjame darte un ejemplo: te muestro una señal de alto parcialmente cubierta de nieve, e inmediatamente dices que es una señal de alto sin duda.

Ahora, si desea entrenar una red neuronal para que reconozca una señal de alto que está parcialmente cubierta de nieve, esto significa que dado que la red neuronal no puede conectar la información sensorial con el modelo conceptual, tendrá que entrenar la red neuronal para comprender todo el clima. condiciones Condición. **Es por eso que los niños son más fáciles de aprender que las redes neuronales. Si le muestras un auto a un niño una vez, la próxima vez dirá que es un auto. **Porque forman un modelo abstracto de lo que es un coche a través de la observación. Pueden relacionar la información sensorial con este modelo conceptual. **Este es uno de los mayores desafíos que enfrenta la inteligencia artificial en la actualidad. **Este también es un problema importante para los automóviles autónomos. Los automóviles autónomos deberían poder recopilar información sensorial y vincular esa información con mapas y más. Tomar decisiones basadas únicamente en información sensorial podría ser peligroso. Hemos tenido ejemplos de esto antes.

No está claro por qué los humanos pueden comprender situaciones complejas sin mucho análisis y computación. Podemos hacer esto porque podemos conectar la información sensorial con cierta información conceptual, información abstracta. Entonces, donde no podemos equivocarnos en absoluto, las redes neuronales pueden fallar mucho. Recuerdo una vez que mi Tesla se detuvo repentinamente porque pensó que la combinación de la luna y los árboles era un semáforo en amarillo. Esto absolutamente no les sucede a los humanos, porque los humanos pueden contextualizar la información para darle sentido. Inmediatamente entendí que era la luna, porque los semáforos no pueden estar flotando en el cielo.

Entonces, cuando alguien dice que estos sistemas pueden competir con los humanos de alguna manera, tal vez pueda hacerlo. **Pero la inteligencia humana se caracteriza por su capacidad para comprender el mundo y hacer preguntas con un propósito. La inteligencia artificial aún está lejos de este objetivo. **

**Tecnología Tencent: Porque has estudiado conducción autónoma, que ya incluye comprensión del entorno, cognición y percepción. Lecun argumenta que debido a que somos animales visuales, nuestra comprensión del mundo se basa en gran medida en la visión. Si los grandes modelos de lenguaje pueden ser multimodales y aprender del entorno, ¿pueden comprender el mundo mismo? **

Joseph Schiffakis: **Creo que si la IA no puede conectar el conocimiento concreto con el conocimiento simbólico, será imposible comprender el mundo solo apoyándose en grandes modelos de lenguaje. La IA solo puede hacer esto combinando conocimiento concreto, es decir, conocimiento en bases de datos, con conocimiento simbólico. Si no puede, entonces la inteligencia humana superará a las máquinas. Estoy bastante seguro de eso. **Sé que muchas personas no estarán de acuerdo conmigo porque la inteligencia computacional puede analizar y extraer datos a través de millones de parámetros. Los humanos no hacemos esto bien. Pero los humanos son buenos para lidiar con problemas abstractos.

**La inteligencia humana depende de la habilidad para usar analogías y metáforas. ** Incluso si no entendemos cómo funciona la creatividad humana, todavía puedo decir que es muy importante. **Porque en la creatividad humana se debe distinguir entre descubrimiento e invención. **La máquina puede descubrir algo a partir de datos más grandes y complejos mediante el análisis de datos. Pero la invención es otra cosa. Invención significa que he inventado una teoría. Creo que estamos lejos de entender esta parte de la inteligencia humana.

Pero la capacidad de descubrir también es útil, porque puede ayudar a los humanos a adivinar patrones más generales. Esto es algo que nuestras propias mentes no pueden descubrir. Pero no creo que las máquinas puedan crear nuevas teorías científicas o crear nuevas máquinas. **Aportarán una síntesis de los conocimientos que poseen. Como un proceso de destilación, contienen una gran cantidad de conocimiento, que luego destilan y te presentan. **Esto es increíble. Pero eso no es suficiente. Para lograr más posibilidades todavía se requieren capacidades humanas.

En un artículo que escribí, expliqué que en realidad hay diferentes tipos de inteligencia. La inteligencia humana es muy especial porque la base para el desarrollo de la inteligencia humana es el mundo especial en el que nos esforzamos por vivir. **Si nacieramos en otro mundo, tal vez desarrollaríamos otra inteligencia. La inteligencia es la capacidad de generar conocimiento y resolver problemas. **Por supuesto, ahora que vemos máquinas que pueden resolver algunos problemas que nosotros no podemos, en realidad poseen otro tipo de inteligencia. Es genial, tenemos algún tipo de complementariedad. **

04 El desarrollo de la ciencia y la tecnología debe dar prioridad a la mejora de la vida humana

**Tecnología Tencent: acabamos de tener algunas discusiones filosóficas y ahora discutiremos algunos temas sobre el impacto moral de la IA en la sociedad. La primera pregunta es que, a diferencia del optimismo de que las nuevas tecnologías crearán suficientes nuevos puestos de trabajo, usted menciona que la inteligencia artificial causará graves problemas de desempleo. Y si estos problemas pueden ser difíciles de resolver sin cambiar el sistema socioeconómico. ¿Puedes explicar por qué dices eso? Porque a mucha gente le preocupa eso. **

Joseph Schiffakis: El desarrollo de la IA aumentará la productividad. Hay algunas leyes muy simples en economía: si la productividad aumenta, entonces se necesita cada vez menos gente para hacer el mismo trabajo. Este punto es muy claro.

Ahora, algunas personas piensan que la IA creará algunas oportunidades de trabajo, especialmente para personas de alta calidad, creará nuevas oportunidades de trabajo. **Pero si compara los empleos creados por la IA con los empleos perdidos a causa de ella, el impacto de la IA debe ser negativo. **

Todos ahora están de acuerdo en que la IA causará desempleo. Esto es obvio. **Pero a lo largo de la historia de la humanidad la tecnología ha sido capaz de aumentar la productividad, lo que finalmente mejora la calidad de vida de las personas. **Durante siglos, la gente ha trabajado menos horas. Deberíamos considerar la solución de este problema mediante reformas económicas y sociales apropiadas. Incluida la reforma educativa, porque hay que educar a la gente para que se adapte a esta nueva era.

**Tecnología Tencent: En la revolución industrial, la vida de las personas no mejoró mucho al principio. Trabajan en fábricas y pueden trabajar 14 horas al día. ¿Cree que las condiciones de vida de las personas serán peores en los primeros días de la innovación tecnológica? **

Joseph Schiffakis: No, creo que la Revolución Industrial en general mejoró la calidad de vida humana. Este es el meollo del asunto. **Creo que el problema de la sociedad actual es que no se toma en serio este objetivo, piensan que el progreso tecnológico debe ser una prioridad. Pero creo que la máxima prioridad es cómo mejorar la vida humana, que debería ser la primera prioridad. Al menos yo soy humanitario. **

**Tecnología Tencent: también soy humanitario y entiendo cuán grave es este problema. ¿Cree que la IA podría tener consecuencias graves además del desempleo? **

Joseph Schiffakis: Es posible. Pero el problema es que algunas personas dicen que la inteligencia artificial supondrá una amenaza para los seres humanos, e incluso podemos convertirnos en esclavos de las máquinas. No me gusta esa declaración. Yo digo en mi libro que la tecnología es neutral. Tienes energía atómica, puedes usar energía atómica para generar electricidad y puedes usarla para hacer bombas y matar gente. Esta es tu decisión. Si realmente lo piensas bien, todas estas personas que dicen que la inteligencia artificial es una amenaza para los seres humanos son completamente estúpidas. Porque el uso de la tecnología es una responsabilidad humana. **

** Creo que estas personas dicen eso solo porque también quieren reducir la responsabilidad humana por esto. **Porque quieren que la gente acepte la IA, lo cual es una lástima. Las personas deben asumir la responsabilidad de los posibles problemas. No sé qué está pasando en China, pero desafortunadamente en el mundo occidental la gente no es demasiado sensible al respecto. Piensan que la tecnología (el impacto negativo) está predeterminada, lo cual es muy malo. También dije en mi libro que el mayor riesgo no es que los humanos sean gobernados por máquinas, sino que los humanos acepten que las máquinas toman todas las decisiones clave. Si tuviera un esclavo que pudiera hacer lo que quisiera, como en esos mitos árabes, al final sería el esclavo de mi esclavo. **Entonces el peligro viene de la gente. También he visto esto en las escuelas francesas, si un niño tiene acceso a un chatbot, no puede escribir, organizar sus pensamientos y termina dependiendo de la máquina. Este no es un escenario halagüeño para la humanidad.

**Tencent Technology: Hace unos días, muchas figuras conocidas en el campo de la IA, incluido Sam Altman, firmaron una declaración sobre la amenaza de extinción de la IA. En su libro, usted dijo que los medios actuales y los expertos de la industria están exagerando las capacidades y amenazas de la IA ¿Una de ellas? ¿Cree que el paradigma actual de la IA tiene la posibilidad de provocar una crisis de la civilización humana? **

Joseph Schiffakis: **Los peligros que plantea la IA son claros y pueden provenir principalmente de su mal uso. **Lamentablemente, a día de hoy no contamos con una normativa relevante frente a este peligro. Como el gobierno no sabe cómo se desarrollan estas cosas, la falta de transparencia hace que no se pueda aplicar la normativa. Es muy malo para la sociedad. Es muy probable que se haga un uso indebido de la IA, por lo que también firmé una petición en apoyo de una investigación de la empresa.

La tecnología es muy buena y no tengo nada en contra de la tecnología. Es fantástico que tengamos chatbots y deberíamos avanzar en esa dirección. **La inteligencia artificial, incluida la inteligencia artificial general, es algo bueno y no tengo nada en contra. A lo que me opongo es al mal uso de estas tecnologías. Varios países e instituciones internacionales deberían hacer cumplir las regulaciones, aunque existen ciertas dificultades porque el modelo de lenguaje grande en sí mismo carece de interpretabilidad. Pero aún podemos exigir algún tipo de transparencia de las empresas de desarrollo, como la forma en que se construyen los conjuntos de datos y cómo se entrenan esos motores. **

**Tecnología Tencent: Recientemente, el Congreso de EE. UU. realizó una audiencia sobre inteligencia artificial y personas estándar. Marcus, incluido Sam Altman, ha participado y se están aprobando proyectos de ley relacionados en Europa. ¿Crees que este es un buen comienzo? **

Joseph Schiffakis: Pero el problema es que **cuando la gente habla de inteligencia artificial segura, muchas veces no se refieren a lo mismo. **Como ingeniero, la seguridad tiene una definición muy clara para mí. Otros pueden pensar que la IA segura significa confiar en la IA tanto como en los humanos. La lógica subyacente de esta idea es tratar a la inteligencia artificial como un ser humano, no como una máquina. Hay muchos otros documentos que dicen que no importa lo que haga la IA, lo que importa es la intención de la IA, por lo que debe poder separar la intención del resultado, etc. Así que hay mucha discusión. **Espero que toda esta discusión conduzca a una regulación seria, no solo a una lista de deseos. **

**Tecnología Tencent: Hablemos de posibilidades más brillantes. Si la inteligencia artificial no se usa mal, ¿de qué manera puede cambiar nuestras vidas? **

Joseph Schiffakis: Si no hacemos un mal uso de la inteligencia artificial, el futuro es bastante prometedor. Esta es una gran revolución. Tiene un enorme potencial para desarrollar conocimientos para abordar algunos de los grandes desafíos que enfrenta la humanidad hoy en día, como el cambio climático, la gestión de recursos, los problemas de población, las pandemias y más.

Dije antes que hay una clara complementariedad entre humanos y máquinas. **Para los humanos, el mejor escenario es una cooperación armoniosa entre máquinas y humanos. Y en este proceso, los humanos podrán dominar todos los procesos de desarrollo y aplicación del conocimiento, asegurando que estas máquinas no tomarán decisiones clave por nosotros por sí mismas. **

El desafío que tenemos por delante es encontrar el equilibrio correcto, encontrar el equilibrio correcto de roles entre humanos y máquinas. Espero que podamos hacer esto con éxito.