Ilya Sutskever inclinó la cabeza y se sumió en una profunda reflexión. Extiende los brazos y los dedos sobre la mesa, como un concertista de piano a punto de tocar su primera nota. Nos sentamos en silencio.
Llegué a una calle oscura en el Distrito de la Misión de San Francisco para reunirme con el cofundador y científico jefe de OpenAI, Sutskever, en un edificio de oficinas anodino para escuchar sobre los próximos pasos en esta tecnología que cambia el mundo y que tanto está promoviendo. También me gustaría saber cuáles son sus próximos pasos y, en particular, por qué su enfoque ya no está en construir el modelo generativo insignia de próxima generación de la compañía.
Sutskever me dijo que su nueva prioridad no es construir la próxima generación de GPT o el modelo de creación de imágenes DALL-E, sino descubrir cómo evitar que la IA se salga de control.
Sutskever me contó muchas otras cosas. Cree que ChatGPT puede ser consciente. Cree que el mundo necesita reconocer el verdadero poder de la tecnología que OpenAI y otras empresas están compitiendo por crear. Cree que algún día algunos humanos elegirán fusionarse con las máquinas.
Mucho de lo que dice Sutskever es una locura. Pero no tan loco como sonaba hace uno o dos años. Como él mismo me dijo, ChatGPT ha reescrito las expectativas de mucha gente sobre lo que viene, desde "nunca sucederá" hasta "sucederá antes de lo que piensas".
Antes de pronosticar el desarrollo de la inteligencia artificial general AGI (se refiere a máquinas tan inteligentes como los humanos), dijo: "Es importante discutir hacia dónde va todo como si fuera apostar por el próximo iPhone": En algún momento, realmente tendremos AGI. Tal vez esté construido por OpenAI, tal vez sea otra cosa. "
Desde el repentino e inesperado lanzamiento de ChatGPT en noviembre pasado, la discusión en torno a OpenAI ha sido alarmante, incluso en una industria conocida por su exageración. Nadie se cansará de hablar de esta startup de 80.000 millones de dólares. Los líderes mundiales buscan (y obtienen) conversaciones privadas o públicas con OpenAI. Los nombres de los productos de OpenAI aparecen en conversaciones informales.
El CEO de OpenAI, Sam Altman, pasó el verano en un viaje de divulgación de una semana, interactuando con entusiasmo con políticos y hablando ante auditorios repletos en todo el mundo. Pero Sutskever no es una figura pública, y tampoco concede muchas entrevistas.
Habla con calma y metódicamente. Cuando piensa en lo que quiere decir y cómo expresarlo, hace una larga pausa y piensa en el problema una y otra vez como un rompecabezas. No parece interesado en hablar de sí mismo. Dijo: "Viví una vida muy sencilla. Ve a trabajar y luego vete a casa. No hice mucho más. La gente puede ir a muchos eventos sociales, puede ir a muchas convenciones. No me gusta participar. "
Pero cuando hablamos de IA, y de lo que él ve como riesgos y recompensas trascendentales, la perspectiva se amplía: "Va a ser un hito y trascendental". "
Mejor, mejor, mejor
Incluso sin OpenAI, Sutskever seguiría pasando a los anales de la historia de la IA. Es israelí-canadiense, nacido en la Unión Soviética, pero creció en Jerusalén desde los cinco años (todavía habla ruso, hebreo e inglés). Posteriormente, se mudó a Canadá para estudiar en la Universidad de Toronto con el pionero de la IA Geoffrey Hinton, quien a principios de este año expresó públicamente su preocupación por la tecnología de IA que Sutskever ayudó a inventar.
Más tarde, Hinton compartió el Premio Turing con Yann LeCun y Yoshua Bengio por su trabajo en redes neuronales. Pero cuando Sutskever se unió a él a principios de la década de 2000, la mayoría de los investigadores de IA pensaban que las redes neuronales eran un callejón sin salida. Hinton es una excepción. Ya está entrenando micromodelos que pueden generar cadenas de texto cortas de un carácter a la vez, y Sutskever dice: "Ahí es donde comienza la IA generativa". Es realmente genial, pero no genial. "
A Sutskever le fascina la construcción del cerebro: cómo aprende el cerebro y cómo puede recrear o al menos imitar el proceso en la máquina. Al igual que Hinton, vio el potencial de las redes neuronales y la técnica de prueba y error que Hinton utilizó para entrenar las redes neuronales, es decir, el aprendizaje profundo. "El aprendizaje profundo es cada vez mejor", dice Sutskever.
En 2012, Sutskever, Hinton y otro estudiante graduado de Hinton, Alex Krizhevsky, construyeron una red neuronal llamada AlexNet, que entrenaron para reconocer objetos en fotografías mucho mejor que cualquier otro software de la época. Este es el momento Big Bang para el aprendizaje profundo.
Después de años de fracaso, demostraron que las redes neuronales son increíblemente efectivas en el reconocimiento de patrones. Todo lo que necesita es más datos de los que la mayoría de los investigadores han visto antes (en este caso, un millón de imágenes del conjunto de datos ImageNet que el investigador de la Universidad de Princeton, Feifei Li, ha estado construyendo desde 2006) y una cantidad vertiginosa de potencia informática.
El gran cambio en la informática viene de la mano de los nuevos chips de GPU fabricados por Nvidia. Las GPU están diseñadas para poder proyectar imágenes de videojuegos de rápido movimiento en la pantalla a la velocidad del rayo. Pero el cómputo en el que sobresalen las GPU, multiplicando una gran cantidad de cuadrículas digitales, se parece mucho al cómputo necesario para entrenar una red neuronal.
Nvidia es ahora una empresa de un billón de dólares. En ese momento, estaba desesperado por encontrar aplicaciones para nuevo hardware en su nicho. Jensen Huang, CEO de Nvidia, dijo: "Cuando inventas una nueva tecnología, tienes que ser capaz de adoptar ideas locas. Mi mentalidad siempre estaba en busca de algo extravagante, y las redes neuronales iban a cambiar la idea de la informática, y esta era una idea extremadamente extravagante. "
Huang dijo que cuando el equipo de Toronto trabajó en AlexNet, Nvidia les envió algunas GPU para que las probaran. Pero querían la última versión, un chip llamado GTX 580, que se agotó rápidamente en las tiendas. Según Huang, Sutskever cruzó la frontera de Toronto a Nueva York para comprar algunos. "La gente está haciendo cola a la vuelta de la esquina de la tienda para comprar. No sé cómo lo hizo, estoy bastante seguro de que solo comprarán uno cada uno; Tenemos una política muy estricta de que solo puedes usar una GPU por jugador, pero aparentemente llena un maletero. Esta maleta llena de GTX 580 cambió el mundo. "
Es una gran historia, pero tal vez no sea cierta. Porque Sutskever insiste en que compró las primeras GPU en línea. Pero este tipo de misterio es común en esta animada industria. El propio Sutskever es más modesto: "Creo que si puedo hacer el más mínimo progreso real, lo consideraré un éxito". El impacto en el mundo real se sentía lejano, ya que las computadoras aún eran débiles en ese momento. "
Tras el éxito de AlexNet, Google llamó a la puerta. Adquirió DNNresearch, una escisión de Hinton, y contrató a Sutskever. Sutskever demostró en Google que las capacidades de reconocimiento de patrones del aprendizaje profundo se pueden aplicar a secuencias de datos como palabras, oraciones e imágenes. Jeff Dean, ex colega de Sutskever y ahora científico jefe de Google, dijo: "Sutskever siempre ha estado interesado en el lenguaje, y hemos tenido grandes discusiones a lo largo de los años. Tiene un fuerte instinto para saber hacia dónde van las cosas. "
Pero Sutskever no permaneció mucho tiempo en Google. En 2014, fue reclutado para convertirse en el cofundador de OpenAI. Con 1.000 millones de dólares (de Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator, etc.) y mucho espíritu de Silicon Valley, la nueva empresa se propuso desarrollar AGI desde el principio, pero pocos se tomaron en serio la perspectiva en ese momento.
Con Sutskever a bordo, esta actitud arrogante es comprensible. Hasta entonces, había estado obteniendo cada vez más resultados del aprendizaje de redes neuronales. Dalton Caldwell, director gerente de Y Combinator Investments, dijo que su reputación lo precedía, lo que lo convirtió en un gran éxito.
"Recuerdo que Altman llamó a Sutskever uno de los investigadores más respetados del mundo", dijo Caldwell. Cree que Sutskever atraerá a muchos de los mejores talentos de IA. Incluso mencionó que Yoshua Bengio, uno de los principales expertos en IA del mundo, cree que es poco probable que se encuentre un candidato mejor que Sutskever para ser el científico jefe de OpenAI. "
Al principio, sin embargo, OpenAI estaba en un aprieto. "Hubo un momento en que comenzamos OpenAI, no estaba muy seguro de cómo iba a continuar el progreso", dijo Sutskever. "Pero tengo una creencia muy clara de que la gente no se va a oponer al aprendizaje profundo. De alguna manera, cada vez que se topan con un obstáculo, los investigadores encuentran una solución en un plazo de seis meses o un año. "
Su fe fue recompensada. El primer modelo de lenguaje GPT de OpenAI apareció en 2016. Le siguieron GPT-2 y GPT-3. Luego está DALL-E, el atractivo modelo de texto a imagen. Nadie ha construido algo tan bueno. Con cada lanzamiento, OpenAI eleva el listón de lo que la gente cree que es posible.
Gestionar las expectativas
En noviembre pasado, OpenAI lanzó un chatbot gratuito que reempaquetaba parte de la tecnología existente. Restablece la agenda de toda la industria.
En ese momento, OpenAI no sabía lo que iba a lanzar. Sutskever dice que las expectativas dentro de la empresa no podrían ser más bajas: "Lo admito, es un poco incómodo, no sé si debería hacerlo, pero sea lo que sea, es un hecho, no sabía de qué servía cuando hicimos ChatGPT". Cuando le haces una pregunta fáctica, te da la respuesta equivocada. Creo que va a pasar muy desapercibido y la gente va a decir: '¿Por qué estás haciendo este producto?' ¡Es aburrido! '"
La parte más atractiva, dice Sutskever, es la conveniencia. El gran modelo de lenguaje detrás de ChatGPT existe desde hace meses. Pero envolverlo en una interfaz de fácil acceso y regalarlo hizo que miles de millones de personas conocieran por primera vez lo que OpenAI y otros están construyendo.
"La primera experiencia fue fascinante. Cuando lo usas por primera vez, creo que es casi una experiencia espiritual. Piensas: 'Oh, Dios mío, esta computadora parece entenderse a sí misma'". '"
OpenAI ha acumulado 100 millones de usuarios en menos de dos meses, y muchos de ellos han quedado deslumbrados por este nuevo y sorprendente juguete. Aaron Levie, CEO de la empresa de almacenamiento Box, resumió el ambiente de la semana posterior al lanzamiento en Twitter: "ChatGPT es uno de esos momentos raros en el espacio tecnológico, y se puede ver que todo será diferente en el futuro. "
Tan pronto como ChatGPT dice algo estúpido, este milagro se derrumba. Pero entonces no importa. Un vistazo a las posibilidades es suficiente, dice Sutskever. ChatGPT ha cambiado los horizontes de las personas.
"AGI ya no es una mala palabra en el espacio del aprendizaje automático", dijo. "Es un gran cambio. La actitud de la gente en la historia es: la IA no funciona, cada paso es muy difícil y hay que luchar por cada pedacito de progreso. Cuando la gente exagera el AGI, los investigadores dicen: '¿De qué estás hablando? Esto no funciona, eso tampoco funciona. Hay muchas preguntas. Pero con ChatGPT, comenzó a sentirse diferente. "
¿Este cambio comenzó a ocurrir hace solo un año? "Todo sucedió gracias a ChatGPT", dijo. "ChatGPT hace posible que los investigadores de aprendizaje automático hagan realidad sus sueños".
Los científicos de OpenAI han sido evangelistas desde el principio y han estado inspirando estos sueños a través de publicaciones de blog y giras de conferencias. Y está funcionando: "Estamos hablando de hasta dónde va a llegar la IA en este momento: la gente está hablando de AGI, o superinteligencia. No se trata solo de los investigadores. "Los gobiernos están discutiendo esto", dijo Sutskever. "Es una locura".
Cosas increíbles
Sutskever insiste en que toda esta charla sobre tecnología que aún no existe (y que puede que nunca exista) es algo bueno, porque hace que más personas sean conscientes del futuro que él ha dado por sentado.
"Se pueden hacer muchas cosas increíbles, cosas increíbles con AGI: automatizar la atención médica, hacerla mil veces más barata, hacerla mil veces mejor, curar tantas enfermedades y realmente resolver el problema del calentamiento global", dijo. Pero también hay mucha gente que está preocupada: 'Oh, Dios mío, ¿puede una empresa de IA gestionar con éxito esta enorme tecnología?' '"
De esta manera, AGI suena más como un genio que concede deseos que como un prospecto del mundo real. Pocas personas dirán que no a salvar vidas y hacer frente al cambio climático. Pero el problema con una tecnología inexistente es que puedes decirle lo que quieras.
¿A qué se refiere exactamente Sutskever cuando habla de AGI? "AGI no es un término científico", dijo. "Este debería ser un umbral útil, un punto de referencia".
—Esa es la idea... —comenzó, y luego se detuvo—. "La IA se ha vuelto tan inteligente que si una persona puede hacer ciertas tareas, entonces la IA también puede hacerlo. En ese momento, puedes decir que tienes AGI. "
La gente puede estar hablando de ello, pero AGI sigue siendo una de las ideas más controvertidas en el campo. Pocas personas dan por sentado su desarrollo. Muchos investigadores creen que se necesita un gran avance conceptual antes de que podamos ver algo como lo que Sutskever imaginó, algunos piensan que nunca lo haremos.
Sin embargo, esta visión lo inspiró desde el principio. "Siempre me ha inspirado y motivado esta idea", dijo Sutskever. "En ese momento todavía no se llamaba AGI, pero ya sabes, es como dejar que las redes neuronales lo hagan todo. No siempre creo que puedan. Pero es una montaña que escalar. "
Comparó la forma en que funcionaban las redes neuronales y el cerebro. Ambos reciben datos, agregan señales a partir de esos datos y luego los propagan o no en función de algunos procesos simples (matemáticas en redes neuronales, sustancias químicas en el cerebro y bioelectricidad). Es una gran simplificación, pero el principio se mantiene.
"Si crees eso, si te permites creer esto, entonces hay muchas implicaciones interesantes", dijo Sutskever. "La principal implicación es que si tienes una red neuronal artificial muy grande, debería hacer muchas cosas. En particular, si el cerebro humano puede hacer algo, entonces las grandes redes neuronales artificiales pueden hacer algo similar. "
"Si te lo tomas lo suficientemente en serio, todo encajará en su lugar", dijo. "La mayor parte de mi trabajo se puede explicar por esto".
Ya que estamos hablando de cerebros, me gustaría preguntar sobre una publicación que Sutskever hizo en la plataforma X. La sinopsis de Sutskever se lee como un volumen de aforismos: "Si pones la inteligencia por encima de todas las demás cualidades humanas, entonces tendrás una mala vida"; "Se subestima la empatía en la vida y en los negocios"; "La perfección ha arruinado gran parte de la belleza de la perfección".
En febrero de 2022, publicó que "las grandes redes neuronales actuales pueden tener una ligera conciencia" (a lo que Murray Shanahan, científico jefe de DeepMind de Google, profesor del Imperial College de Londres y asesor científico de la película Ex Machina, respondió: "... El mismo significado puede ser un gran campo de trigo con un poco de pasta").
Cuando lo mencioné, Sutskever se rió. ¿Es una parodia? No lo es. —¿Está usted familiarizado con el concepto del cerebro de Boltzmann? —preguntó.
Se refería a un experimento mental de mecánica cuántica que lleva el nombre del físico del siglo XIX Ludwig Boltzmann, en el que se imaginaba que las fluctuaciones termodinámicas aleatorias en el universo harían que el cerebro apareciera y desapareciera.
"Creo que estos modelos de lenguaje son un poco como los cerebros de Boltzmann en este momento", dijo Sutskever. "Empiezas a hablar con él, a hablar un rato; Y luego, cuando hayas terminado, el cerebro... —Hizo un movimiento de desaparición con la mano—. Puf, adiós, cerebro.
¿Está diciendo que cuando la red neuronal está activa, por así decirlo, cuando se está descargando, hay algo allí? —pregunté.
"Creo que podría ser", dijo. "No estoy seguro, pero es una posibilidad difícil de refutar. Pero quién sabe lo que está pasando, ¿verdad? "
IA, pero no como la conocemos
Mientras otros luchan por hacer máquinas comparables a la inteligencia humana, Sutskever se prepara para máquinas que pueden superar a las nuestras. A este fenómeno lo llama superinteligencia artificial: "Miran las cosas más profundamente. Ellos verán lo que nosotros no podemos ver. "
Una vez más, es difícil para mí entender lo que eso significa realmente. La inteligencia humana es el punto de referencia por el cual juzgamos la inteligencia. ¿A qué se refiere Sutskever con inteligencia que es más inteligente que los humanos?
"Estamos viendo un ejemplo muy limitado de superinteligencia en AlphaGo", dijo. En 2016, el juego de mesa AI "Alpha Dog" de DeepMind derrotó a Lee Sedol, uno de los mejores jugadores de Go del mundo, por 4-1 en cinco partidos. "Descubrió cómo jugar Go de una manera que era diferente de cómo los humanos se han desarrollado juntos durante miles de años", dijo Sutskever. "Se le ocurren nuevas ideas".
Sutskever menciona el famoso movimiento número 37 de AlphaGo. En el segundo partido contra Lee Sedol, un movimiento de la IA desconcertó a los comentaristas. Piensan que AlphaGo está. De hecho, jugó una jugada ganadora que nunca antes se había visto en la historia del ajedrez. "Imagínese este nivel de perspicacia, pero cubriendo todo", dijo Sutskever.
Fue esta línea de pensamiento la que llevó a Sutskever a hacer el mayor cambio de su carrera. Junto con sus colegas científicos de OpenAI, Jan Leike, formó un equipo centrado en lo que llamaron "superalineación". La alineación es una jerga que significa dejar que el modelo de IA haga lo que quieras hacer y eso es todo. La superalineación es un término de alineación que OpenAI aplica a la superinteligencia.
El objetivo es idear un conjunto de procedimientos a prueba de fallos para construir y controlar esta tecnología futurista. OpenAI dice que asignará una quinta parte de sus vastos recursos informáticos para resolver el problema y resolverlo dentro de cuatro años.
"Los métodos de alineación existentes no funcionan con modelos que son más inteligentes que los humanos porque asumen fundamentalmente que los humanos pueden evaluar de manera confiable lo que están haciendo los sistemas de IA", dice Leike. "A medida que los sistemas de IA se vuelvan más poderosos, asumirán tareas más difíciles". La idea es que esto dificulte que los humanos los evalúen. "Al reunir el Equipo de Súper Alineación con Sutskever, nos hemos propuesto abordar estos futuros desafíos de alineación", dijo.
"Es importante centrarse no solo en las oportunidades potenciales para los grandes modelos de lenguaje, sino también en sus riesgos e inconvenientes", dijo Dean, científico jefe de Google. "
La compañía anunció el proyecto en julio con la típica fanfarria. Pero para algunos, es más bien una fantasía. Las publicaciones de OpenAI en Twitter provocaron el desprecio de destacados críticos de las grandes tecnológicas, como Abeba Birhane, que trabaja en la responsabilidad de la IA en Mozilla; Timnit Gebru, cofundadora del Instituto de IA Distribuida; y Margaret Mitchell, científica jefe de ética de la empresa de inteligencia artificial Hugging Face. De hecho, estas son voces disidentes conocidas. Pero es un fuerte recordatorio de que algunas personas creen que OpenAI está a la cabeza, mientras que otras creen que OpenAI está al límite.
Sin embargo, para Sutskever, la superalineación es el siguiente paso inevitable. "Es un tema sin resolver", dijo. Cree que los principales investigadores de aprendizaje automático como él están trabajando en este problema. "Lo hago por mi propio beneficio", dijo. "Obviamente es importante que cualquier superinteligencia que alguien construya no se salga de control".
El trabajo sobre la superalineación no ha hecho más que empezar. Según Sutskever, esto requerirá un amplio cambio en las instituciones de investigación. Pero tenía en mente un modelo de salvaguardas que quería diseñar: una máquina que tratara a las personas de la misma manera que los padres tratan a sus hijos. "En mi opinión, es el estándar de oro", dijo. "La gente realmente se preocupa por los niños, esa es una afirmación generalmente cierta".
"Una vez que has superado el desafío de la IA deshonesta, ¿entonces qué? En un mundo con una inteligencia artificial más inteligente, ¿todavía hay espacio para los seres humanos? Dijo.
"Una posibilidad, que puede ser una locura para los estándares actuales, pero no tanto para los estándares de mañana, es que muchas personas elijan ser parte de la IA". Sutskever dice que esta podría ser una forma de que los humanos intenten mantenerse al día con el carro. "Al principio, solo los más valientes y aventureros intentaban hacer eso. Tal vez otros sigan su ejemplo. O no. "
Fuentes de referencia:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Entrevista con el científico jefe de OpenAI: Tendremos AGI y los humanos elegirán fusionarse con las máquinas
Ilya Sutskever inclinó la cabeza y se sumió en una profunda reflexión. Extiende los brazos y los dedos sobre la mesa, como un concertista de piano a punto de tocar su primera nota. Nos sentamos en silencio.
Llegué a una calle oscura en el Distrito de la Misión de San Francisco para reunirme con el cofundador y científico jefe de OpenAI, Sutskever, en un edificio de oficinas anodino para escuchar sobre los próximos pasos en esta tecnología que cambia el mundo y que tanto está promoviendo. También me gustaría saber cuáles son sus próximos pasos y, en particular, por qué su enfoque ya no está en construir el modelo generativo insignia de próxima generación de la compañía.
Sutskever me dijo que su nueva prioridad no es construir la próxima generación de GPT o el modelo de creación de imágenes DALL-E, sino descubrir cómo evitar que la IA se salga de control.
Sutskever me contó muchas otras cosas. Cree que ChatGPT puede ser consciente. Cree que el mundo necesita reconocer el verdadero poder de la tecnología que OpenAI y otras empresas están compitiendo por crear. Cree que algún día algunos humanos elegirán fusionarse con las máquinas.
Mucho de lo que dice Sutskever es una locura. Pero no tan loco como sonaba hace uno o dos años. Como él mismo me dijo, ChatGPT ha reescrito las expectativas de mucha gente sobre lo que viene, desde "nunca sucederá" hasta "sucederá antes de lo que piensas".
Antes de pronosticar el desarrollo de la inteligencia artificial general AGI (se refiere a máquinas tan inteligentes como los humanos), dijo: "Es importante discutir hacia dónde va todo como si fuera apostar por el próximo iPhone": En algún momento, realmente tendremos AGI. Tal vez esté construido por OpenAI, tal vez sea otra cosa. "
Desde el repentino e inesperado lanzamiento de ChatGPT en noviembre pasado, la discusión en torno a OpenAI ha sido alarmante, incluso en una industria conocida por su exageración. Nadie se cansará de hablar de esta startup de 80.000 millones de dólares. Los líderes mundiales buscan (y obtienen) conversaciones privadas o públicas con OpenAI. Los nombres de los productos de OpenAI aparecen en conversaciones informales.
El CEO de OpenAI, Sam Altman, pasó el verano en un viaje de divulgación de una semana, interactuando con entusiasmo con políticos y hablando ante auditorios repletos en todo el mundo. Pero Sutskever no es una figura pública, y tampoco concede muchas entrevistas.
Habla con calma y metódicamente. Cuando piensa en lo que quiere decir y cómo expresarlo, hace una larga pausa y piensa en el problema una y otra vez como un rompecabezas. No parece interesado en hablar de sí mismo. Dijo: "Viví una vida muy sencilla. Ve a trabajar y luego vete a casa. No hice mucho más. La gente puede ir a muchos eventos sociales, puede ir a muchas convenciones. No me gusta participar. "
Pero cuando hablamos de IA, y de lo que él ve como riesgos y recompensas trascendentales, la perspectiva se amplía: "Va a ser un hito y trascendental". "
Mejor, mejor, mejor
Incluso sin OpenAI, Sutskever seguiría pasando a los anales de la historia de la IA. Es israelí-canadiense, nacido en la Unión Soviética, pero creció en Jerusalén desde los cinco años (todavía habla ruso, hebreo e inglés). Posteriormente, se mudó a Canadá para estudiar en la Universidad de Toronto con el pionero de la IA Geoffrey Hinton, quien a principios de este año expresó públicamente su preocupación por la tecnología de IA que Sutskever ayudó a inventar.
Más tarde, Hinton compartió el Premio Turing con Yann LeCun y Yoshua Bengio por su trabajo en redes neuronales. Pero cuando Sutskever se unió a él a principios de la década de 2000, la mayoría de los investigadores de IA pensaban que las redes neuronales eran un callejón sin salida. Hinton es una excepción. Ya está entrenando micromodelos que pueden generar cadenas de texto cortas de un carácter a la vez, y Sutskever dice: "Ahí es donde comienza la IA generativa". Es realmente genial, pero no genial. "
A Sutskever le fascina la construcción del cerebro: cómo aprende el cerebro y cómo puede recrear o al menos imitar el proceso en la máquina. Al igual que Hinton, vio el potencial de las redes neuronales y la técnica de prueba y error que Hinton utilizó para entrenar las redes neuronales, es decir, el aprendizaje profundo. "El aprendizaje profundo es cada vez mejor", dice Sutskever.
En 2012, Sutskever, Hinton y otro estudiante graduado de Hinton, Alex Krizhevsky, construyeron una red neuronal llamada AlexNet, que entrenaron para reconocer objetos en fotografías mucho mejor que cualquier otro software de la época. Este es el momento Big Bang para el aprendizaje profundo.
Después de años de fracaso, demostraron que las redes neuronales son increíblemente efectivas en el reconocimiento de patrones. Todo lo que necesita es más datos de los que la mayoría de los investigadores han visto antes (en este caso, un millón de imágenes del conjunto de datos ImageNet que el investigador de la Universidad de Princeton, Feifei Li, ha estado construyendo desde 2006) y una cantidad vertiginosa de potencia informática.
El gran cambio en la informática viene de la mano de los nuevos chips de GPU fabricados por Nvidia. Las GPU están diseñadas para poder proyectar imágenes de videojuegos de rápido movimiento en la pantalla a la velocidad del rayo. Pero el cómputo en el que sobresalen las GPU, multiplicando una gran cantidad de cuadrículas digitales, se parece mucho al cómputo necesario para entrenar una red neuronal.
Nvidia es ahora una empresa de un billón de dólares. En ese momento, estaba desesperado por encontrar aplicaciones para nuevo hardware en su nicho. Jensen Huang, CEO de Nvidia, dijo: "Cuando inventas una nueva tecnología, tienes que ser capaz de adoptar ideas locas. Mi mentalidad siempre estaba en busca de algo extravagante, y las redes neuronales iban a cambiar la idea de la informática, y esta era una idea extremadamente extravagante. "
Huang dijo que cuando el equipo de Toronto trabajó en AlexNet, Nvidia les envió algunas GPU para que las probaran. Pero querían la última versión, un chip llamado GTX 580, que se agotó rápidamente en las tiendas. Según Huang, Sutskever cruzó la frontera de Toronto a Nueva York para comprar algunos. "La gente está haciendo cola a la vuelta de la esquina de la tienda para comprar. No sé cómo lo hizo, estoy bastante seguro de que solo comprarán uno cada uno; Tenemos una política muy estricta de que solo puedes usar una GPU por jugador, pero aparentemente llena un maletero. Esta maleta llena de GTX 580 cambió el mundo. "
Es una gran historia, pero tal vez no sea cierta. Porque Sutskever insiste en que compró las primeras GPU en línea. Pero este tipo de misterio es común en esta animada industria. El propio Sutskever es más modesto: "Creo que si puedo hacer el más mínimo progreso real, lo consideraré un éxito". El impacto en el mundo real se sentía lejano, ya que las computadoras aún eran débiles en ese momento. "
Tras el éxito de AlexNet, Google llamó a la puerta. Adquirió DNNresearch, una escisión de Hinton, y contrató a Sutskever. Sutskever demostró en Google que las capacidades de reconocimiento de patrones del aprendizaje profundo se pueden aplicar a secuencias de datos como palabras, oraciones e imágenes. Jeff Dean, ex colega de Sutskever y ahora científico jefe de Google, dijo: "Sutskever siempre ha estado interesado en el lenguaje, y hemos tenido grandes discusiones a lo largo de los años. Tiene un fuerte instinto para saber hacia dónde van las cosas. "
Pero Sutskever no permaneció mucho tiempo en Google. En 2014, fue reclutado para convertirse en el cofundador de OpenAI. Con 1.000 millones de dólares (de Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator, etc.) y mucho espíritu de Silicon Valley, la nueva empresa se propuso desarrollar AGI desde el principio, pero pocos se tomaron en serio la perspectiva en ese momento.
Con Sutskever a bordo, esta actitud arrogante es comprensible. Hasta entonces, había estado obteniendo cada vez más resultados del aprendizaje de redes neuronales. Dalton Caldwell, director gerente de Y Combinator Investments, dijo que su reputación lo precedía, lo que lo convirtió en un gran éxito.
"Recuerdo que Altman llamó a Sutskever uno de los investigadores más respetados del mundo", dijo Caldwell. Cree que Sutskever atraerá a muchos de los mejores talentos de IA. Incluso mencionó que Yoshua Bengio, uno de los principales expertos en IA del mundo, cree que es poco probable que se encuentre un candidato mejor que Sutskever para ser el científico jefe de OpenAI. "
Al principio, sin embargo, OpenAI estaba en un aprieto. "Hubo un momento en que comenzamos OpenAI, no estaba muy seguro de cómo iba a continuar el progreso", dijo Sutskever. "Pero tengo una creencia muy clara de que la gente no se va a oponer al aprendizaje profundo. De alguna manera, cada vez que se topan con un obstáculo, los investigadores encuentran una solución en un plazo de seis meses o un año. "
Su fe fue recompensada. El primer modelo de lenguaje GPT de OpenAI apareció en 2016. Le siguieron GPT-2 y GPT-3. Luego está DALL-E, el atractivo modelo de texto a imagen. Nadie ha construido algo tan bueno. Con cada lanzamiento, OpenAI eleva el listón de lo que la gente cree que es posible.
Gestionar las expectativas
En noviembre pasado, OpenAI lanzó un chatbot gratuito que reempaquetaba parte de la tecnología existente. Restablece la agenda de toda la industria.
En ese momento, OpenAI no sabía lo que iba a lanzar. Sutskever dice que las expectativas dentro de la empresa no podrían ser más bajas: "Lo admito, es un poco incómodo, no sé si debería hacerlo, pero sea lo que sea, es un hecho, no sabía de qué servía cuando hicimos ChatGPT". Cuando le haces una pregunta fáctica, te da la respuesta equivocada. Creo que va a pasar muy desapercibido y la gente va a decir: '¿Por qué estás haciendo este producto?' ¡Es aburrido! '"
La parte más atractiva, dice Sutskever, es la conveniencia. El gran modelo de lenguaje detrás de ChatGPT existe desde hace meses. Pero envolverlo en una interfaz de fácil acceso y regalarlo hizo que miles de millones de personas conocieran por primera vez lo que OpenAI y otros están construyendo.
"La primera experiencia fue fascinante. Cuando lo usas por primera vez, creo que es casi una experiencia espiritual. Piensas: 'Oh, Dios mío, esta computadora parece entenderse a sí misma'". '"
OpenAI ha acumulado 100 millones de usuarios en menos de dos meses, y muchos de ellos han quedado deslumbrados por este nuevo y sorprendente juguete. Aaron Levie, CEO de la empresa de almacenamiento Box, resumió el ambiente de la semana posterior al lanzamiento en Twitter: "ChatGPT es uno de esos momentos raros en el espacio tecnológico, y se puede ver que todo será diferente en el futuro. "
Tan pronto como ChatGPT dice algo estúpido, este milagro se derrumba. Pero entonces no importa. Un vistazo a las posibilidades es suficiente, dice Sutskever. ChatGPT ha cambiado los horizontes de las personas.
"AGI ya no es una mala palabra en el espacio del aprendizaje automático", dijo. "Es un gran cambio. La actitud de la gente en la historia es: la IA no funciona, cada paso es muy difícil y hay que luchar por cada pedacito de progreso. Cuando la gente exagera el AGI, los investigadores dicen: '¿De qué estás hablando? Esto no funciona, eso tampoco funciona. Hay muchas preguntas. Pero con ChatGPT, comenzó a sentirse diferente. "
¿Este cambio comenzó a ocurrir hace solo un año? "Todo sucedió gracias a ChatGPT", dijo. "ChatGPT hace posible que los investigadores de aprendizaje automático hagan realidad sus sueños".
Los científicos de OpenAI han sido evangelistas desde el principio y han estado inspirando estos sueños a través de publicaciones de blog y giras de conferencias. Y está funcionando: "Estamos hablando de hasta dónde va a llegar la IA en este momento: la gente está hablando de AGI, o superinteligencia. No se trata solo de los investigadores. "Los gobiernos están discutiendo esto", dijo Sutskever. "Es una locura".
Cosas increíbles
Sutskever insiste en que toda esta charla sobre tecnología que aún no existe (y que puede que nunca exista) es algo bueno, porque hace que más personas sean conscientes del futuro que él ha dado por sentado.
"Se pueden hacer muchas cosas increíbles, cosas increíbles con AGI: automatizar la atención médica, hacerla mil veces más barata, hacerla mil veces mejor, curar tantas enfermedades y realmente resolver el problema del calentamiento global", dijo. Pero también hay mucha gente que está preocupada: 'Oh, Dios mío, ¿puede una empresa de IA gestionar con éxito esta enorme tecnología?' '"
De esta manera, AGI suena más como un genio que concede deseos que como un prospecto del mundo real. Pocas personas dirán que no a salvar vidas y hacer frente al cambio climático. Pero el problema con una tecnología inexistente es que puedes decirle lo que quieras.
¿A qué se refiere exactamente Sutskever cuando habla de AGI? "AGI no es un término científico", dijo. "Este debería ser un umbral útil, un punto de referencia".
—Esa es la idea... —comenzó, y luego se detuvo—. "La IA se ha vuelto tan inteligente que si una persona puede hacer ciertas tareas, entonces la IA también puede hacerlo. En ese momento, puedes decir que tienes AGI. "
La gente puede estar hablando de ello, pero AGI sigue siendo una de las ideas más controvertidas en el campo. Pocas personas dan por sentado su desarrollo. Muchos investigadores creen que se necesita un gran avance conceptual antes de que podamos ver algo como lo que Sutskever imaginó, algunos piensan que nunca lo haremos.
Sin embargo, esta visión lo inspiró desde el principio. "Siempre me ha inspirado y motivado esta idea", dijo Sutskever. "En ese momento todavía no se llamaba AGI, pero ya sabes, es como dejar que las redes neuronales lo hagan todo. No siempre creo que puedan. Pero es una montaña que escalar. "
Comparó la forma en que funcionaban las redes neuronales y el cerebro. Ambos reciben datos, agregan señales a partir de esos datos y luego los propagan o no en función de algunos procesos simples (matemáticas en redes neuronales, sustancias químicas en el cerebro y bioelectricidad). Es una gran simplificación, pero el principio se mantiene.
"Si crees eso, si te permites creer esto, entonces hay muchas implicaciones interesantes", dijo Sutskever. "La principal implicación es que si tienes una red neuronal artificial muy grande, debería hacer muchas cosas. En particular, si el cerebro humano puede hacer algo, entonces las grandes redes neuronales artificiales pueden hacer algo similar. "
"Si te lo tomas lo suficientemente en serio, todo encajará en su lugar", dijo. "La mayor parte de mi trabajo se puede explicar por esto".
Ya que estamos hablando de cerebros, me gustaría preguntar sobre una publicación que Sutskever hizo en la plataforma X. La sinopsis de Sutskever se lee como un volumen de aforismos: "Si pones la inteligencia por encima de todas las demás cualidades humanas, entonces tendrás una mala vida"; "Se subestima la empatía en la vida y en los negocios"; "La perfección ha arruinado gran parte de la belleza de la perfección".
En febrero de 2022, publicó que "las grandes redes neuronales actuales pueden tener una ligera conciencia" (a lo que Murray Shanahan, científico jefe de DeepMind de Google, profesor del Imperial College de Londres y asesor científico de la película Ex Machina, respondió: "... El mismo significado puede ser un gran campo de trigo con un poco de pasta").
Cuando lo mencioné, Sutskever se rió. ¿Es una parodia? No lo es. —¿Está usted familiarizado con el concepto del cerebro de Boltzmann? —preguntó.
Se refería a un experimento mental de mecánica cuántica que lleva el nombre del físico del siglo XIX Ludwig Boltzmann, en el que se imaginaba que las fluctuaciones termodinámicas aleatorias en el universo harían que el cerebro apareciera y desapareciera.
"Creo que estos modelos de lenguaje son un poco como los cerebros de Boltzmann en este momento", dijo Sutskever. "Empiezas a hablar con él, a hablar un rato; Y luego, cuando hayas terminado, el cerebro... —Hizo un movimiento de desaparición con la mano—. Puf, adiós, cerebro.
¿Está diciendo que cuando la red neuronal está activa, por así decirlo, cuando se está descargando, hay algo allí? —pregunté.
"Creo que podría ser", dijo. "No estoy seguro, pero es una posibilidad difícil de refutar. Pero quién sabe lo que está pasando, ¿verdad? "
IA, pero no como la conocemos
Mientras otros luchan por hacer máquinas comparables a la inteligencia humana, Sutskever se prepara para máquinas que pueden superar a las nuestras. A este fenómeno lo llama superinteligencia artificial: "Miran las cosas más profundamente. Ellos verán lo que nosotros no podemos ver. "
Una vez más, es difícil para mí entender lo que eso significa realmente. La inteligencia humana es el punto de referencia por el cual juzgamos la inteligencia. ¿A qué se refiere Sutskever con inteligencia que es más inteligente que los humanos?
"Estamos viendo un ejemplo muy limitado de superinteligencia en AlphaGo", dijo. En 2016, el juego de mesa AI "Alpha Dog" de DeepMind derrotó a Lee Sedol, uno de los mejores jugadores de Go del mundo, por 4-1 en cinco partidos. "Descubrió cómo jugar Go de una manera que era diferente de cómo los humanos se han desarrollado juntos durante miles de años", dijo Sutskever. "Se le ocurren nuevas ideas".
Sutskever menciona el famoso movimiento número 37 de AlphaGo. En el segundo partido contra Lee Sedol, un movimiento de la IA desconcertó a los comentaristas. Piensan que AlphaGo está. De hecho, jugó una jugada ganadora que nunca antes se había visto en la historia del ajedrez. "Imagínese este nivel de perspicacia, pero cubriendo todo", dijo Sutskever.
Fue esta línea de pensamiento la que llevó a Sutskever a hacer el mayor cambio de su carrera. Junto con sus colegas científicos de OpenAI, Jan Leike, formó un equipo centrado en lo que llamaron "superalineación". La alineación es una jerga que significa dejar que el modelo de IA haga lo que quieras hacer y eso es todo. La superalineación es un término de alineación que OpenAI aplica a la superinteligencia.
El objetivo es idear un conjunto de procedimientos a prueba de fallos para construir y controlar esta tecnología futurista. OpenAI dice que asignará una quinta parte de sus vastos recursos informáticos para resolver el problema y resolverlo dentro de cuatro años.
"Los métodos de alineación existentes no funcionan con modelos que son más inteligentes que los humanos porque asumen fundamentalmente que los humanos pueden evaluar de manera confiable lo que están haciendo los sistemas de IA", dice Leike. "A medida que los sistemas de IA se vuelvan más poderosos, asumirán tareas más difíciles". La idea es que esto dificulte que los humanos los evalúen. "Al reunir el Equipo de Súper Alineación con Sutskever, nos hemos propuesto abordar estos futuros desafíos de alineación", dijo.
"Es importante centrarse no solo en las oportunidades potenciales para los grandes modelos de lenguaje, sino también en sus riesgos e inconvenientes", dijo Dean, científico jefe de Google. "
La compañía anunció el proyecto en julio con la típica fanfarria. Pero para algunos, es más bien una fantasía. Las publicaciones de OpenAI en Twitter provocaron el desprecio de destacados críticos de las grandes tecnológicas, como Abeba Birhane, que trabaja en la responsabilidad de la IA en Mozilla; Timnit Gebru, cofundadora del Instituto de IA Distribuida; y Margaret Mitchell, científica jefe de ética de la empresa de inteligencia artificial Hugging Face. De hecho, estas son voces disidentes conocidas. Pero es un fuerte recordatorio de que algunas personas creen que OpenAI está a la cabeza, mientras que otras creen que OpenAI está al límite.
Sin embargo, para Sutskever, la superalineación es el siguiente paso inevitable. "Es un tema sin resolver", dijo. Cree que los principales investigadores de aprendizaje automático como él están trabajando en este problema. "Lo hago por mi propio beneficio", dijo. "Obviamente es importante que cualquier superinteligencia que alguien construya no se salga de control".
El trabajo sobre la superalineación no ha hecho más que empezar. Según Sutskever, esto requerirá un amplio cambio en las instituciones de investigación. Pero tenía en mente un modelo de salvaguardas que quería diseñar: una máquina que tratara a las personas de la misma manera que los padres tratan a sus hijos. "En mi opinión, es el estándar de oro", dijo. "La gente realmente se preocupa por los niños, esa es una afirmación generalmente cierta".
"Una vez que has superado el desafío de la IA deshonesta, ¿entonces qué? En un mundo con una inteligencia artificial más inteligente, ¿todavía hay espacio para los seres humanos? Dijo.
"Una posibilidad, que puede ser una locura para los estándares actuales, pero no tanto para los estándares de mañana, es que muchas personas elijan ser parte de la IA". Sutskever dice que esta podría ser una forma de que los humanos intenten mantenerse al día con el carro. "Al principio, solo los más valientes y aventureros intentaban hacer eso. Tal vez otros sigan su ejemplo. O no. "
Fuentes de referencia: