¡El padre del aprendizaje por refuerzo se une a AGI para iniciar un negocio! Al asociarnos con el legendario programador Carmack, no dependemos de modelos grandes.
El legendario programador John Carmack unió fuerzas con Richard Sutton, el padre del aprendizaje por refuerzo, para crear All in AGI.
2030 Demostrar al público que el objetivo de la inteligencia artificial general es factible.
Y a diferencia de los métodos convencionales, no se basa en grandes paradigmas de modelos y busca el aprendizaje en línea en tiempo real.
La pareja hizo el anuncio en un evento especial en el Machine Intelligence Institute (Amii) de la Universidad de Alberta, donde Sutton enseña.
Sutton se unirá a Keen Technologies, la startup de inteligencia artificial de Carmack, mientras mantiene su puesto docente en Alberta.
Ambos hombres admitieron en el evento que el equipo de Keen Technologies es pequeño en comparación con empresas más grandes con cientos o miles de empleados.
Todavía está en su infancia y todo el equipo técnico de la empresa está en el lugar——
Sólo estas 4 personas de pie.
Su escala de financiación es de 20 millones de dólares, lo que es incomparable con OpenAI y Anthropic, que a menudo recaudan miles de millones.
Pero creen que el código fuente final de AGI será del orden que una persona puede escribir y puede que sólo tenga decenas de miles de líneas.
Además, el campo de la IA se encuentra actualmente en un momento especial con el mayor efecto de palanca, y los equipos pequeños también tienen la oportunidad de hacer grandes contribuciones.
Programador legendario y padre del aprendizaje por refuerzo
La legendaria experiencia de Carmack, desde el desarrollo del primer juego 3D del mundo hasta la transición a la construcción de cohetes, pasando por unirse a Oculus y convertirse en una figura clave en el posterior Meta VR, es bien conocida.
Posteriormente, se involucró con la IA y también estuvo relacionado con OpenAI.
Una vez reveló en otra entrevista que Sam Altman lo había invitado a unirse a OpenAI y creía que podría desempeñar un papel importante en la optimización del sistema.
Pero Carmack creía que en ese momento no entendía nada de la IA moderna en el paradigma del aprendizaje automático, por lo que no estaba de acuerdo.
Esta se convirtió en una oportunidad para empezar a comprender la IA.
Le pidió a Ilya Sutskever, científico jefe de OpenAI, una lista de lecturas obligatorias para comenzar y comenzó a estudiar por su cuenta desde cero, obteniendo primero una comprensión básica de los algoritmos tradicionales de aprendizaje automático.
Cuando tuvo algo de tiempo libre y planeó seguir involucrándose en el aprendizaje profundo, se le ocurrió un desafío de programación de una semana:
Imprima algunos de los artículos clásicos de LeCun y practíquelos cuando la red esté desconectada, comenzando con la fórmula de retropropagación.
Después de una semana, finalizó el retiro con una red neuronal convolucional hecha a mano en C++, sin la ayuda de marcos modernos de aprendizaje profundo en Python.
Lo único que puedo decir es que admiro al gran maestro.
En ese momento, su negocio principal todavía era la investigación de realidad virtual en Oculus, una subsidiaria de Facebook (más tarde rebautizada como Meta), y dirigió el equipo para lanzar productos como Ouclus Go y Quest.
Sin embargo, durante este proceso poco a poco fueron surgiendo conflictos y desacuerdos entre él y la dirección de la empresa, consideraba que la eficiencia interna de la empresa era baja y también expresó públicamente su descontento.
En 2019, renunció a su puesto como CTO de Oculus y se convirtió en "CTO asesor" y comenzó a dedicar más energía a la IA.
En agosto de 2022, anunció que la nueva startup de inteligencia artificial, Keen Technologies, anunció una financiación de 20 millones de dólares, con inversores entre los que se encontraban Sequoia Capital, el ex director ejecutivo de GitHub, Nat Friedman, y otros.
Más tarde, también reveló que en realidad podría ganar dinero con tan solo 20 millones de dólares.
Pero recibir dinero de otros puede darle una sensación de crisis y urgencia, y una determinación más fuerte para hacer las cosas.
A finales de 2022, dejó oficialmente Meta y consideró la realidad virtual como una etapa de la vida que había pasado, y luego se volvió completamente hacia la IA.
Además de esta línea principal obvia, Carmack y AI también tienen un destino inexplicable.
Sus juegos 3D en ese momento estimularon la demanda de computación gráfica y las GPU comenzaron a desarrollarse y expandirse en el campo de los juegos.
Hoy en día, es la potencia informática de la GPU la que respalda la explosión de la IA, y todavía está orgulloso de su contribución cuando habla de esto.
……
El otro protagonista de hoy, Sutton, también es una leyenda.
Es conocido como el padre del aprendizaje por refuerzo y ha realizado importantes contribuciones a métodos como el aprendizaje por diferencia de tiempo por refuerzo y el gradiente de políticas. También es coautor del libro de texto estándar sobre aprendizaje por refuerzo.
En 2017, se unió a DeepMind como un científico destacado y participó en la serie de investigaciones AlphaGo. Su alumno David Silver es uno de los principales líderes de AlphaGo.
Sutton escribió un famoso artículo breve The Bitter Lesson, argumentando que intentar enseñar la experiencia humana a la IA no funcionará. Todos los avances hasta ahora se han basado en mejoras en la potencia informática. Es correcto seguir aprovechando la escala. efecto de la potencia informática.
Antes de que los dos se comunicaran formalmente, Carmack había expresado su preocupación y aprobación por este artículo.
Pero la verdadera comunicación directa entre los dos la realizó Sutton.
Hace unos meses, después de que Carmack anunciara la financiación de AGI Ventures, recibió un correo electrónico de Sutton.
Sutton quería preguntarle si su camino de investigación debería ser puramente académico, comercial o sin fines de lucro.
Sin embargo, en intercambios de correo electrónico posteriores, los dos descubrieron que había una coherencia sorprendente en las direcciones y conceptos de la investigación de IA y gradualmente establecieron una relación de cooperación.
Específicamente, los dos llegaron a 4 consensos:
Todos creen que el desarrollo actual de AGI se limita a unas pocas direcciones muy estrechas, confiando demasiado en big data y gran potencia informática y descuidando la innovación.
Todos creen que una comercialización demasiado temprana obstaculizará el desarrollo de AGI.
Todos creen que el AGI final no será demasiado complicado y que una persona puede dominar todos los principios e incluso una persona puede escribir el código principal.
Todos creen que la aparición de prototipos AGI en 2030 es un objetivo factible.
No solo confíe en modelos grandes, los equipos pequeños también tienen oportunidades
Un objetivo muy audaz, y el público también lo pensó.
Ante la pregunta "¿Cómo puede un equipo pequeño lograr un objetivo tan ambicioso?", Carmack creía que la cantidad de datos y potencia informática necesarios para lograr AGI puede no ser tan grande como se imaginaba.
Capture lo que los humanos ven a través de los ojos durante todo un año en un vídeo a 30 fotogramas por segundo, que se puede instalar en una unidad flash USB del tamaño de un pulgar.
Un niño de 1 año tiene una cantidad limitada de datos de experiencia y ya ha demostrado una inteligencia evidente.
Si el algoritmo es correcto, no es necesario utilizar todos los datos de Internet para que AGI aprenda.
Con respecto a la demanda de potencia informática, también utiliza este tipo de pensamiento intuitivo para considerar: la potencia informática del cerebro humano también es limitada, lejos de alcanzar el nivel de un gran grupo de potencia informática.
Es más grande que un nodo de servidor (nodo) y más grande que un gabinete (rack), pero el máximo es solo un orden de magnitud mayor.
Y a medida que pase el tiempo, el algoritmo se volverá más eficiente y la potencia informática requerida seguirá disminuyendo.
Si el trabajo de Carmack en juegos 3D, cohetes y realidad virtual, estas áreas de trabajo aparentemente no relacionadas, tienen algo en común, es la optimización de sistemas de retroalimentación en tiempo real a gran escala.
Esto es lo que buscaba Sam Altman cuando lo invitó a unirse a OpenAI.
La arquitectura AGI que imaginó debería ser modular y distribuida en lugar de un enorme modelo centralizado.
El aprendizaje también debería ser aprendizaje continuo en línea, en lugar del entrenamiento previo actual donde la mayoría de los parámetros ya no se actualizan.
Mi conclusión es que si un sistema no puede funcionar a 30 Hz, que se actualiza aproximadamente cada 33 milisegundos durante el entrenamiento, no lo usaré.
Dijo además que, como programador de sistemas de bajo nivel que puede escribir código Cuda original y gestionar la comunicación de red por sí mismo, es posible que pueda realizar algunos trabajos que otros no considerarán en absoluto.
Ni siquiera se limita al marco de aprendizaje profundo existente, sino que probará una arquitectura de red y métodos informáticos más eficientes.
El objetivo general es simular un agente virtual con motivación intrínseca y capacidad de aprendizaje continuo para aprender continuamente en un entorno virtual.
Robots no, porque su experiencia en la construcción de cohetes le hizo pensar que cuantos menos objetos físicos tenga con los que lidiar, mejor**.
En comparación con Carmack, que acaba de involucrarse en AGI no hace mucho, Sutton ha dedicado décadas a este problema y tiene un plan de investigación más específico.
Aunque no se dijo mucho en este evento, la parte principal se escribió en un artículo de arXiv en forma de "Proyecto Alberta".
El Proyecto Alberta propone un marco de agentes unificado que enfatiza la experiencia universal en lugar de conjuntos de entrenamiento específicos, se centra en la coherencia temporal, prioriza métodos que pueden producir efectos de escala con potencia informática e interacción entre múltiples agentes.
También se ha propuesto una hoja de ruta de 12 pasos.
Los primeros seis pasos se centran en diseñar un método de aprendizaje continuo sin modelos, y los últimos seis pasos introducen modelos y planificación ambientales.
El último paso se llama Amplificación de Inteligencia (Amplificación de Inteligencia): un agente puede utilizar el conocimiento que ha aprendido para amplificar y mejorar la acción, percepción y cognición de otro agente de acuerdo con algunos principios generales.
Sutton considera que este tipo de mejora es una parte importante para aprovechar todo el potencial de la inteligencia artificial.
En este proceso, es muy importante, pero también muy difícil, determinar los indicadores para evaluar el progreso de la IA, y el equipo está explorando diferentes desarrollos.
Además, Carmack siempre ha sido un defensor del código abierto, pero sobre el tema de AGI, dijo que mantendría un cierto grado de apertura, pero no revelaría todos los detalles del algoritmo**.
Como equipo pequeño, Carmack cree que debemos mantener un espíritu pionero y centrarnos en el desarrollo a largo plazo en lugar de los intereses a corto plazo.
La comercialización no se considerará prematuramente y no existe una forma intermedia que pueda publicarse públicamente como ChatGPT.
Respecto a lo que se puede lograr en 2030, Carmack cree que "hay AGI que se puede demostrar al público", la afirmación de Sutton es "Los prototipos de IA pueden mostrar signos de vida (signos de vida)".
2030 se convierte en un nodo clave
Esta no es la primera vez que 2030 y AGI aparecen al mismo tiempo.
Los principales equipos de IA consideran unánimemente alrededor de 2030 como el nodo clave para lograr AGI.
Por ejemplo, OpenAI, en su anuncio de dedicar el 20% de su potencia informática total a establecer un departamento de alineación de superinteligencia, afirmó que creemos que la superinteligencia llegará en esta década.
Incluso la comunidad inversora tiene puntos de vista similares: Masayoshi Son acaba de presentar un PPT de este tipo en la Conferencia Corporativa Mundial de SoftBank.
Aparte de OpenAI y Keen Technologies, no hay muchas organizaciones que trabajen en el desarrollo de AGI.
El mayor competidor de OpenAI, Anthropic, que acaba de recaudar 4 mil millones de dólares en financiación, su director ejecutivo, Dario Amodei, mencionó en una entrevista reciente que la IA puede comportarse como un ser humano bien educado en dos o tres años.
Cuando los autores de Transformer, Vaswani y Palmer, dejaron Google, fundaron AdeptAI con el objetivo de crear inteligencia general.
Sin embargo, los dos abandonaron repentinamente la empresa a principios de este año, dejando solo un cofundador, David Luan (extremo derecho).
Los dos autores de Transformer también fundaron Essential AI, cuya visión de la empresa es menos "mirar a las estrellas" y es una comercialización más pragmática de modelos grandes.
Tampoco hay muchos jugadores nacionales que hayan dejado claro los objetivos de AGI, siendo los principales MiniMax y el recién fundado Dark Side of the Moon de Yang Zhilin.
Enlaces de referencia:
[1]
[2]
[3]
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¡El padre del aprendizaje por refuerzo se une a AGI para iniciar un negocio! Al asociarnos con el legendario programador Carmack, no dependemos de modelos grandes.
Fuente original: Qubits
El legendario programador John Carmack unió fuerzas con Richard Sutton, el padre del aprendizaje por refuerzo, para crear All in AGI.
Y a diferencia de los métodos convencionales, no se basa en grandes paradigmas de modelos y busca el aprendizaje en línea en tiempo real.
Sutton se unirá a Keen Technologies, la startup de inteligencia artificial de Carmack, mientras mantiene su puesto docente en Alberta.
Ambos hombres admitieron en el evento que el equipo de Keen Technologies es pequeño en comparación con empresas más grandes con cientos o miles de empleados.
Todavía está en su infancia y todo el equipo técnico de la empresa está en el lugar——
Sólo estas 4 personas de pie.
Pero creen que el código fuente final de AGI será del orden que una persona puede escribir y puede que sólo tenga decenas de miles de líneas.
Además, el campo de la IA se encuentra actualmente en un momento especial con el mayor efecto de palanca, y los equipos pequeños también tienen la oportunidad de hacer grandes contribuciones.
Programador legendario y padre del aprendizaje por refuerzo
La legendaria experiencia de Carmack, desde el desarrollo del primer juego 3D del mundo hasta la transición a la construcción de cohetes, pasando por unirse a Oculus y convertirse en una figura clave en el posterior Meta VR, es bien conocida.
Posteriormente, se involucró con la IA y también estuvo relacionado con OpenAI.
Una vez reveló en otra entrevista que Sam Altman lo había invitado a unirse a OpenAI y creía que podría desempeñar un papel importante en la optimización del sistema.
Pero Carmack creía que en ese momento no entendía nada de la IA moderna en el paradigma del aprendizaje automático, por lo que no estaba de acuerdo.
Esta se convirtió en una oportunidad para empezar a comprender la IA.
Cuando tuvo algo de tiempo libre y planeó seguir involucrándose en el aprendizaje profundo, se le ocurrió un desafío de programación de una semana:
Imprima algunos de los artículos clásicos de LeCun y practíquelos cuando la red esté desconectada, comenzando con la fórmula de retropropagación.
Después de una semana, finalizó el retiro con una red neuronal convolucional hecha a mano en C++, sin la ayuda de marcos modernos de aprendizaje profundo en Python.
Lo único que puedo decir es que admiro al gran maestro.
Sin embargo, durante este proceso poco a poco fueron surgiendo conflictos y desacuerdos entre él y la dirección de la empresa, consideraba que la eficiencia interna de la empresa era baja y también expresó públicamente su descontento.
En agosto de 2022, anunció que la nueva startup de inteligencia artificial, Keen Technologies, anunció una financiación de 20 millones de dólares, con inversores entre los que se encontraban Sequoia Capital, el ex director ejecutivo de GitHub, Nat Friedman, y otros.
Más tarde, también reveló que en realidad podría ganar dinero con tan solo 20 millones de dólares.
Pero recibir dinero de otros puede darle una sensación de crisis y urgencia, y una determinación más fuerte para hacer las cosas.
Sus juegos 3D en ese momento estimularon la demanda de computación gráfica y las GPU comenzaron a desarrollarse y expandirse en el campo de los juegos.
Hoy en día, es la potencia informática de la GPU la que respalda la explosión de la IA, y todavía está orgulloso de su contribución cuando habla de esto.
……
El otro protagonista de hoy, Sutton, también es una leyenda.
Es conocido como el padre del aprendizaje por refuerzo y ha realizado importantes contribuciones a métodos como el aprendizaje por diferencia de tiempo por refuerzo y el gradiente de políticas. También es coautor del libro de texto estándar sobre aprendizaje por refuerzo.
En 2017, se unió a DeepMind como un científico destacado y participó en la serie de investigaciones AlphaGo. Su alumno David Silver es uno de los principales líderes de AlphaGo.
Antes de que los dos se comunicaran formalmente, Carmack había expresado su preocupación y aprobación por este artículo.
Hace unos meses, después de que Carmack anunciara la financiación de AGI Ventures, recibió un correo electrónico de Sutton.
Sutton quería preguntarle si su camino de investigación debería ser puramente académico, comercial o sin fines de lucro.
Sin embargo, en intercambios de correo electrónico posteriores, los dos descubrieron que había una coherencia sorprendente en las direcciones y conceptos de la investigación de IA y gradualmente establecieron una relación de cooperación.
Específicamente, los dos llegaron a 4 consensos:
No solo confíe en modelos grandes, los equipos pequeños también tienen oportunidades
Un objetivo muy audaz, y el público también lo pensó.
Ante la pregunta "¿Cómo puede un equipo pequeño lograr un objetivo tan ambicioso?", Carmack creía que la cantidad de datos y potencia informática necesarios para lograr AGI puede no ser tan grande como se imaginaba.
Con respecto a la demanda de potencia informática, también utiliza este tipo de pensamiento intuitivo para considerar: la potencia informática del cerebro humano también es limitada, lejos de alcanzar el nivel de un gran grupo de potencia informática.
Y a medida que pase el tiempo, el algoritmo se volverá más eficiente y la potencia informática requerida seguirá disminuyendo.
Esto es lo que buscaba Sam Altman cuando lo invitó a unirse a OpenAI.
La arquitectura AGI que imaginó debería ser modular y distribuida en lugar de un enorme modelo centralizado.
El aprendizaje también debería ser aprendizaje continuo en línea, en lugar del entrenamiento previo actual donde la mayoría de los parámetros ya no se actualizan.
Dijo además que, como programador de sistemas de bajo nivel que puede escribir código Cuda original y gestionar la comunicación de red por sí mismo, es posible que pueda realizar algunos trabajos que otros no considerarán en absoluto.
Ni siquiera se limita al marco de aprendizaje profundo existente, sino que probará una arquitectura de red y métodos informáticos más eficientes.
El objetivo general es simular un agente virtual con motivación intrínseca y capacidad de aprendizaje continuo para aprender continuamente en un entorno virtual.
Robots no, porque su experiencia en la construcción de cohetes le hizo pensar que cuantos menos objetos físicos tenga con los que lidiar, mejor**.
Aunque no se dijo mucho en este evento, la parte principal se escribió en un artículo de arXiv en forma de "Proyecto Alberta".
También se ha propuesto una hoja de ruta de 12 pasos.
Los primeros seis pasos se centran en diseñar un método de aprendizaje continuo sin modelos, y los últimos seis pasos introducen modelos y planificación ambientales.
Sutton considera que este tipo de mejora es una parte importante para aprovechar todo el potencial de la inteligencia artificial.
En este proceso, es muy importante, pero también muy difícil, determinar los indicadores para evaluar el progreso de la IA, y el equipo está explorando diferentes desarrollos.
Además, Carmack siempre ha sido un defensor del código abierto, pero sobre el tema de AGI, dijo que mantendría un cierto grado de apertura, pero no revelaría todos los detalles del algoritmo**.
Como equipo pequeño, Carmack cree que debemos mantener un espíritu pionero y centrarnos en el desarrollo a largo plazo en lugar de los intereses a corto plazo.
La comercialización no se considerará prematuramente y no existe una forma intermedia que pueda publicarse públicamente como ChatGPT.
Respecto a lo que se puede lograr en 2030, Carmack cree que "hay AGI que se puede demostrar al público", la afirmación de Sutton es "Los prototipos de IA pueden mostrar signos de vida (signos de vida)".
2030 se convierte en un nodo clave
Esta no es la primera vez que 2030 y AGI aparecen al mismo tiempo.
Los principales equipos de IA consideran unánimemente alrededor de 2030 como el nodo clave para lograr AGI.
Por ejemplo, OpenAI, en su anuncio de dedicar el 20% de su potencia informática total a establecer un departamento de alineación de superinteligencia, afirmó que creemos que la superinteligencia llegará en esta década.
El mayor competidor de OpenAI, Anthropic, que acaba de recaudar 4 mil millones de dólares en financiación, su director ejecutivo, Dario Amodei, mencionó en una entrevista reciente que la IA puede comportarse como un ser humano bien educado en dos o tres años.
Sin embargo, los dos abandonaron repentinamente la empresa a principios de este año, dejando solo un cofundador, David Luan (extremo derecho).
Tampoco hay muchos jugadores nacionales que hayan dejado claro los objetivos de AGI, siendo los principales MiniMax y el recién fundado Dark Side of the Moon de Yang Zhilin.
Enlaces de referencia: [1] [2] [3]