Microsoft es ambicioso y el mismo día en que Windows 11 está totalmente habilitado para IA, se revela que ha tomado nuevas medidas.
El 25 de septiembre, hora local, Microsoft publicó repentinamente un mensaje de contratación para "Director jefe de proyectos de tecnología nuclear" en su sitio web oficial. No es difícil ver que después de Microsoft Cloud, Nadella está llena de potencia cuando se trata de modelos grandes.
Pero lo sorprendente es que desde el acceso del "Office Family Bucket" a GPT4, Azure que proporciona recursos en la nube, hasta el reciente Windows 11 integral basado en IA, justo cuando el nuevo Microsoft está a punto de surgir, ¿por qué Microsoft decidió centrarse también en ¿El sector energético? ¿Por dónde empezar?
Inteligencia artificial y energía nuclear, ¡Microsoft no dejará de lado ninguna de ellas!
El puesto de "Gerente principal de programa para tecnología nuclear" que Microsoft está contratando tiene la tarea de liderar la evaluación tecnológica del reactor modular pequeño (SMR) global y la integración de microrreactores para proporcionar energía a los centros de datos donde se encuentran la nube y la IA de Microsoft. "Este puesto mantendrá una hoja de ruta clara y adaptable para la integración de tecnología, seleccionará y gestionará cuidadosamente los socios y soluciones tecnológicos, y evaluará continuamente el progreso y el impacto empresarial de la implementación", afirma la publicación de trabajo.
Fuente: Microsoft
Además, Microsoft también tiene requisitos para los candidatos ideales para este puesto: deben tener experiencia en la industria energética y un conocimiento profundo de la tecnología nuclear y los asuntos regulatorios. Este puesto también será responsable de la investigación y el desarrollo de otras tecnologías energéticas precomerciales.
¡El modelo grande "se queda sin" Tesla!
Wu Jun, un conocido experto de la industria, una vez dio una metáfora de la capacitación ChatGPT: cada capacitación ChatGPT equivale a permitir que 3.000 autos eléctricos Tesla completen un viaje de 21 años en un mes, y básicamente todos son inútiles. Esta descripción no es una exageración.
Según el "Informe sobre el índice de inteligencia artificial 2023" publicado por el Instituto de Inteligencia Artificial de Stanford (HAI), la energía necesaria para entrenar GPT3 es suficiente para que una familia estadounidense promedio dure cientos de años. Según estimaciones de Guosheng Securities, el costo de capacitación único de GPT-3 asciende a 1,4 millones de dólares. Para algunos LLM (modelos de lenguajes grandes) más grandes, el costo de capacitación oscila entre 2 y 12 millones de dólares.
Fuente de datos: Luccioni et al.
"El 60% del costo del entrenamiento de modelos grandes es electricidad." Tian Qi, científico jefe de Huawei AI, también expresó su preocupación por el problema de la energía, creyendo que la reducción de costos y la mejora de la eficiencia de la energía son urgentes. Si se popularizan los modelos grandes y los servidores funcionan rápidamente en todo el mundo, me temo que no quemará la tierra.
No es de extrañar que el fundador de OpenAI dijera en un evento el lunes que para GPT, el enfoque ahora está en "reducir costos y mejorar la confiabilidad" en lugar de apresurarse a lanzar GPT-5.
Para ahorrar energía, los jefes de Silicon Valley están pensando en grande
Veamos primero a Microsoft. Actualmente, Microsoft ha puesto su mirada en la energía nuclear. Quizás no sepa que Bill Gates también tiene otra identidad, es decir, el presidente de la empresa de innovación nuclear TerraPower, que desarrolla y promueve diseños de reactores modulares pequeños. Sin embargo, un portavoz de TerraPower afirmó: "Actualmente no existe ningún acuerdo para vender reactores a Microsoft".
Según la Administración de Información Energética de Estados Unidos, los reactores nucleares existentes en Estados Unidos generan actualmente alrededor del 18% de la electricidad total generada en Estados Unidos. Las esperanzas para la próxima generación de tecnología de reactores nucleares dependen en gran medida de los pequeños reactores nucleares.
Como su nombre lo indica, los reactores nucleares pequeños son más pequeños que los reactores tradicionales y son más baratos y rápidos de construir porque están diseñados con una estructura modular y no es necesario hacer cada parte del reactor a medida.
Además, Microsoft se ha comprometido públicamente a buscar energía nuclear a partir de innovadores en el campo de la fusión nuclear. En mayo de este año, Microsoft anunció que había firmado un acuerdo de compra de energía con la startup de fusión nuclear Helion para comprar energía a Helion en 2028. Da la casualidad de que el director ejecutivo de OpenAI, Sam Altman, también fue uno de los primeros inversores importantes en Helion.
Además, el famoso "Silicon Valley Iron Man" Musk también ha pensado en la energía. En abril hubo rumores de que Musk y Bezos se estaban preparando para unir fuerzas para entrenar un modelo súper grande. Para ahorrar refrigeración y consumo de energía, los dos propusieron un plan de "centro de datos espacial", enviando 50.000 tarjetas NVIDIA H100 al espacio a través de SpaceX y llevando una gran cantidad de paneles solares, con la esperanza de utilizar el poder del espacio para resolver el problema. problema de la electricidad El problema. Sin embargo, algunos expertos han analizado que esta solución no es confiable: actualmente, el sistema de suministro de energía de los paneles solares satelitales generalmente solo tiene una potencia de 1200 W. Tanto el suministro de energía como el costo no son tan buenos como los de las soluciones terrestres.
Por supuesto, existe otra solución más fiable, que es optimizar el consumo energético del propio chip. La lógica de este tipo de gestión del consumo de energía es que hay varios chips en el centro de datos y cada chip tiene miles de millones o incluso decenas de miles de millones de transistores. Un transistor equivale a una unidad de consumo de electricidad. A partir de esto, se puede Se infiere que el tamaño de una uña es El chip es una red de energía a gran escala. Si se puede optimizar el consumo de energía de cada transistor, el ahorro de energía final puede irradiarse a todo el centro de datos.
Synopsys, la empresa EDA líder en el mundo, ha estado explorando más esta área y hace 7 años lanzó un proyecto llamado "Diseño de eficiencia energética" para maximizar la eficiencia energética del chip.
Microsoft, ¿solo quieres resolver el problema del consumo de energía?
El movimiento de Microsoft no se debe sólo a su apuesta por la IA y la fuente de energía de los centros de datos, sino también por otros motivos.
Según el medio extranjero TheVerge, Bill Gates siempre ha sido un fiel admirador de la energía nuclear porque la energía nuclear no produce emisiones de gases de efecto invernadero y puede desempeñar un cierto papel en la lucha contra el cambio climático.
Además, el problema del consumo energético de los modelos grandes no es tan grave como se imagina. Un analista senior dijo con franqueza que el mercado no necesita preocuparse demasiado por el consumo de energía de los modelos grandes. "Muchas personas ignoran el hecho de que la demanda de potencia informática para los modelos grandes inevitablemente disminuirá gradualmente en el futuro, lo que significa que el consumo de energía también disminuirá en consecuencia".
Por ejemplo, el DeepSpeed-Chat de código abierto de Microsoft del 12 de abril ilustra plenamente este punto: puede aumentar la velocidad de entrenamiento en más de 15 veces y reducir en gran medida el costo de la potencia informática. Una sola GPU puede admitir un modelo similar a ChatGPT con 13 mil millones de parámetros, y el tiempo de entrenamiento solo toma 1,25 horas.
Finalmente, sólo se puede decir que una vez que se ponen en marcha las marchas de cambio, es difícil dar marcha atrás. La inversión de Microsoft en IA esta vez supera la imaginación de la industria.
Enlaces de referencia:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¡Apuesta por la energía nuclear! ¡Microsoft está decidido a alimentar a los modelos grandes con nueva "munición"!
Fuente丨Pila de tecnología 51CTO
Escrito por Yun Zhao
Microsoft es ambicioso y el mismo día en que Windows 11 está totalmente habilitado para IA, se revela que ha tomado nuevas medidas.
El 25 de septiembre, hora local, Microsoft publicó repentinamente un mensaje de contratación para "Director jefe de proyectos de tecnología nuclear" en su sitio web oficial. No es difícil ver que después de Microsoft Cloud, Nadella está llena de potencia cuando se trata de modelos grandes.
Pero lo sorprendente es que desde el acceso del "Office Family Bucket" a GPT4, Azure que proporciona recursos en la nube, hasta el reciente Windows 11 integral basado en IA, justo cuando el nuevo Microsoft está a punto de surgir, ¿por qué Microsoft decidió centrarse también en ¿El sector energético? ¿Por dónde empezar?
Inteligencia artificial y energía nuclear, ¡Microsoft no dejará de lado ninguna de ellas!
El puesto de "Gerente principal de programa para tecnología nuclear" que Microsoft está contratando tiene la tarea de liderar la evaluación tecnológica del reactor modular pequeño (SMR) global y la integración de microrreactores para proporcionar energía a los centros de datos donde se encuentran la nube y la IA de Microsoft. "Este puesto mantendrá una hoja de ruta clara y adaptable para la integración de tecnología, seleccionará y gestionará cuidadosamente los socios y soluciones tecnológicos, y evaluará continuamente el progreso y el impacto empresarial de la implementación", afirma la publicación de trabajo.
Además, Microsoft también tiene requisitos para los candidatos ideales para este puesto: deben tener experiencia en la industria energética y un conocimiento profundo de la tecnología nuclear y los asuntos regulatorios. Este puesto también será responsable de la investigación y el desarrollo de otras tecnologías energéticas precomerciales.
¡El modelo grande "se queda sin" Tesla!
Wu Jun, un conocido experto de la industria, una vez dio una metáfora de la capacitación ChatGPT: cada capacitación ChatGPT equivale a permitir que 3.000 autos eléctricos Tesla completen un viaje de 21 años en un mes, y básicamente todos son inútiles. Esta descripción no es una exageración.
Según el "Informe sobre el índice de inteligencia artificial 2023" publicado por el Instituto de Inteligencia Artificial de Stanford (HAI), la energía necesaria para entrenar GPT3 es suficiente para que una familia estadounidense promedio dure cientos de años. Según estimaciones de Guosheng Securities, el costo de capacitación único de GPT-3 asciende a 1,4 millones de dólares. Para algunos LLM (modelos de lenguajes grandes) más grandes, el costo de capacitación oscila entre 2 y 12 millones de dólares.
"El 60% del costo del entrenamiento de modelos grandes es electricidad." Tian Qi, científico jefe de Huawei AI, también expresó su preocupación por el problema de la energía, creyendo que la reducción de costos y la mejora de la eficiencia de la energía son urgentes. Si se popularizan los modelos grandes y los servidores funcionan rápidamente en todo el mundo, me temo que no quemará la tierra.
No es de extrañar que el fundador de OpenAI dijera en un evento el lunes que para GPT, el enfoque ahora está en "reducir costos y mejorar la confiabilidad" en lugar de apresurarse a lanzar GPT-5.
Para ahorrar energía, los jefes de Silicon Valley están pensando en grande
Veamos primero a Microsoft. Actualmente, Microsoft ha puesto su mirada en la energía nuclear. Quizás no sepa que Bill Gates también tiene otra identidad, es decir, el presidente de la empresa de innovación nuclear TerraPower, que desarrolla y promueve diseños de reactores modulares pequeños. Sin embargo, un portavoz de TerraPower afirmó: "Actualmente no existe ningún acuerdo para vender reactores a Microsoft".
Según la Administración de Información Energética de Estados Unidos, los reactores nucleares existentes en Estados Unidos generan actualmente alrededor del 18% de la electricidad total generada en Estados Unidos. Las esperanzas para la próxima generación de tecnología de reactores nucleares dependen en gran medida de los pequeños reactores nucleares.
Como su nombre lo indica, los reactores nucleares pequeños son más pequeños que los reactores tradicionales y son más baratos y rápidos de construir porque están diseñados con una estructura modular y no es necesario hacer cada parte del reactor a medida.
Además, Microsoft se ha comprometido públicamente a buscar energía nuclear a partir de innovadores en el campo de la fusión nuclear. En mayo de este año, Microsoft anunció que había firmado un acuerdo de compra de energía con la startup de fusión nuclear Helion para comprar energía a Helion en 2028. Da la casualidad de que el director ejecutivo de OpenAI, Sam Altman, también fue uno de los primeros inversores importantes en Helion.
Además, el famoso "Silicon Valley Iron Man" Musk también ha pensado en la energía. En abril hubo rumores de que Musk y Bezos se estaban preparando para unir fuerzas para entrenar un modelo súper grande. Para ahorrar refrigeración y consumo de energía, los dos propusieron un plan de "centro de datos espacial", enviando 50.000 tarjetas NVIDIA H100 al espacio a través de SpaceX y llevando una gran cantidad de paneles solares, con la esperanza de utilizar el poder del espacio para resolver el problema. problema de la electricidad El problema. Sin embargo, algunos expertos han analizado que esta solución no es confiable: actualmente, el sistema de suministro de energía de los paneles solares satelitales generalmente solo tiene una potencia de 1200 W. Tanto el suministro de energía como el costo no son tan buenos como los de las soluciones terrestres.
Synopsys, la empresa EDA líder en el mundo, ha estado explorando más esta área y hace 7 años lanzó un proyecto llamado "Diseño de eficiencia energética" para maximizar la eficiencia energética del chip.
Microsoft, ¿solo quieres resolver el problema del consumo de energía?
El movimiento de Microsoft no se debe sólo a su apuesta por la IA y la fuente de energía de los centros de datos, sino también por otros motivos.
Según el medio extranjero TheVerge, Bill Gates siempre ha sido un fiel admirador de la energía nuclear porque la energía nuclear no produce emisiones de gases de efecto invernadero y puede desempeñar un cierto papel en la lucha contra el cambio climático.
Además, el problema del consumo energético de los modelos grandes no es tan grave como se imagina. Un analista senior dijo con franqueza que el mercado no necesita preocuparse demasiado por el consumo de energía de los modelos grandes. "Muchas personas ignoran el hecho de que la demanda de potencia informática para los modelos grandes inevitablemente disminuirá gradualmente en el futuro, lo que significa que el consumo de energía también disminuirá en consecuencia".
Por ejemplo, el DeepSpeed-Chat de código abierto de Microsoft del 12 de abril ilustra plenamente este punto: puede aumentar la velocidad de entrenamiento en más de 15 veces y reducir en gran medida el costo de la potencia informática. Una sola GPU puede admitir un modelo similar a ChatGPT con 13 mil millones de parámetros, y el tiempo de entrenamiento solo toma 1,25 horas.
Finalmente, sólo se puede decir que una vez que se ponen en marcha las marchas de cambio, es difícil dar marcha atrás. La inversión de Microsoft en IA esta vez supera la imaginación de la industria.
Enlaces de referencia: