- Tema
37k Popularidad
14k Popularidad
8k Popularidad
16k Popularidad
62k Popularidad
31k Popularidad
3k Popularidad
112k Popularidad
27k Popularidad
27k Popularidad
- Anclado
37k Popularidad
14k Popularidad
8k Popularidad
16k Popularidad
62k Popularidad
31k Popularidad
3k Popularidad
112k Popularidad
27k Popularidad
27k Popularidad
Nvidia, que está en pleno apogeo, ¿es el próximo objetivo robar el negocio de los proveedores de la nube?
Quien tiene GPU Nvidia es la empresa de la nube
Siempre hay novedades sobre Nvidia para sorprenderte.
El más reciente proviene de CoreWeave, una startup en la nube en los EE. UU.
La empresa anunció una financiación de 2300 millones de dólares, y lo que es aún más impactante es que la garantía de este dinero es la GPU que posee. Bajo el auge de los modelos grandes, la GPU se ha convertido en una moneda fuerte, y la razón por la que CoreWeave puede tener tantos elementos escasos de Nvidia es por su estado anterior: el mayor minero de Ethereum en América del Norte.
En ese momento, tenía más de 50 000 GPU para minería. Después de enfrentar la insostenibilidad de la minería, CoreWeave centró su atención en la IA y otros campos que requerían computación paralela, y compró una gran cantidad de chips NVIDIA antes de que ChatGPT se hiciera popular— —En ese momento tiempo, la capacidad de producción de chips era suficiente.
Como resultado, CoreWeave afirma ser la única empresa en el mundo que puede proporcionar potencia informática H100 a gran escala y también se ha transformado en un "proveedor de la nube".
Esto puede sonar extraño. Incluso sin el cuello de botella de la cantidad de GPU, la construcción de un centro de datos aún requiere costos enormes, espacio exquisito, diseño de disipación de energía y calor, y una colaboración de software y hardware muy compleja. En términos generales, solo aquellos que pueden cumplir con estos condiciones Puede ser un gigante, no una startup que acaba de recaudar una ronda Serie B ($421 millones).
La capacidad de CoreWeave para hacer esto se deriva de una comprensión muy diferente del centro de datos.
Los centros de datos tradicionales se componen de CPU, que se enfocan en capacidades informáticas de uso general, dominadas primero por chips de Intel y luego de AMD.
Sin embargo, el nuevo centro de datos para computación acelerada pone más énfasis en la computación paralela, lo que significa que necesita más memoria, ancho de banda y la capacidad de conectar de cerca todas las unidades de computación acelerada.El fundador y CEO de Nvidia, Huang Renxun, dijo que el proceso es "modernización del centro de datos", que él ve como un ciclo de 10 años.
El comienzo de este nuevo ciclo anuncia la construcción de todo el centro de datos, la coordinación de software y hardware, e incluso el suministro de energía y las estructuras de enfriamiento deben rediseñarse. Esto casi ha llevado a todos los proveedores de servicios en la nube a la línea de partida: la generación anterior de soluciones de centro de datos diseñadas para CPU difícilmente se puede copiar. Por ejemplo, la tecnología Infinite Band utilizada por Nvidia para conectar enormes clústeres de GPU requiere más de 500 millas de cables, lo que simplemente no existe en los diseños de centros de datos tradicionales.
CoreWeave dio otro ejemplo. Con el mismo tamaño de sitio, los clústeres de GPU requieren 4 veces más energía que los centros de datos tradicionales. Por lo tanto, el sistema de alimentación y el sistema de enfriamiento del nuevo centro de datos deben rediseñarse por completo, que ni siquiera es una combinación de hardware. y software.costo.
CoreWeave, que se adelantó a la oportunidad, no solo puede proporcionar una gran potencia informática H100, sino que también es docenas de veces más rápido que otros servicios en la nube y, al mismo tiempo, el costo es un 80 % más bajo. visión del centro de datos: el centro de datos se está transformando hacia la informática acelerada, y la escasa potencia informática se suministra a través de la nube.
De esta manera, una empresa de minería de moneda virtual se ha convertido en una popular empresa de computación en la nube, simplemente porque es la discípula más leal de Nvidia.
Qué tipo de nube es Nvidia Cloud
Quien tenga GPU Nvidia es el proveedor de nube más popular, entonces, ¿quién tiene la mayor cantidad de GPU Nvidia? Aparentemente es él mismo.
Entonces, mientras admite empresas emergentes similares en la nube, Nvidia también está construyendo su propia nube.
Nvidia tiene muchas ventajas al hacer la nube en sí, la más obvia es que no le preocupa la relación entre la oferta y la demanda de GPU. Musk dijo una vez en público que obtener GPU es mucho más difícil que obtener medicamentos, y también se informa que la razón por la cual CoreWeave puede proporcionar potencia informática H100 a gran escala está relacionada con el suministro suficiente de Nvidia: Nvidia participó en CoreWeave unos pocos Hace meses ronda B de financiación.
Pero, obviamente, solo invertir en algunas empresas de nueva creación no es suficiente, y la enorme demanda de poder de cómputo de la IA generativa eventualmente permitirá que Nvidia termine por sí sola. En la conferencia GTC de marzo de este año, Nvidia lanzó su propio servicio en la nube DGX Cloud, que se lanzó oficialmente a mediados de año.
Como puede verse por el nombre, DGX Cloud utiliza directamente las capacidades de la supercomputadora DGX de Nvidia, y cada instancia de la nube está equipada con 8 GPU H100 o A100 y 640 GB de memoria.
DGX Cloud adopta una estructura de baja latencia que permite escalar grandes flujos de trabajo en clústeres y distribuirlos en paralelo en múltiples nodos de cómputo. Por ejemplo, Oracle, que anunció por primera vez su cooperación con DGX Cloud, puede implementar más de 30 000 GPU A100 por clúster en OCI Supercluster, de modo que se puedan entrenar modelos grandes en la nube. Los usuarios pueden acceder libremente a sus propias supercomputadoras de IA en cualquier lugar (Nvidia dijo que la distribución de la potencia de cómputo es exclusiva), y solo se usa la interfaz frontal para tratar con ellos. Excepto por el proceso de desarrollo en sí, no hay necesidad de preocuparse por cualquier problema relacionado con la infraestructura de hardware.
El servicio se ofrece mensualmente por casi $40,000. Por supuesto, sigue siendo mucho más barato que comprar un servidor DGX directamente por 200.000 dólares estadounidenses, pero muchas personas han señalado que Azure de Microsoft cobra menos de 20.000 dólares estadounidenses por las mismas 8 A100GPU, casi la mitad de lo anterior.
¿Por qué es tan caro? Debido a que el servicio en la nube de Nvidia es diferente de los demás, incluye no solo potencia informática, sino también un conjunto completo de soluciones de IA.
Dos servicios llamados Base Command Platform y AI Enterprise están integrados en DGX Cloud. El primero es un software de administración y monitoreo que no solo puede registrar la carga de entrenamiento de la potencia de computación en la nube, proporcionar integración entre la potencia de computación en la nube y local, sino que también permite a los usuarios acceder directamente a DGX Cloud desde un navegador. Esta última es la capa de software en la plataforma de IA de Nvidia. Miles de paquetes de software proporcionan una variedad de modelos pre-entrenados, marcos de trabajo de IA y bibliotecas aceleradas, lo que simplifica el desarrollo de IA de extremo a extremo y los costos de implementación. Además, DGX Cloud también proporciona un servicio de conversión de modelos llamado AI Foundations, que permite a los usuarios empresariales utilizar sus propios datos patentados para personalizar sus propios modelos verticales grandes.
Esta solución completa combinada con software y hardware hace que la velocidad de entrenamiento de DGX Cloud sea dos o tres veces mayor que la de la computación en la nube tradicional. Esta es la mayor diferencia entre DGX Cloud y los servicios en la nube tradicionales. Integra muy bien los dos aspectos de NVIDIA. Punto fuerte: ecología de IA y poder de cómputo. Para Nvidia, la frase "software como servicio" parece haberse cambiado por "integración de software y hardware como servicio". DGX Cloud representa centralmente el techo de capacidad de la integración vertical ascendente de un fabricante de hardware.
La ambición y la realidad de Huang Renxun
Pero esto no significa que Nvidia haya levantado completamente la mesa de los proveedores de nube tradicionales. Su servicio se proporciona a través de proveedores de nube tradicionales. Inicialmente, se anunció que DGX Cloud se lanzaría en Oracle Cloud, seguido de Microsoft y Google, y la forma en que Nvidia trabaja con estos proveedores de nube es bastante interesante: Nvidia primero vende hardware de GPU a estos socios de nube y luego alquila el hardware para ejecutar Nube DGX.
Algunas personas bromearon diciendo que esto se llama ganar dinero de ambos lados sin demora.
De hecho, Huang Jensen explicó este modelo: "Nos beneficiamos de que los clientes usen nuestra plataforma informática, y los clientes se benefician al ponernos (la plataforma informática) en la nube (del proveedor de la nube)".
Si solo escuchas lo que dijo Huang Renxun, este es un final feliz en el que todos ganan, pero esta es solo su narrativa consistente. Nvidia ya está compitiendo con sus propios clientes y lo sabe.
El progreso de DGX Cloud nos dice que Huang Renxun no tiene la intención de implementarlo solo en proveedores de nube tradicionales. En SIGGRAPH 2023 en agosto, Nvidia primero anunció su cooperación con Hugging Face y luego lanzó un servicio llamado AI Workbench. Todos permiten a los usuarios crear, probar y personalizar fácilmente grandes modelos de preentrenamiento, y el soporte de potencia informática detrás de ellos incluye naturalmente DGX Cloud.
Obviamente, esto afectará la relación entre Nvidia y los proveedores de la nube: los proveedores de servicios en la nube más importantes, incluidos Google, Amazon y Microsoft, también son clientes importantes de Nvidia, y la promoción de Nvidia de sus propios servicios en la nube seguramente les arrebatará su participación de mercado. En particular, ya mencionamos en la primera parte que, como gigantes de centros de datos y servicios en la nube, no tienen mucha ventaja en la construcción de la próxima generación de centros de datos.La amenaza de su propio servicio en la nube no es pequeña.
Huang Renxun no puede ignorar esto, por lo que su actitud hacia DGX Cloud es bastante interesante.Por ejemplo, declaró públicamente que una proporción adecuada de combinación de servicios en la nube debería ser 10% Nvidia DGX más 90% de nube pública. En otras palabras, en el posicionamiento de Huang Renxun, DGX Cloud no es un oponente ni una amenaza para los proveedores tradicionales de la nube, sino un socio.
En la conferencia telefónica de analistas posterior al anuncio del informe financiero trimestral del primer trimestre, Huang Renxun habló más sobre los beneficios de esta cooperación, "una gran situación en la que todos ganan", Huang Renxun lo describió de esta manera. En su opinión, DGX Cloud es una pila de Nvidia pura (pila de Nvidia pura), que combina el desarrollo de inteligencia artificial, grandes bases de datos y redes de alta velocidad y baja latencia para convertirse en una infraestructura de IA conveniente para abrir un mercado nuevo y enorme: participantes en este mercado incluye a Nvidia y proveedores de nube tradicionales, y todos se beneficiarán de la explosión de la IA generativa.
Intentar evitar conflictos es en realidad porque DGX Cloud solo puede mantener un pequeño volumen durante mucho tiempo.
La primera razón es, por supuesto, el cuello de botella de la potencia informática. "Increíblemente muchos pedidos”, es la descripción de Huang Renxun del volumen de negocios del centro de datos. Por supuesto, la prioridad central de Nvidia es desarrollar y garantizar la producción de tantos chips avanzados que satisfagan la demanda del mercado como sea posible, de lo contrario, la escala de los servicios en la nube no puede ser ampliado.
Aunque TSMC está en producción sin parar, vale la pena señalar que la brecha de poder de cómputo no se hace más pequeña sino más grande, porque una vez que se lanza y comercializa el modelo grande (como ChatGPT), su costo de razonamiento aumentará exponencialmente con la escala de usuarios A medida que aumenta el nivel, a la larga, será mucho mayor que la potencia informática necesaria para entrenar el modelo (el aumento dado por alguien es 100).
Además, también tiene en cuenta la complejidad de la asociación entre Nvidia y los proveedores tradicionales de la nube. Si DGX Cloud aparece como un producto puramente competitivo, puede ocupar una cuota de mercado considerable, pero está destinado a acelerar aún más a los fabricantes de nubes para deshacerse de su dependencia de Nvidia: ya han desarrollado sus propios chips para reducir el "NVIDIA impuesto". arriba.
Desde otra perspectiva, puede que no sea lo mejor para Nvidia expandir completamente la escala de DGX Cloud. Desde chips hasta tarjetas gráficas para juegos, servidores y centros de datos, Nvidia rara vez fabrica productos de hardware por sí misma. Esto permite a Nvidia controlar bien los costos y mantener los márgenes de beneficio.
Hoy, Nvidia y los proveedores de la nube parecen mantener un equilibrio, pero el equilibrio suele romperse, especialmente cuando una de las partes es Nvidia. Después de todo, este es el primer año del ciclo de actualización de los llamados "diez años siguientes" de Huang Renxun. -centro de datos de generación”.