MGX: Nvidia estandariza el multi

Actualizado con más especificaciones de MGX:Siempre que un fabricante de motores informáticos también fabrica placas base además de diseños de sistemas, las empresas que fabrican placas base (hay docenas que lo hacen) y crean diseños de sistemas (los fabricantes de diseños originales y los originales) se ponen un poco nerviosas y un poco aliviadas. La estandarización de los componentes significa que tienen menos que hacer, pero al mismo tiempo tienen menos que cobrar.

Con sus diseños de plataforma de servidor multigeneracional MGX, anunciados esta semana en la feria Computex en Taiwán, que es uno de los principales centros del mundo para la fabricación de componentes y sistemas, así como el centro indiscutible de fabricación y ensamblaje de motores de cómputo, Nvidia espera facilitarse la vida a sí mismo y a los OEM y ODM del mundo y proporcionar mejores ganancias para él y para ellos.

Nvidia ha estado fabricando sus propios servidores desde que debutó el sistema DGX-1 en abril de 2016 basado en el acelerador GPU “Pascal” P100. Nvidia decidió hacer esto para ayudar a acelerar el tiempo de comercialización y crear un circuito de retroalimentación en los diseños de componentes y placas base; El hecho de que Nvidia necesitara construir sus propias supercomputadoras para ejecutar sus enormes cargas de trabajo de IA (lo cual era más barato que encargarlo a un OEM o un ODM) también fue un factor que contribuyó a la decisión. En ese momento, la mayoría de las GPU Pascal que Nvidia podría haber fabricado se enviaban a hiperescaladores y creadores de nubes, así como a algunos centros de HPC, y Nvidia vendía las DGX-1 de manera preferencial para que los investigadores y científicos pudieran obtener sus manos en estos sistemas acelerados por GPU. Este seguía siendo el caso en mayo de 2017, cuando las máquinas DGX-1 se actualizaron con los aceleradores de GPU “Volta” V100 anunciados dos meses antes. El sistema DGX-A100 siguió en mayo de 2020, utilizando las GPU “Ampere” A100 y, por supuesto, el diseño DGX-H100, que se escala mucho más con una estructura de conmutador NVLink, implementado simultáneamente con el acelerador de GPU “Hopper” H100. el año pasado y se actualizó esta semana con un diseño híbrido CPU-GPU en el sistema DGX-GH200.

No puede comprar un ASIC H100 SXM5 o NVSwitch 3 utilizado en las últimas máquinas DGX-H100 y DGX-GH200. Las placas de sistema para CPU, GPU e interconexiones NVSwitch se venden a hiperescaladores y creadores de nubes y a sus proveedores ODM como una unidad, con todos los componentes fabricados y probados, y también se venden a fabricantes de equipos originales como componentes preensamblados, que a su vez colocan en sus sistemas. Puede comprar versiones PCI-Express de los aceleradores GPU o ASIC Quantum InfiniBand o Spectrum Ethernet de Nvidia si desea construir sus propios sistemas, pero para las cosas de alta gama que se ejecutan en la estructura de memoria NVSwitch, debe llevar estos preensamblados. componentes, que se denominan HGX.

Habiendo estandarizado los componentes internos de los sistemas hasta cierto punto con HGX/DGX, Nvidia ahora quiere estandarizar las carcasas que envuelven estos componentes para acelerar el tiempo de comercialización para todos los ODM y OEM y para que los sistemas resultantes puedan ser actualizado en el campo en la mayor medida posible dados los cambios arquitectónicos futuros que se avecinan.

En pocas palabras, de eso se trata el esfuerzo del MGX.

Tuvimos una pequeña muestra de cómo se ven los diseños iniciales de MGX en mayo pasado, cuando Nvidia divulgó los diseños prototipo de los sistemas HGX Grace y HGX Grace-Hopper. No se trataba simplemente de placas de sistema, sino de diseños completos de servidores montados en bastidor:

El esfuerzo de estandarización de MGX abarcará las plataformas informáticas del centro de datos DGX/HGX, las plataformas de alojamiento del metaverso OVX y las plataformas de juegos y gráficos en la nube CGX, y así es como Nvidia dijo que la CPU Grace y varios aceleradores de GPU estarían compuestos para estas tres líneas de hierro. :

Estos son los diseños de MGX que mostró en Computex esta semana:

El de la izquierda es un superchip Grace-Grace emparejado con cuatro aceleradores GPU. El sistema del centro tiene dos CPU X86, dos interfaces de red ConnectX y ocho aceleradores de GPU, y el sistema de la derecha tiene un par de motores informáticos refrigerados por agua (suponemos que son superchips Grace-Hopper) y dos tarjetas de interfaz de red.

El sitio web de la compañía y las sesiones informativas previas no los explicaron tan bien como lo hizo el cofundador y director ejecutivo de Nvidia, Jensen Huang, en su discurso de apertura, cuando repasó algunos de los aspectos del sistema MGX, comenzando con el chasis 2U:

Cuando agrega dos CPU X86, cuatro aceleradores GPU L40, una DPU BlueField-3, un par de tarjetas de interfaz de red ConnectX-7 y deja abiertas seis ranuras PCI-Express 5.0, obtiene un servidor OVX para acelerar la realidad virtual digital Omniverse de Nvidia. pila de software gemela:

Puede sacar el par de CPU X86 y colocar un superchip Grace-Grace y todo lo mismo (con una ranura PCI-Express 5.0 menos) y obtendrá esta variante del servidor OVX:

Si desea crear gráficos en la nube para renderizado o juegos o cargas de trabajo modestas de inferencia de IA, lo que Nvidia llama una máquina CGX, puede comenzar con el chasis MGX e instalar un superchip Grace-Grace, diez aceleradores de GPU L4 y una DPU BlueField-3. y tiene 11 ranuras PCI-Express 5.0 abiertas y se ve así:

Si necesita manejar cargas de trabajo de inferencia de IA más densas, particularmente para LLM y DLRM, entonces toma la versión 4U del chasis MGX, inserta un par de CPU X86, ocho de los aceleradores H100 NVL de doble ancho, un par de BlueField -3 DPU y le quedan diez ranuras PCI-Express y obtienes esto:

Para los casos de uso de 5G, piense en dispositivos más delgados y pequeños, tal como lo han sido durante décadas las máquinas de telecomunicaciones compatibles con NEBS. Así es como se ve el diseño del servidor arial Grace-Hopper 5G:

Se trata de un chasis de caja de pizza MGX de 1U con un único superchip Grace-Grace, un par de DPU BlueField-3, con cuatro ranuras PCI-Express 5.0 abiertas para periféricos. Y para espacios reducidos de puntos de presencia (POP) en empresas de telecomunicaciones y otros proveedores de servicios, debe duplicar la altura y la mitad de la longitud del chasis de esta manera:

Por alguna razón, una de las ranuras PCI-Express está configurada con una NIC ConnectX-7 y una única DPU BlueField-3. (El factor de forma no debería afectar la red, por lo que suponemos que Nvidia solo estaba mostrando opciones).

Si se preguntaba, como nosotros, cómo serían los nodos del servidor “caja blanca” de la supercomputadora “Isambard 3” que se incorporará al colectivo GW4 en el Reino Unido a finales de este año, ahora lo sabemos:

Y para máquinas HPC muy densas que no pueden depender de la refrigeración por aire (o de la refrigeración líquida en los bastidores como lo hace Isambard 3), existe una variante del MGX refrigerada por líquido con un par de superchips Grace-Grace:

Nvidia está comenzando con ocho socios clave de MGX, muchos de los cuales son fabricantes de placas base y sistemas ODM. Estos incluyen ASRock, ASUS, Gigabyte, Pegatron, Quanta Cloud Technology y Supermicro. La idea es proporcionar más de cien diseños de servidores diferentes que puedan orientarse a una amplia gama de cargas de trabajo, que abarcan IA, HPC, análisis de datos, gemelos digitales, infraestructura en la nube, juegos en la nube y redes 5G.

Las arquitecturas de referencia MGX incluirán sistemas con gabinetes de rack de 1U, 2U y 4U que están disponibles con refrigeración por aire y líquida. La idea es admitir toda la cartera de aceleradores de GPU de Nvidia, comenzando con los motores de cómputo Hopper H100 y los aceleradores de gráficos e inferencia de IA “Lovelace” L4 y L40. En el frente de la CPU, el superchip Grace-Grace (no se le ha dado un nombre, pero GG200 tiene sentido) y el superchip Grace-Hopper (llamado GH200) son centrales, pero los procesadores X86, presumiblemente de Intel y AMD, serán incluido en los diseños MGX. (Por cierto, hasta donde sabemos, no se puede tener solo una CPU Grace, a la que llamaríamos CG100 si tuviéramos que nombrar el chip y C100 como nombre comercial si fuéramos consistentes con cómo Nvidia nombra sus motores de computación de centros de datos hasta ahora). En cuanto a las redes, las especificaciones de MGX comienzan con las tarjetas de interfaz de red híbridas InfiniBand/Ethernet ConnectX-7 y las DPU BlueField-3.

Hasta donde sabemos, los diseños de MGX no se convertirán en GPU, CPU, DPU o NIC anteriores. Esto es algo que mira hacia el futuro.

El sistema ARS-221GL-NR de Supermicro, que se presentó en Computex, incluirá el superchip Grace-Grace en un diseño MGX existente y el sistema S74G-2U de QCT utiliza un diseño MGX con el superchip Grace-Hopper. SoftBank, propietario de Arm Holdings, planea utilizar diseños MGX en múltiples centros de datos de hiperescala en Japón y asignar dinámicamente capacidad de procesamiento de GPU en aplicaciones 5G y de IA generativa que ejecutan sus empresas del conglomerado.

Cuando hablamos con Charlie Boyle, vicepresidente de la línea DGX de Nvidia y también el ejecutivo que encabeza el esfuerzo MGX, sugerimos que MGX era un poco como los diseños de servidores Cray “Cascade” y “Shasta” en el sentido de que permitían albergar en ellos varias generaciones de computación e interconexiones, lo que permite a Cray distribuir el costo de los diseños de sistemas entre diferentes tipos de computación y redes y también en más de una generación. Él rió.

"No sé si haría la comparación con Cray", dijo Boyle. "He estado en esta industria durante mucho tiempo, ya sabes, y es un sistema muy personalizado".

Vale, eso es bastante justo, pero ese no era el punto. Una comparación con el Open Compute Project de Facebook fue un poco más aceptable. Pero se trata de velocidad, no de hacer metáforas.

"Estamos hablando de los atributos físicos reales dentro del sistema", dice Boyle a The Next Platform. “Cuando comenzamos hace años con la placa base HGX, queríamos facilitar a nuestros socios una rápida comercialización. Y para todos los que quieran construir sistemas Grace-Hopper y Grace-Grace, y tener una garantía multigeneracional en arquitectura, con MGX pueden construir sistemas rápidamente. Tú y yo sabemos que Nvidia lanza nuevas generaciones de tecnología más rápido que la mayoría del mercado. Y entonces, cuanto más podamos simplificar los diseños y aumentar la capacidad de nuestros socios intermedios para asimilar esa tecnología y luego hacerla llegar a los clientes finales más rápidamente, es fantástico para los socios y es fantástico para nosotros”.

Boyle dice que puede llevar entre 18 y 24 meses construir, probar y calificar para la fabricación un diseño de sistema típico, que cuesta varios millones de dólares, y con MGX Nvidia puede reducir ese tiempo a un par de meses porque en el Al final, lo que harán los socios ODM y OEM será seleccionar de un menú de componentes y certificarlos para que se conecten y simplemente funcionen. El ODM y el OEM agregan cualquier personalización, como BMC y actualizaciones de firmware, etc., y realizan la calificación final de los componentes ensamblados.

Pero la velocidad es más que eso. Se trata de evitar errores.

“En los años que llevo haciendo DGX, aunque construimos nuestro propio sistema, comparto todo lo que hacemos con nuestros socios OEM y ODM para ayudarlos a conseguir tiempo de comercialización, para mostrarles qué funciona y qué no. , y qué piezas utilizamos, todo eso”, dice Boyle. “Están muy agradecidos por ello porque cualquier cosa en la que ya hayamos trabajado (lo hemos intentado, hemos fallado, tenemos un componente mejor, lo que sea) si les decimos eso, entonces no lo harán. Necesitan ejecutar esos mismos experimentos, no necesitan replicar el costo por el que pasamos tantas veces. Y están muy contentos porque todos se enfrentan a lo mismo: escasez de mano de obra y escasez de componentes. Entonces, el hecho de que lo hagamos por ellos y eso les permita innovar donde realmente pueden innovar. Está en su pila de software general y en su oferta general. Se trata de sus soluciones. El hecho de que los tornillos vayan en un lugar diferente en diez diseños de fabricantes de sistemas diferentes, ¿eso agrega algún valor para el cliente final?

Esto significa que los ODM y OEM tendrán menores costos de I+D, y también significa que Nvidia puede garantizar un grado de coherencia en la forma en que sus dispositivos informáticos y de red se integran en los sistemas.

Esperamos que los ODM y OEM piensen que tienen conocimientos y habilidades especiales y que al principio se resistirán un poco a esto. El Open Compute Project nació en conjunto con Dell, que fue el fabricante de servidores de Facebook durante muchos años, porque la red social quería avanzar más rápido y eliminar costos. Y después de todo este tiempo, Dell todavía piensa que sus propios diseños de hiperescala son mejores que los de Meta Platforms o Microsoft en el Open Compute Project. Además, a los grandes fabricantes de equipos originales les preocupará que se nivelen las condiciones para una gran cantidad de fabricantes de sistemas más pequeños, lo que en cierto sentido les hará la vida más difícil.

Creemos que estos fabricantes de sistemas más pequeños estarán inicialmente más entusiasmados con MGX que los grandes fabricantes de equipos originales como Dell, Hewlett Packard Enterprise, Lenovo, Cisco Systems y Lenovo. Pero si lo que Boyle sostiene es cierto (que ganarán más dinero vendiendo sistemas MGX que construyendo sus propios clones DGX), entonces lo aceptarán.

Una última cosa: podría ayudar si los diseños de MGX se abrieran a través del Open Compute Project. ¿Por qué no?

Presentamos aspectos destacados, análisis e historias de la semana directamente desde nosotros a su bandeja de entrada sin nada intermedio. Suscríbase ahora