Supermicro venderá los chips de inferencia de SambaNova junto con las GPU de Nvidia

Supermicro construirá y venderá sistemas de inferencia de inteligencia artificial que combinen los chips SN50 de SambaNova con las GPU de Nvidia, dijeron las compañías el martes. La colaboración prevé inicialmente 10.000 chips SN50, según SambaNova. anuncio.

Los bastidores se unirán a las soluciones de bloques de construcción de centros de datos de Supermicro, los sistemas de centros de datos listos para usar que vende a los clientes.

La ejecución de un modelo de IA tiene dos etapas. Primero, el sistema lee el mensaje y luego escribe la respuesta pieza por pieza. En los nuevos racks, las GPU Nvidia hacen la lectura y los chips SN50 hacen la escritura, dijo SambaNova. La compañía dice que los agentes de IA trabajan sin parar, por lo que la rapidez con la que actúan depende de la rapidez con la que responde el modelo.

«La IA agente es la próxima ola de inferencia y tiene que funcionar en todas partes», afirmó Rodrigo Liang, cofundador y director ejecutivo de SambaNova. «Ahora los clientes pueden solicitar RDU SN50 junto con GPU a un socio líder mundial en el que confían».

¿Quién hace qué?

Supermicro ensamblará los sistemas, los probará, los entregará y brindará soporte a los clientes, incluso con servicio in situ. Los ingenieros de SambaNova ejecutarán y ajustarán modelos de IA en SN50 y ayudarán con las implementaciones.

Las empresas comenzarán con neonubes, los proveedores de nube creados para la IA, y con nubes soberanas. Mantienen los datos y la informática dentro de un país. Luego planean venderlo a empresas que ejecutan IA en sus propios centros de datos.

«Supermicro se compromete a ofrecer una infraestructura de IA flexible y de alto rendimiento que respalde los requisitos cambiantes de nuestros clientes», dijo Charles Liang, presidente y director ejecutivo de Supermicro.

Diseñado para centros de datos existentes

SN50 es la unidad de flujo de datos reconfigurable o RDU de quinta generación de SambaNova, un chip diseñado para la inferencia. La compañía dice que puede dar servicio a los modelos más grandes sin necesidad de una densidad de potencia extrema en cada bastidor. Un SambaRack SN50 consume un promedio de 20 kW, dijo SambaNova la semana pasada.

Según SambaNova, los operadores pueden agregar capacidad de inferencia en los centros de datos que ya ejecutan. No tienen que esperar a que las nuevas construcciones se vean restringidas por la energía y la refrigeración. Dice que también pueden seguir usando sus GPU existentes por más tiempo. Como resultado, las dos empresas dicen que, como resultado, pueden ofrecer mucha más capacidad de inferencia en 2027.

Otras ofertas recientes de SambaNova

El acuerdo con Supermicro sigue a otro con Oracle. Oráculo dicho en su Conferencia mundial de IA el 27 de octubre anunció que planea implementar chips SN50 en sus centros de datos en la nube. Ofrecerá la capacidad a los constructores de modelos de IA.

Dos días después, SambaNova firmado Emergys, una empresa de servicios de transformación digital, implementará y ejecutará su plataforma para clientes empresariales.

SambaNova, fundada en 2017 y con sede en San José, recaudó nuevos fondos en un Valoración de 11.000 millones de dólares en julio. En junio, Foxconn e Intel se unió a él para construir una infraestructura de IA a escala de rack.