Modal planea ejecutar su producto Sandboxes en la CPU Vera basada en Arm de Nvidia, su primer paso lejos de los chips x86. En las propias pruebas de Modal, Vera manejó hasta el doble de tareas que un servidor Intel cuando estaba lleno de contenedores. Los resultados no han sido verificados de forma independiente.
Modal planea ejecutar sus entornos sandbox de agentes de IA en la nueva CPU Vera de Nvidia. En sus propias pruebas, el chip manejó hasta el doble de tareas que un servidor Intel. La empresa de la nube de IA anunció el plan en una publicación de blog el lunes.
Será la primera vez que Modal se alejará de los chips x86, del tipo fabricado por Intel y AMD. En su lugar, Vera utiliza el diseño de Arm, por lo que Modal necesitará cambiar su infraestructura y el sistema que utiliza para crear imágenes de software. Nvidia entregó personalmente el primer servidor Vera de la compañía en su oficina de San Francisco la semana pasada, dijo Modal.
Los sandboxes son computadoras aisladas donde los agentes de IA ejecutan el código que ellos mismos escriben. El producto genera 300 millones de dólares al año, dijo Modal la semana pasada cuando recaudó 750 millones de dólares a una valoración de 15.750 millones de dólares.
Las cargas de trabajo de Sandbox son difíciles de planificar, afirmó Modal. Un agente puede permanecer inactivo mientras espera un modelo de IA y luego utilizar diez veces más potencia informática durante la instalación de un software. Cientos de estos se ejecutan uno al lado del otro en cada servidor, por lo que el pico de un cliente puede ralentizar el trabajo de otro.
Para probar el chip, Modal creó un punto de referencia de 50 tareas de codificación, como compilar software y buscar archivos. Ejecutado uno a la vez, Vera era a menudo más rápido que los chips de Intel, AMD y Amazon, pero no siempre, y no mucho.
La brecha creció cuando Modal llenó el servidor con contenedores. Vera siguió terminando tareas a la misma velocidad, mientras que las fichas rivales llegaban a un techo, dijo Modal. La compañía atribuye el mérito al gran ancho de banda de memoria de Vera.
Eso es importante para dos usos, dijo Modal: agentes de codificación en segundo plano y aprendizaje por refuerzo. En el aprendizaje por refuerzo, las costosas GPU a menudo permanecen inactivas hasta que finaliza el trabajo de la CPU.
Nvidia presentó Vera en marzo como una CPU diseñada para agentes de IA, con 88 núcleos, y ha nombrado a Anthropic y OpenAI entre sus primeros usuarios. Perplexity ha dicho que ejecutará el trabajo del agente en el chip, después de informar 1,5 veces más rápido Tareas de codificación. Los rivales también están creando sus propias ofertas de sandbox, con Baseten comprando Blaxel en septiembre.
Modal no dijo cuándo llegarían a los clientes los sandboxes impulsados por Vera.