Amazon lanzó TorchNeuron, un backend de código abierto que permite que el código PyTorch se ejecute en sus chips Trainium AI con un cambio de una línea. Entrará en versión beta pública el 20 de octubre bajo la licencia Apache 2.0 y es compatible con Trainium2 y Trainium3. Algunas funciones de PyTorch aún no son compatibles.
Amazon lanzó TorchNeuron, una herramienta que permite a los desarrolladores ejecutar su código PyTorch existente en sus chips Trainium AI sin tener que reescribirlo, dijo la compañía. dijo el lunes. PyTorch es el marco de software más utilizado para crear modelos de IA.
TorchNeuron entrará en versión beta pública el 20 de octubre en la Conferencia PyTorch en San José, según un Publicación del blog de PyTorch por ingenieros de Amazon. Será de código abierto bajo la licencia Apache 2.0 y soportará Trainium2 y Trainium3.
Hasta ahora, trasladar el código de IA a un nuevo chip a menudo implicaba meses de reescritura y pruebas. Con TorchNeuron, los desarrolladores apuntan su código a Trainium cambiando la configuración de un solo dispositivo, dijo Amazon.
En una demostración, Amazon ejecutó el mismo script de entrenamiento en un chip estándar y en Trainium, y dijo que el modelo aprendió al mismo ritmo en ambos. La herramienta se conecta al sistema integrado de PyTorch para agregar nuevo hardware, por lo que las herramientas estándar de prueba y escalado aún funcionan.
Sin embargo, la primera versión tiene lagunas. Todavía no es compatible con algunas funciones de PyTorch, como las formas de entrada dinámica, y se omiten alrededor de 22.000 pruebas de PyTorch, según la publicación del blog de PyTorch.
Los primeros usuarios incluyen las nuevas empresas de inteligencia artificial de voz Cartesia y Deepgram, así como el Instituto Lieber para el Desarrollo del Cerebro, que la utiliza en la investigación de fármacos. Hugging Face también ha agregado soporte Trainium a sus herramientas de inteligencia artificial. Uber se registró recientemente para usar los chips en un Acuerdo de expansión de AWS.
El lanzamiento es parte del esfuerzo de Amazon para competir con Nvidia, cuyos chips y software CUDA Dominar la informática de IA. En abril, el director ejecutivo Andy Jassy dijo que Amazon negocio de chips personalizados podría valer 50 mil millones de dólares, y Amazon ahora dice que ha superado una tasa de ingresos anuales de 25 mil millones de dólares.
Uno de los socios de lanzamiento de TorchNeuron es Decart, un Inicio del software del chip AI que se informó que Amazon estaba en conversaciones para comprar.