IBM compromete la plataforma de inferencia a gran escala ModelMesh al código abierto



IBM anunció hoy que ha comprometido su ModeloMalla servicio de inferencia a código abierto. Esto es muy importante para la comunidad de MLOps y DevOps, pero las implicaciones para el usuario final medio también son enormes.

La inteligencia artificial es una tecnología de la columna vertebral de la que dependen casi todas las empresas. La mayor parte de nuestra cobertura aquí en Neural tiende a discutir los desafíos que implica la formación y el desarrollo de modelos de IA.

Pero cuando se trata de implementar modelos de IA para que puedan hacer lo que se supone que deben hacer cuando se supone que deben hacerlo, la magnitud del problema es astronómica.

Piénselo: inicia sesión en su cuenta bancaria y hay una discrepancia. Toca el botón «¿Cómo podemos ayudar?» en la parte inferior de la pantalla y se abre una ventana de chat.

Ingresa una consulta como «¿Por qué mi saldo no refleja mis transacciones más recientes?» Un chat bot responde con «Un momento, revisaré tu cuenta» y luego, como por arte de magia, dice «He encontrado el problema» y te da una respuesta detallada sobre lo que sucedió.

Lo que hizo es enviar una solicitud de inferencia a un modelo de aprendizaje automático. Ese modelo, utilizando una técnica llamada procesamiento de lenguaje natural (NLP), analiza el texto en su consulta y luego examina todos sus datos de entrenamiento para determinar cuál es la mejor respuesta.

Si hace lo que se supone que debe hacer de manera oportuna y precisa, probablemente saldrá de la experiencia con una visión positiva del sistema.

Pero, ¿qué pasa si se detiene o no carga las inferencias? Terminas perdiendo el tiempo con un bot de chat y aún necesitas que se resuelva tu problema.

ModelMesh puede ayudar.

Animesh Singh, CTO de IBM para Watson AI & ML Open Tech, dijo a Neural:

ModelMesh es la base de la mayoría de los servicios en la nube de Watson, incluidos Watson Assistant, Watson Natural Language Understanding y Watson Discovery, y se ha estado ejecutando durante varios años.

IBM ahora está contribuyendo con la plataforma de inferencia a la KServe comunidad de código abierto.

Diseñado para casos de uso de modelos de gran escala, alta densidad y que cambian con frecuencia, ModelMesh puede ayudar a los desarrolladores a escalar Kubernetes.

ModelMesh, combinado con KServe, también agregará métricas de IA de confianza como explicabilidad y equidad para los modelos implementados en producción.

Volviendo a nuestra analogía con el cliente bancario, sabemos que no somos el único usuario al que la IA de nuestro banco necesita para servir inferencias. Podría haber millones de usuarios consultando una sola interfaz simultáneamente. Y esos millones de consultas podrían requerir el servicio de miles de modelos diferentes.

Averiguar cómo cargar todos estos modelos en tiempo real para que puedan funcionar de una manera que se adapte a las necesidades de sus clientes es, quizás, uno de los mayores desafíos que enfrenta el equipo de TI de cualquier empresa.

ModelMesh gestiona tanto la carga como la descarga de modelos a la memoria para optimizar la funcionalidad y minimizar el consumo de energía redundante.

Según un comunicado de prensa de IBM:

Está diseñado para casos de uso de modelos a gran escala, alta densidad y que cambian con frecuencia. ModelMesh carga y descarga de forma inteligente modelos de IA hacia y desde la memoria para lograr un equilibrio inteligente entre la capacidad de respuesta a los usuarios y su huella computacional.

Puede obtener más información sobre ModelMesh aquí en IBM sitio web.



Fuente: TNW

Compartir:

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para fines de afiliación y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Ver Política de cookies
Privacidad