BNY ha creado herramientas para rastrear cómo gasta tokens de IA y dirigir tareas a los modelos más adecuados, dijo el director financiero Dermot McDonogh a Bloomberg Television. El banco gestiona alrededor de 400 agentes de inteligencia artificial y gasta 4.000 millones de dólares al año en tecnología. Los bancos están bajo presión a medida que aumentan las facturas de IA.
BNY ha creado herramientas para rastrear cuánto gasta en IA y enviar cada tarea al modelo más adecuado, dijo el director financiero Dermot McDonogh. Televisión Bloomberg. El objetivo es evitar gastos excesivos a medida que aumentan los costos de la IA.
“Nos hemos vuelto bastante disciplinados y hemos desarrollado una telemetría sofisticada para que podamos rastrear cómo gastamos y cómo usamos nuestros tokens.» Dijo McDonogh.
“No utilizamos modelos caros para consultas baratas,» añadió. Dijo que enviar tareas al modelo correcto será más importante «con el tiempo a medida que los costos entran en juego.«
BNY utiliza modelos de los grandes proveedores de nube y no está vinculado a ninguno de ellos, dijo McDonogh. Esto se mantiene a pesar de que el director ejecutivo de BNY, Robin Vince, se unió Tablero de OpenAI en julio. El banco cuenta con unos 400 agentes de IA, y la IA es sólo una parte de su presupuesto anual de tecnología de 4.000 millones de dólares.
Las empresas están pagando más por la IA incluso cuando el precio por token cae, porque los agentes de IA se agotan muchas más fichas. En junio, el director ejecutivo del Commonwealth Bank of Australia advirtió sobre el aumento de las facturasy en julio Atlassian puso a sus ingenieros en presupuestos mensuales de IA.
Los comentarios marcan un cambio de tono para BNY. En julio, McDonogh le dijo a Fortune que el banco no realizó un seguimiento del uso de tokens y, en cambio, se centró en los resultados, diciendo: «No es algo de lo que pasemos mucho tiempo hablando.«
Todavía no quiere que el control de costos frene el uso de la IA. “No hablamos de ello en relación con la eficiencia o los recortes de empleo,» dijo. «Hablamos de ello en relación con la mejora de las habilidades y el intento de hacer mejores cosas.«
Otros bancos han sido más abiertos a los recortes. La directora ejecutiva de Citi, Jane Fraser, dijo en julio que la IA Las pérdidas de empleo han comenzado en el banco.