Block de Jack Dorsey lanzó un nuevo modelo de voz del laboratorio de investigación de la compañía que se ejecuta localmente y suena extrañamente humano con expresiones como risas, pausas y llantos. La compañía dijo que el modelo, llamado Dessa, está entrenado completamente en el habla humana y en un único bastidor de GPU NVIDIA.
Dessa es un modelo full-duplex, lo que significa que puede hablar y escuchar al mismo tiempo, al igual que el modelo GPT-Live OpenAI lanzado a principios de este año. Normalmente, los modelos de habla se combinan con un modelo de lenguaje grande para la recuperación de conocimientos. Block dijo que el conocimiento de Dessa proviene de los datos conversacionales que tiene.
Block dijo que los modelos actuales pueden parecer antinaturales y molestos porque tienen texto en proceso que impulsa la generación del habla. Muchos modelos como ElevenLabs v4 o Fish Audio Drama 3 utilizan etiquetas de voz para generar emociones en la generación del habla. La empresa de Dorsey afirma que la emoción está integrada en su modelo. No está claro si esa emoción está siendo dirigida por algún tipo de etiquetas.
«Interactuar con la IA de voz actual puede simplemente apestar. Convierte tu voz en texto y desecha una increíble cantidad de información que el texto por sí solo no puede transmitir. Las IA más poderosas del mundo no pueden escuchar cómo te sientes. Creemos que eso es ridículo, conduce a una peor experiencia y es potencialmente peligroso», dijo la compañía en una publicación de blog.
Los investigadores de la compañía publicaron múltiples ejemplos de conversaciones con Dessa donde el agente tenía diferentes voces, cadencias y emociones. Por ejemplo, en la conversación, el robot dijo que estaba cansado del trabajo y en ese momento sonó cansado.
En el siguiente ejemplo, el robot hablaba de la persona que se sentía cómoda mientras sonaba emocional y casi se derrumba.
Otro muestra a un miembro del equipo Block jugando con el asistente de voz.
La compañía dijo que el modelo puede ejecutarse localmente en una computadora de consumo como una MacBook M4 Max o superior. Sin embargo, no hay acceso público a Dessa en este momento y Block ha hecho un llamado a investigadores de seguridad para probar el modelo. Es probable que esto pruebe casos en los que un agente de voz podría engañar a las personas al otro lado de la línea.
Block se dedica al negocio de las finanzas y vende sus soluciones a pequeñas empresas. Square ya utiliza inteligencia artificial por voz para gestionar los pedidos. Pero con su propio modelo de voz que puede ejecutarse en el dispositivo, puede impulsar muchas más experiencias comerciales y de consumidores a un costo menor.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.