Google lanzó EmbeddingGemma 2, un modelo abierto de 740 millones de parámetros que asigna texto, código, imágenes, audio y video en un solo espacio y se ejecuta completamente en un teléfono o una pequeña placa. Tiene licencia Apache 2.0, no ha tenido ajustes de seguridad y Google dice que el rendimiento no es igual en los 100 idiomas que admite.
Google ha lanzado un modelo abierto que busca texto, código, imágenes, audio y vídeo y se ejecuta en un teléfono. Necesita alrededor de 191 MB de memoria para trabajar con texto en un Pixel 11 Pro, o alrededor de 567 MB para los cinco. Nada tiene que salir del dispositivo.
EmbeddingGemma 2 lo mapea todo en un espacio de 768 dimensiones, dijo Google en una publicación de blog. Tiene 740 millones de parámetros, de los cuales 270 millones son necesarios sólo para texto, con un codificador de visión de 170 millones y un codificador de audio de 300 millones cargados sólo si se desea. La licencia es Apache 2.0.
Un modelo de incrustación convierte el contenido en números para que el software pueda encontrar cosas por su significado en lugar de hacer coincidir palabras.
Ese es el paso que normalmente ocurre en la nube de otra persona.
En abril informamos que Llegó gema 4 como cuatro modelos de peso abierto con la misma licencia, que se ejecutan en teléfonos, placas Raspberry Pi y tarjetas gráficas de consumo. EmbeddingGemma 2 se basa en esa arquitectura y comparte su tokenizador de texto y codificador de audio, por lo que los dos se ejecutan juntos en menos memoria combinada.
El resultado práctico es una tubería de recuperación sin red.
Google planteó el mismo argumento en agosto cuando creó un traductor fuera de línea en una Raspberry Pi de $80, para manejar conversaciones delicadas sin enviar audio a ninguna parte. Mantener los datos en el dispositivo evita la transferencia, que es donde comienzan la mayoría de las cuestiones europeas sobre protección de datos.
La empresa no hace esto por generosidad. Está construyendo el valor predeterminado.
Google dice que la familia Gemma ha fallecido mil millones de descargasy el primer EmbeddingGemma representó 20 millones de ellos. El nuevo modelo contiene 8.192 tokens en cada modalidad, cuatro veces más que la primera versión, lo que equivale a 29 imágenes, 58 fotogramas de vídeo o cinco minutos y medio de audio.
Los vectores se pueden reducir de 768 dimensiones a 128, lo que según Google reduce el almacenamiento hasta seis veces.
Hay límites y Google los enumera. El modelo no ha tenido ajuste de seguridad ni moderación de salida, y en su lugar la mitigación se aplicó a los datos de entrenamiento. Admite más de 100 idiomas y Google dice que el rendimiento puede no ser igual en todos ellos.
La UE tiene 24 lenguas oficiales.
Es el tipo de capacidad Europa sigue diciendo que quiere para mantener localmente, ejecutándose en hardware que ya posee una empresa europea, bajo una licencia que cualquiera puede usar, y fue construido en Mountain View.