Si desea aprovechar al máximo un mundo cada vez más lleno de herramientas de IA, aquí hay un hábito para desarrollar: comenzar a tomar capturas de pantalla. Muchas capturas de pantalla. De cualquier cosa y de todo. Porque para todos los modos de voz de voz, cámaras omnipresentes y el futuro multimodal de todopuede que no haya más comportamiento digital valioso que presionar los botones y guardar lo que está viendo.
Las capturas de pantalla son el método más universal para capturar información digital. Puedes capturar cualquier cosa, bueno, casi cualquier cosa, Muchas gracias, Netflix! – Con unos pocos clics, y guárdelo y comparte a casi cualquier dispositivo, aplicación o persona. «Es este formato de datos portátiles», dice Johnny Bree, el fundador de la aplicación de almacenamiento digital Tela. «No hay nada más que sea tan portátil que pueda moverse entre cualquier software».
Una captura de pantalla contiene mucha información, como su fuente, contenido e incluso la hora del día en la esquina de la pantalla. Sobre todo, envía una señal crucial y compleja; dice Me importa esto. Tenemos innumerables nuevas herramientas de IA que tienen como objetivo ver el mundo, nuestras vidas y todo, y tratar de darle sentido a todo por nosotros. Estas herramientas son en su mayoría basura por muchas razones, pero principalmente porque la IA es bastante buena para saber qué son las cosas, pero es basura para saber si importan. Una captura de pantalla asigna valor y le dice al sistema que necesita prestar atención.
Las capturas de pantalla también lo ponen, el usuario, en control de una manera importante. «Si le doy acceso a todos mis correos electrónicos, todos mis whatsapps, todo, hay mucho ruido», dice Mattias Deserti, jefe de marketing de teléfonos inteligentes en nada. Simplemente no hay razón para guardar cada correo electrónico que reciba o cada página web que visite, y es decir, nada de las implicaciones de privacidad. «Entonces, ¿qué pasaría si, en su lugar, pudiera comenzar a capacitar el sistema usted mismo? Alimentando al sistema la información que desear el sistema para saber sobre ti? En vez de Una herramienta como Microsoft Retallque solicita acceso ilimitado a todo, comenzar con capturas de pantalla le permite elegir lo que comparte.
Hasta ahora, las capturas de pantalla han sido un instrumento bastante contundente. Usted se quita uno, y se guarda en el rollo de su cámara, donde probablemente languidece, olvidado, hasta el final de los tiempos. (Y no me hagas comenzar con todas las capturas de pantalla que tomo por accidente, principalmente de mi pantalla de bloqueo). En el mejor de los casos, es posible que puedas buscar algún texto dentro de la imagen. Pero es más probable que solo tenga que desplazarse hasta que lo encuentre nuevamente.
El primer paso para hacer que las capturas de pantalla sean más útiles es descubrir qué hay en ellas realmente
El primer paso para hacer que las capturas de pantalla sean más útiles es descubrir qué hay realmente en ellas. Esto es, a primera vista, no terriblemente complicado: la tecnología de reconocimiento de caracteres ópticos ha hecho durante mucho tiempo un buen trabajo al detectar texto en una página. Los modelos AI llevan eso un paso más allá, por lo que puede buscar el título o simplemente «películas» para encontrar todas sus instantáneas digitales de carteles, resultados de Fandango, recomendaciones de Tiktok y más. «Utilizamos un modelo de OCR», dice Shenaz Zack, gerente de productos de Google y parte del equipo detrás del Aplicación de capturas de pantalla de píxeles. «Luego usamos un modelo de detección de entidades y luego Gemini para comprender el contexto real de la pantalla».
Mira, hay mucho más en una captura de pantalla que solo el texto en el interior. El modelo AI correcto debería poder decir que proviene de WhatsApp, solo por el color verde específico. Debería poder identificar un sitio web por el logotipo de su encabezado o comprender cuando está guardando un nombre de canción de Spotify, una revisión de Yelp Handyman o una lista de Amazon. Armado con esta información, una aplicación de captura de pantalla podría comenzar a organizar automáticamente todas esas imágenes para usted. E incluso eso es solo el comienzo.
Con todo lo que he descrito hasta ahora, todo lo que realmente hemos creado es una muy buena aplicación para mirar sus capturas de pantalla, lo que nadie realmente piensa que es una buena idea porque sería solo una cosa más para verificar, u olvidarse de verificar. Donde se vuelve mucho más interesante es cuando su dispositivo o aplicación puede comenzar a usar las capturas de pantalla en su nombre, para ayudarlo a recordar lo que capturó o incluso usar esa información para hacer las cosas.
En nada nueva aplicación espacial esencialpor ejemplo, la aplicación puede generar recordatorios basados en cosas que guarda. Si toma una captura de pantalla de un concierto al que le gustaría ir, puede recordarle que está surgiendo automáticamente. Las capturas de pantalla de Pixel están presionando aún más la idea: si guarda una lista de conciertos, su teléfono Pixel puede pedirle que escuche a esa banda la próxima vez que abra Spotify. Si captura una captura de pantalla una tarjeta de identificación o un pase de embarque, podría pedirle que la ponga en la aplicación de billetera. La idea, dice Zack, es pensar en las capturas de pantalla como un sistema de entrada para todo lo demás.
Mike Choi, un desarrollador independiente, creó una aplicación llamada Acampar en parte para ayudarlo a utilizar sus propias capturas de pantalla. Comenzó a trabajar para convertir cada captura de pantalla en una «tarjeta», con la información destacada almacenada junto con la imagen. «Tienes una captura de pantalla, y en la parte inferior hay un botón, y voltea la tarjeta», dice. «Te muestra un mapa, si se trataba de una ubicación; una vista previa de una canción, si es una canción. La idea era que, dado un grupo infinito de diferentes tipos de capturas de pantalla, ¿puede la IA simplemente generar la interfaz de usuario perfecta para esa categoría en la marcha?»
Si todo esto suena familiar, es porque hay otro término para lo que está pasando aquí: se llama AGENIC AI. Cada empresa en tecnología parece estar trabajando en formas de usar la IA para lograr cosas en su nombre. Es solo que, en este caso, no tiene que escribir largas indicaciones o charlar de ida y vuelta con un asistente. Simplemente tome una captura de pantalla y deja que el sistema salga a trabajar. «Estás construyendo una base de conocimiento, cuando hoy esa base de conocimiento se limita a tu galería y no pasa nada con ella», dice Deserti. Está emocionado de llegar al punto en que capturas una cita de concierto, y el espacio esencial automáticamente te impide que compre boletos cuando salgan a la venta.
Dar sentido a las capturas de pantalla no siempre es tan sencillo
Sin embargo, dar sentido a las capturas de pantalla no siempre es tan sencilla. Algunos que desea mantener para siempre, como la tarjeta de identificación que puede necesitar a menudo; Otras cosas, como un póster de concierto o un pase de estacionamiento, tienen una vida de estantería extremadamente limitada. Para el caso, ¿cómo se supone que una aplicación distingue entre el pase de estacionamiento que usa todos los días en el trabajo y la que usó una vez en el aeropuerto y nunca necesita más? Algunas de las capturas de pantalla de mi teléfono me fueron enviados en WhatsApp; Otros que tomé de los memes de Instagram para enviar a sus amigos. El rollo de cámara de nadie debe sostenerse completamente contra ellos, y lo mismo ocurre con las capturas de pantalla. Muchas de estas aplicaciones de captura de pantalla están buscando formas de pedirle que agregue una nota u organice las cosas usted mismo, para proporcionar información útil adicional al sistema. Pero es un trabajo duro hacer eso sin arruinar lo que hace que las capturas de pantalla sean tan perfectas y fáciles en primer lugar.
Una forma de comenzar a resolver este problema, hacer que las capturas de pantalla sean aún más útiles, es recopilar algún contexto adicional de su dispositivo. Aquí es donde empresas como Google y nada tienen una ventaja: debido a que hacen el dispositivo, pueden ver todo lo que está sucediendo cuando tomas una captura de pantalla. Si toma una captura de pantalla de su navegador web, también pueden almacenar el enlace que estaba viendo. También pueden ver su ubicación física o anotar la hora y el clima. A veces todo esto es útil, pero a veces no tiene sentido; Cuantos más datos recopilen, más estas aplicaciones corren el riesgo de encontrar el mismo problema de ruido que las capturas de pantalla ayudaron a resolver en primer lugar.
Pero el sistema de entrada funciona. Todos tomamos capturas de pantalla, todo el tiempo, y estamos acostumbrados a tomarlas como una forma de poner un marcador en tantos tipos de información útil. Obtener acceso a ese tipo de datos relevantes y personalizados es lo más difícil de construir un gran asistente de IA. El futuro de la informática es ciertamente multimodal, incluidas cámaras, micrófonos y sensores de todo tipo. Pero la primera mejor manera de usar IA podría ser una captura de pantalla a la vez.