Aprender a utilizar la IA local es emocionante, abrumador y frustrante

Me estoy embarcando en un viaje que hasta ahora he dudado en emprender: usar IA de forma regular. Dar mis datos más personales a servicios en la nube ha sido un gran obstáculo para mí, pero cada vez es más posible ejecutar modelos potentes localmente para ver de qué son capaces. ¿Es esta tecnología tan útil que vale la pena gastar grandes cantidades de dinero en una computadora o computadora portátil con mucha RAM cara? Intentaré ayudarte a descubrirlo. No soy un experto en IA, será un viaje para mí, pero tal vez pueda ayudarlos a ver si vale la pena emprender ese viaje, y publicaré mi camino a través de él.

Una gran parte del discurso de Apple sobre sus nuevas computadoras de escritorio Mac es lo buenas que son para la IA local, y hay una línea completa de nuevas Chispa RTX maquinas windows aterrizaje inminentemente con hasta 128 GB de RAM destinado al uso de IA agente. La IA local y los agentes son como, entonces caliente ahora mismo. Pero, con toda seriedad, la idea de tener un pequeño recadero viviendo únicamente en la caja de mi escritorio que solo responde a mí y no a los señores de OpenAI, Google, Microsoft o Anthropic es un poco diferente a confiar en los servicios en la nube o suscribirse a un chatbot. No me malinterpretes, todavía no hay manera de que lo escriba por mí, lo edite o lo genere. volantes feos. Pero ahora, con algo de privacidad de mi lado, tal vez finalmente pueda pensar en un trabajo útil y ocupado en el que “confiar”.

Entonces, como parte de mis pruebas continuas del Estudio M5 Ultra Macademás de experimentar en otros sistemas Mac y Windows, instalé algunos LLM locales y estoy empezando a experimentar. Así es como van las cosas.

Empecé instalando el código abierto. Agente Hermes en Mac Estudio. Hermes es una aplicación de escritorio de agente de IA autohospedada que funciona en macOS, Windows y Linux. Es de uso completamente gratuito si se ciñe a los LLM locales. Dado que este M5 Ultra Mac Studio tiene 256 GB de memoria unificada, podría ejecutar casi cualquier modelo que desee. Así es como las cosas rápidamente se vuelven abrumadoras. Hay Hay más modelos de los que puedo contar.y algunos tienen usos especializados. Generalmente, los modelos con muchos miles de millones de parámetros son capaces de hacer más que los más pequeños con sólo unos pocos miles de millones. Y como no tenemos que preocuparnos por pagar los tokens cuando ejecutamos un modelo localmente, pensé en empezar a lo grande.

Utilizando la sencilla interfaz de incorporación y el selector de modelos de Hermes, elegí el Qwen 3.8 Flash Siguiente modelo: un modelo de 125 mil millones de parámetros que tiene alrededor de 105 GB de tamaño. También planeo pasar algún tiempo con modelos Qwen mucho más pequeños en dispositivos como una Mac Mini M6, una MacBook Air M5, una Asus TUF Gaming A14 con procesador AMD Strix Halo y, eventualmente, RTX Spark. (¿Le importaría compartir qué modelos locales y hardware utiliza? Ya sabe dónde dejar sus comentarios. 🫡)

No pasó mucho tiempo para empezar a utilizar Hermes y Qwen, e incluso hacerlos controlables a través de mi teléfono usando un robot de telegrama. Pero luego me encontré con mi némesis habitual cuando se trata de usar IA: el cuadro de texto.

“¿Qué hago con esta cosa?”

En primer lugar, para que todo funcione, seguí algunos consejos útiles. consejo de youtube e hizo que Hermes me hiciera una sesión informativa diaria por la mañana, para comenzar poco a poco con un trabajo cron y asegurarme de que todo funcione. Escanea mi correo electrónico y mi calendario, me dice cualquier cosa que merezca mi atención inmediata y me proporciona un breve informe meteorológico. No es tan útil y obviamente no necesitas una computadora de $12,000 para construirlo, pero es algo que puedo desarrollar con el tiempo. El informe seguía sin generarse al principio, pero finalmente descubrí que macOS no podía estar dormido cuando el trabajo se inició a las 7:30 a.m. ¡Eh! Ahora funciona como un reloj, pero tengo que pensar en más información para que pueda obtener resultados más útiles.

Una tarea más útil fue reorganizar mi biblioteca de Steam. Tengo más de 400 juegos en Steam y recientemente comencé a clasificarlos para cuando quiero jugar algo nuevo por capricho. Steam no clasifica tus juegos por ti, por lo que debes hacerlo manualmente, uno por uno. Pero aquí es donde un lacayo agente podría encajar perfectamente. Le pregunté: «¿Puedes reorganizar mi biblioteca de Steam?» Hermes pudo ver la mayoría de mis juegos con solo ver el cliente Steam ya instalado. Rápidamente se me ocurrieron algunas opciones de organización. Decidí que organizara mis juegos por género, pero dejara algunas de mis categorías especializadas (favoritos, títulos cooperativos, juegos de fiesta, juegos para jugar con mi esposa, etc.).

Tienes que darle a una IA local algunos permisos sobre tu máquina para que pueda realizar acciones por ti y, en el caso de mi biblioteca de juegos, tuve que registrar una Clave API web de Steam y dáselo a Hermes. Una vez que tuvo ese acceso, solo le tomó unos minutos ordenar todos los juegos en categorías. Y la clave API fue fácil de revocar inmediatamente después, ya que ya no la necesito. La idea es que haga este trabajo pesado por mí una vez, y luego clasificaré nuevos juegos en las categorías a medida que finalmente los compre. En general, hizo un buen trabajo y ahora mi biblioteca de Steam se puede navegar fácilmente.

Otra cosa sencilla que hice fue el análisis de datos. Hice que Hermes echara un vistazo a los registros financieros para hacer algunos números por mí, y también le pedí que me hiciera una hoja de cálculo de comparación de especificaciones para una nueva computadora portátil. Estas son cosas pequeñas, pero ambas son tareas en las que no puedo o no confiaré con ningún servicio en la nube; no quiero cargar esos datos confidenciales en la nube y, en el caso de una computadora portátil nueva, esa información estaba bajo embargo. Mantenerlos en mi computadora fue la diferencia entre usar esta herramienta o no.

La mayor parte de la automatización en la que estoy trabajando actualmente es un script para ejecutar una serie de pruebas comparativas de portátiles. Ejecuto todos nuestros puntos de referencia manualmente, y utilizar una computadora portátil para ejecutar una docena de pruebas (tres veces más, para tomar el promedio) consume mucho tiempo. Me encantaría automatizar al menos una parte. Incluso guiar a Hermes a través de todos los procedimientos requeridos y lograr que escupe scripts de Python codificados en vibración ha sido todo un esfuerzo, y sigue siendo un trabajo en progreso. Pero espero lograr algunos avances positivos.

Todavía estoy empezando a trabajar con Hermes y espero que esto sea sólo la punta del iceberg de las cosas útiles que consigo que haga por mí. Pero también está claro que ni siquiera estos poderosos modelos locales son un asistente mágico que pueda hacer cualquier cosa. Las cosas todavía no siempre funcionan como se esperaba: mi informe diario ya se rompió varias veces.

Veo a Hermes y la IA local solo como una herramienta, un programa informático para ejecutar en mi computadora. No quiero un amigo digital. No digo «gracias» o «por favor», ni escribo «lo siento» cuando cambio de opinión sobre algo. Me mantengo tan frío e indiferente al ordenarlo como cuando hago clic con el mouse en un sistema operativo.

Espero permanecer alerta y cauteloso mientras sigo probando y aprendiendo con la IA local. Veamos a dónde lleva a mí.