La empresa china de inteligencia artificial Z.ai y la consultora de seguridad de Beijing Concordia AI han publicado un estructura para gestionar los riesgos de los modelos de IA de peso abierto. Cualquiera puede descargar, modificar y ejecutar los parámetros entrenados de dichos modelos.
Los dos publicaron el informe el lunes, informó Chong Ming Lee para el Poste matutino del sur de China.
El informe «proporciona la primera base integral basada en evidencia para navegar estas tensiones» entre apertura y seguridad, escriben sus autores.
Por qué los pesos abiertos son diferentes
El marco parte de tres problemas. Una liberación es difícil o imposible de revertir. El ajuste fino puede eliminar las salvaguardias. Y una vez que se eliminan los pesos, los desarrolladores ya no pueden monitorear cómo las personas usan el modelo.
«La formación en seguridad se puede deshacer con un pequeño número de ejemplos de formación perjudiciales», dice el informe.
Por eso, el informe se centra en medidas que actúan antes de la publicación, o que siguen funcionando después de que se publican las pesas. Enumera la curación de datos de entrenamiento en las primeras etapas del desarrollo y el lanzamiento por etapas en lugar de una única opción abierta o cerrada. El GLM-5.3 de Z.ai es su ejemplo: los socios de seguridad examinados probaron el modelo primero, y los pesos completos salieron solo después de las evaluaciones de seguridad.
Las seis etapas
El marco establece seis etapas, desde la identificación de los riesgos hasta su gestión:
La identificación de riesgos cubre mal uso y accidentes. Los umbrales de riesgo definen el riesgo inaceptable en cuatro dimensiones. Son dónde funciona el modelo, quién podría hacer un mal uso de él, qué permite y qué tan bien la sociedad puede absorber el daño. El análisis de riesgos se ejecuta antes del desarrollo, antes del despliegue y después del mismo.
La evaluación de riesgos clasifica los modelos en zonas verdes, amarillas y rojas: liberación total, liberación restringida o por etapas, o suspensión. La mitigación de riesgos aplica protecciones a lo largo de la vida del modelo, y la gobernanza de riesgos establece la supervisión y la rendición de cuentas.
El informe complementa el Frontier AI Risk Management Framework 2.0 de Shanghai AI Lab y Concordia AI, publicado en julio.
Contexto
Z.ai levantado 5 mil millones de dólares en Hong Kong este mes. La semana pasada se disculpó por su Herramienta de codificación ZCode y de código abierto. En agosto, salió una estrategia tecnológica de la Casa Blanca. IA de peso abierto de su lista de tecnologías críticas.