Model Output Is Not Authority: Seguridad y Programación en Agentes IA

El desafío de la autoridad en la era de los agentes IA

A medida que la inteligencia artificial evoluciona de simples chatbots a sistemas autónomos capaces de ejecutar tareas, el paradigma de ciberseguridad debe cambiar drásticamente. Ya no basta con evaluar si un modelo es confiable; debemos preguntarnos si cada acción ejecutada está autorizada, delimitada, atribuible y evidenciada. La premisa fundamental es clara: Model Output Is Not Authority (la salida del modelo no es autoridad).

Cuando un agente tiene la capacidad de llamar a herramientas, actualizar registros o realizar transacciones financieras, cualquier vulnerabilidad —como una prompt injection— deja de ser un simple problema de texto para convertirse en un riesgo operativo real. En este contexto, la programación defensiva y la arquitectura de sistemas cobran una importancia crítica.

Hacia un marco de control: AAEF

El Agentic Authority & Evidence Framework (AAEF) surge como una propuesta open source para estandarizar cómo las organizaciones prueban la legitimidad de las acciones de sus agentes. A diferencia de otros marcos de gobernanza, AAEF se centra en la capa de ejecución.

"La salida del modelo puede proponer una acción, pero la autorización debe ser impuesta por políticas y el estado del sistema, no solo por el lenguaje natural generado."

Separación de capas en la ejecución

Para evitar que el modelo tome decisiones de alto riesgo sin supervisión, es vital implementar una arquitectura que separe dos capas esenciales:

1. Capa de Autorización: Evalúa si la acción está permitida basándose en la identidad del agente, el alcance de la autoridad y las políticas de seguridad. Aquí es donde la Gobernanza de APIs: El arte de la programación escalable y segura se vuelve indispensable para asegurar que las interfaces no sean explotadas.
2. Capa de Disparo de Herramientas (Tool Dispatch): Verifica si el uso del tool es seguro en el momento exacto de la invocación, validando los argumentos y la necesidad de una aprobación humana.

El papel de la evidencia y la delegación

En entornos de javascript o cualquier lenguaje de backend, la trazabilidad es clave. Un log simple no es suficiente para auditar acciones complejas. AAEF propone una estructura de evidencia detallada que incluya el ID del agente, la cadena de delegación y el nivel de riesgo.

Asimismo, el problema de la delegación de autoridad es un punto ciego común. Cuando un agente delega una tarea a otro, la autoridad no debería expandirse, sino atenuarse. Si no gestionamos correctamente este flujo, corremos el riesgo de escalar privilegios sin control, un problema que debe abordarse mediante una Arquitectura de IA: Programación segura con LLMs y bases de datos robusta.

Conclusión

La seguridad en agentes IA requiere que tratemos la salida de los modelos como sugerencias y no como órdenes directas. Al adoptar marcos como AAEF, los desarrolladores pueden construir sistemas donde cada acción sea auditable y esté bajo una estricta gobernanza. La seguridad no se trata solo de hacer que el modelo sea más inteligente, sino de diseñar sistemas que mantengan el control humano y la visibilidad técnica en cada paso.

Fuente: AAEF Public Review Draft