Model Output Is Not Authority: Seguretat i Programació en Agents IA

El desafiament de l'autoritat en l'era dels agents IA

A mesura que la intel·ligència artificial evoluciona de simples chatbots a sistemes autònoms capaços d'executar tasques, el paradigma de ciberseguretat ha de canviar dràsticament. Ja no n'hi ha prou amb avaluar si un model és fiable; hem de preguntar-nos si cada acció executada està autoritzada, delimitada, atribuïble i evidenciada. La premissa fonamental és clara: Model Output Is Not Authority (la sortida del model no és autoritat).

Quan un agent té la capacitat de cridar eines, actualitzar registres o realitzar transaccions financeres, qualsevol vulnerabilitat —com una prompt injection— deixa de ser un simple problema de text per convertir-se en un risc operatiu real. En aquest context, la programació defensiva i l'arquitectura de sistemes cobren una importància crítica.

Cap a un marc de control: AAEF

L'Agentic Authority & Evidence Framework (AAEF) sorgeix com una proposta open source per estandarditzar com les organitzacions proven la legitimitat de les accions dels seus agents. A diferència d'altres marcs de governança, l'AAEF se centra en la capa d'execució.

"La sortida del model pot proposar una acció, però l'autorització ha de ser imposada per polítiques i l'estat del sistema, no només pel llenguatge natural generat."

Separació de capes en l'execució

Per evitar que el model prengui decisions d'alt risc sense supervisió, és vital implementar una arquitectura que separi dues capes essencials:

1. Capa d'Autorització: Avalua si l'acció està permesa basant-se en la identitat de l'agent, l'abast de l'autoritat i les polítiques de seguretat. Aquí és on la Gobernanza de APIs: El arte de la programación escalable y segura esdevé indispensable per assegurar que les interfícies no siguin explotades.
2. Capa de Disparador d'Eines (Tool Dispatch): Verifica si l'ús del tool és segur en el moment exacte de la invocació, validant els arguments i la necessitat d'una aprovació humana.

El paper de l'evidència i la delegació

En entorns de javascript o qualsevol llenguatge de backend, la traçabilitat és clau. Un log simple no és suficient per auditar accions complexes. L'AAEF proposa una estructura d'evidència detallada que inclogui l'ID de l'agent, la cadena de delegació i el nivell de risc.

Tanmateix, el problema de la delegació d'autoritat és un punt cec comú. Quan un agent delega una tasca a un altre, l'autoritat no hauria d'expandir-se, sinó atenuar-se. Si no gestionem correctament aquest flux, correm el risc d'escalar privilegis sense control, un problema que ha d'abordar-se mitjançant una Arquitectura de IA: Programación segura con LLMs y bases de datos robusta.

Conclusió

La seguretat en agents IA requereix que tractem la sortida dels models com a suggeriments i no com a ordres directes. En adoptar marcs com l'AAEF, els desenvolupadors poden construir sistemes on cada acció sigui auditable i estigui sota una estricta governança. La seguretat no es tracta només de fer que el model sigui més intel·ligent, sinó de dissenyar sistemes que mantinguin el control humà i la visibilitat tècnica en cada pas.

Font: AAEF Public Review Draft