Stop Vibe-Checking: Guia d'Evals per a Aplicacions d'IA

De l'optimisme a l'evidència: La fi del 'vibe-checking'

La majoria de les demostracions d'IA semblen impecables un divendres a la tarda. Provem cinc prompts, el model respon amb fluïdesa i tot sembla llest per a producció. Tanmateix, quan els usuaris reals interactuen amb el sistema —fent servir argot, formats estranys o preguntes ambigües—, la realitat sol ser decebedora. Descobrir que "semblava funcionar" no és una estratègia d'enginyeria és el primer pas per madurar un producte.

Per a aquells que treballen en el desenvolupament de programari, especialment en programació amb LLMs, les evals (avaluacions) són l'eina que permet passar de la intuïció a l'evidència. Una eval és, essencialment, un mètode repetible per mesurar el comportament d'un sistema d'IA.

Què hem de mesurar exactament?

No n'hi ha prou amb una sensació subjectiva. Un sistema robust s'ha d'avaluar sota múltiples dimensions:

• Correctitud: És la resposta lògica i factual?
• Groundedness: Està avalada pels documents o fonts proporcionades?
• Utilitat: Ajuda l'usuari a completar la seva tasca?
• Seguretat: Evita comportaments nocius o privats?
• Format: Compleix amb estructures com JSON o esquemes de dades específics?
• Latència i Cost: És eficient en temps i recursos?

"Les evals són la manera en què fas que el comportament de la IA sigui prou mesurable per millorar-lo a propòsit."

L'estratègia tècnica: Evals deterministes i humanes

En el món de la programació tradicional, les proves unitàries són deterministes. En la IA, la mateixa entrada pot generar sortides diferents. Per això, hem d'adoptar un enfocament per capes. Si estàs construint una aplicació utilitzant javascript, no intentis fer servir un model de llenguatge per validar alguna cosa que pots comprovar amb codi simple. Si esperes un objecte JSON, fes servir validadors d'esquema en lloc de demanar a la IA que ho verifiqui.

Construint el teu Golden Dataset

Tot equip seriós ha de crear un golden dataset: un conjunt petit (de 30 a 100 exemples) de casos d'èxit, errors històrics i casos límit. Aquesta és la teva àncora per mesurar regressions. Si vols aprofundir en com els models avançats impacten en el flux de treball, consulta Claude Opus 4.7: El nuevo estándar en programación y agentes IA.

El paper dels LLM-as-a-judge

El concepte de LLM-as-a-judge permet fer servir un model per avaluar-ne un altre. Tot i que és escalable, no és un oracle. Ha de ser calibrat amb revisions humanes per assegurar que el judici del model sigui coherent amb els teus estàndards de qualitat.

Conclusió: Les Evals són feina de producte

Les evals no són només un problema de Machine Learning; són una tasca de producte. Entendre què defineix un sistema "bo" requereix la col·laboració d'enginyers, experts en domini i dissenyadors. Si busques eines que facilitin aquesta gestió, recorda que tot i que existeixin plataformes d'open source o entorns visuals, el disseny de l'avaluació continua depenent del teu criteri.

Deixa d'avaluar la teva app basant-te en "vibracions". Defineix les teves mètriques, construeix el teu conjunt de proves i comença a iterar amb dades reals.