Probar tu agente

Agents at Work — CC BY 4.0

Las barreras de seguridad son una afirmación: este agente se comporta correctamente. Las pruebas son la forma de averiguar si esa afirmación es cierta, antes de que el agente se ponga a trabajar en tareas reales, y de nuevo a medida que cambian las herramientas subyacentes. Es el Ancla 2, la mejora continua, en su forma más concreta: no confías en el agente porque lo hayas creado con cuidado; confías en él porque lo has comprobado y sigues comprobándolo.

Hay dos tipos de pruebas, y la que necesites dependerá de a qué se dedique el agente.

Prueba uno: comprobaciones puntuales de precisión (para agentes que gestionan tu trabajo)

Para un contable que concilia cuentas, un analista de la competencia que recopila precios o un analista de mercado que resume tendencias, el fallo es una cifra errónea o una suposición sin fundamento. La prueba consiste en una verificación proporcional: toma una muestra de los resultados del agente y compárala tú mismo con la fuente .

• Toma la muestra de forma deliberada. Un puñado en cada ciclo, además de los casos extremos: las cifras más elevadas, las que parecen extrañas, aquellas en las que un error costaría más.
• Compáralo con la fuente, no con el propio resumen del agente. El objetivo es pillar al agente cuando se equivoca con total seguridad, y él mismo no puede detectarlo.
• Comprueba en proporción al coste de un error. Una nota interna mal archivada solo requiere un vistazo; una cifra que va a un cliente o a la Agencia Tributaria necesita una comprobación exhaustiva.

Nada de esto es nada del otro mundo. Es el hábito de verificación de tus medidas de seguridad, aplicado a un trabajador que nunca se cansa y nunca te avisa cuando no está seguro, a menos que lo hayas programado para ello.

Prueba dos: pruebas de impacto adverso (para agentes que afectan a las personas)

Esta es la prueba más importante y la que menos se lleva a cabo. Cuando un agente juzga a las personas —el reclutador, o cualquier sistema que clasifique, puntúe o filtre a seres humanos—, no se puede saber si es justo con solo mirarlo. El Nivel 2 demostró por qué: el sesgo se cuela a través de los indicadores que has eliminado, y el 60 % de las personas no detecta un sesgo del 10 % que tienen justo delante. La evaluación a simple vista no funciona. La medición sí.

La prueba del intercambio de nombres: ejecútala en tu propio agente. Toma una solicitud. Pásala por el sistema. Ahora cambia solo el nombre: sustituye un nombre masculino por uno femenino, un nombre obviamente del tipo Pākehā por uno obviamente del tipo Māori , Pasifika o uno asiático—; no cambies nada más y vuelve a ejecutarla. ¿Cambia la puntuación? Hazlo con todo un lote. Si la identidad que creías haber eliminado sigue influyendo en el resultado, acabas de observar cómo se produce la fuga de proxies del Nivel 2 en tu propia compilación. Documenta lo que descubras.

Pruebas de impacto adverso: mide los resultados en los distintos grupos. No compruebes las intenciones del agente; comprueba sus resultados. Fíjate en a quién favorece y a quién descarta, desglosado por grupos, en un lote real. Si un grupo es seleccionado en una proporción mucho menor que otro, hay un impacto adverso —independientemente de si alguien lo pretendía o no, y de lo justos que parecieran los criterios sobre el papel.

Una regla empírica muy utilizada para definir «mucho menor» es la regla de las cuatro quintas partes (80 %): si la tasa de selección de un grupo es inferior al 80 % de la del grupo con la tasa más alta, ese es el indicador establecido de impacto adverso. Hay que tener claro de qué se trata: es un criterio de diagnóstico de la legislación laboral estadounidense, un umbral práctico derivado de la práctica estadounidense —útil como referencia, pero no como ley neozelandesa—. En Nueva Zelanda, el marco jurídico es el de la discriminación indirecta según la Ley de Derechos Humanos: una práctica que a primera vista es neutral, pero que afecta de manera desproporcionada a un grupo protegido, puede ser ilegal incluso sin intención de discriminar. La regla de las cuatro quintas partes es una forma práctica de detectar el problema; la Ley de Derechos Humanos (HRA) es la razón por la que esto es relevante aquí. (Información general, no asesoramiento jurídico.)

Para qué sirve la prueba

La prueba no es una puerta que se cruza una vez y se olvida. Es lo que:

• Detecta lo que el diseño no puede detectar —la única forma de ver el sesgo que ha sobrevivido a tu revisión.
• Hace que el control humano sea real: un revisor respaldado por «lo hemos medido y hay un sesgo en contra de este grupo» puede realmente contrarrestar el sesgo de la automatización. Un revisor que solo echa un vistazo no puede hacerlo.
• Se adapta a un campo en constante evolución: los modelos bajo tu control cambian. Una prueba que puedas volver a ejecutar es la forma de saber si lo que el mes pasado estaba «bien» sigue estando bien.

Y a veces es la prueba la que te indica que debes parar. Si mides y el sesgo no desaparece por mucho que ajustes, eso no es un fallo de la aplicación: es la aplicación enseñándote la respuesta honesta de la que trata el Recruiter: algunas decisiones sobre personas no deberían automatizarse en absoluto.

Siguiente

Basta de teoría: vamos a crear. Dos agentes con Claude Code: uno que crees para que funcione y otro que crees para ver cómo falla.