Independiente de la identidad cuando importa — y por qué no es suficiente

Agents at Work — CC BY 4.0

He aquí un instinto de diseño realmente acertado: si un agente está evaluando a las personas, no dejes que vea quiénes son. Elimina el nombre, la foto, la edad, la dirección… proporciónale solo lo que la persona realmente puedehacer. Evalúa el trabajo, no la identidad.

Es el instinto correcto, se basa en la ley, y esta lección va a dedicar la mayor parte de su contenido a explicarte por qué no es suficiente por sí solo. Ambas partes son importantes. Si te saltas la primera, no tendrás defensa alguna; si crees que la primera es la respuesta completa, acabarás propagando sesgos mientras te sientes a salvo: lo peor de ambos mundos.

Por qué ignorar la identidad es correcto (y legal)

La Ley de Privacidad de Nueva Zelanda establece un principio —el primero, el IPP1— según el cual solo debes recopilar la información personal que realmente necesites para el trabajo, y no debes exigir datos identificativos que el propósito no requiera. Si la tarea consiste en «emparejar habilidades con un puesto», el nombre, la foto y la fecha de nacimiento no son datos relevantes, sino un lastre. Introducirlos no solo es arriesgado, sino que va en contra del principio.

Así pues, la estrategia de diseño es clara: ocultar la identidad y los indicadores de atributos protegidos antes de que el agente vea nada, y proporcionarle solo el contenido relevante para el puesto. Para el reclutador, eso significa habilidades y experiencia, no nombre, edad, género, origen étnico ni foto. Es necesario, y un buen hábito. Ahora viene la parte difícil.

Por qué no es suficiente: el sesgo se transmite a través de intermediarios

Eliminar las señales obvias no elimina la información. Esta se filtra de nuevo a través de intermediarios que la supresión nunca ha tocado:

• El nombre de un colegio o una universidad revela clase social, origen étnico y edad.
• Una dirección o un código postal transmiten señales socioeconómicas y étnicas: la antigua práctica de la «discriminación por zona», que vuelve por otra puerta.
• Las interrupciones en la trayectoria laboral dan pistas sobre el cuidado de familiares, la salud y la edad.
• Incluso el estilo de redacción y la elección de palabras se correlacionan con los antecedentes.

Los modelos modernos son muy eficaces a la hora de detectar estos indicios. Si se oculta el nombre, un sistema capaz puede reconstruir gran parte de lo que se ha ocultado a partir del patrón del resto de la información —y luego puntuarlo, de forma invisible—. Se ha eliminado la evidencia del sesgo, no el sesgo en sí.

Y puede ser peor que simplemente ineficaz. Un amplio experimento de campo, revisado por pares, llevado a cabo a través de un servicio público nacional de empleo reveló que la anonimización de los currículos, en realidad, hacía que las empresas fueran menos propensas a entrevistar y contratar precisamente a los grupos a los que se pretendía ayudar. Al privarlos del contexto que permitía a los evaluadores tener en cuenta las desventajas, el proceso se volvió en contra de los beneficiarios previstos. La supresión de datos no es un regulador que siempre apunte hacia la opción segura. Si se aplica a ciegas, puede resultar contraproducente.

El límite, dicho sin rodeos

La ceguera a la identidad es necesaria, pero no suficiente. Es un mínimo —hay que hacerlo—, no una defensa en la que puedas apoyarte. Cualquiera que te venda el argumento de «anonimizamos los CV, por lo que nuestra selección mediante IA es justa» se está apoyando en ese mínimo como si fuera un techo. No lo es. Las pruebas indican que el sesgo sigue ahí, se esconde tras los indicadores sustitutivos y, posiblemente, apunta en la dirección equivocada.

Por eso el curso sigue volviendo una y otra vez a la misma conclusión, menos cómoda. No se puede diseñar un agente seguro de clasificación de personas basándose únicamente en la ocultación de datos. Lo que realmente te protege es la combinación que construye el siguiente nivel:

• Ámbito limitado y sin clasificación: el agente muestra pruebas que contradicen los criterios; no clasifica ni rechaza.
• Pruebas de impacto adverso: se miden los resultados del agente en distintos grupos en lugar de confiar en que la censura haya funcionado (Nivel 3). Esta es la única forma de detectar fugas en los indicadores sustitutivos, ya que no se pueden detectar a simple vista.
• Una decisión humana genuina, respaldada por esas pruebas.

Y a veces, cuando hay mucho en juego y todas las soluciones se filtran, el diseño honesto es el que enseña el Reclutador: no automatices la decisión.

La estrategia de diseño

Si tu agente interactúa con personas:

• Oculta la identidad y los atributos protegidos antes de que vea los datos —por el IPP1, y porque es lo mínimo.
• Asume que los proxies sobrevivirán a la ocultación de datos —porque así es—.
• Planifica la prueba ahora: decide, en la fase de diseño, que medirás los resultados entre los distintos grupos antes de confiar en el sistema. No dejes que «lo hemos ocultado» sea el final de la frase.

Siguiente

Has decidido qué es lícito y has diseñado el agente para que sea específico, verificable y «ciego» donde debe serlo. El Nivel 3 lo hace realidad: las barreras de seguridad que realmente puedes programar, las pruebas que detectan lo que el diseño no puede —y crear una, con Claude Code, incluida aquella que construyes para ver cómo falla.