La legislación que te rige

Agents at Work — CC BY 4.0

La mayoría de los pequeños operadores que utilizan la IA para gestionar la información de las personas tienen una convicción tranquilizadora: aquí no hay ninguna ley sobre la IA, así que no hay nada de qué preocuparse. Es la interpretación errónea más peligrosa de todo este curso. Puede que en Nueva Zelanda no exista una «Ley de IA» específica, pero la legislación que ya existe se aplica a lo que hace tu agente, y «que no haya una norma específica sobre IA» no es lo mismo que «que no haya normas». Esta lección es una guía. Se trata de formación general, no de asesoramiento jurídico: el terreno está realmente inestable en algunos aspectos, y tus casos concretos merecen un dictamen de un experto.

Nueva Zelanda: legislación general, y es estricta

Nueva Zelanda no cuenta con un equivalente a la normativa europea sobre decisiones automatizadas. Los trece principios de privacidad de la información de la Ley de Privacidad de 2020 no contienen ninguna disposición sobre IA o decisiones automatizadas. (La revisión quinquenal del Comisionado de Privacidad ha estado estudiando la posibilidad de añadir salvaguardias para la toma de decisiones automatizada, por lo que esto podría cambiar; mantente atento). Lo que esto significa en la práctica es que la IA en la contratación y en el tratamiento de datos personales se rige por la legislación general sobre privacidad y la legislación contra la discriminación, que se te aplican independientemente de que alguien mencione o no la «IA».

Los principios de la Ley de Privacidad que más peso tienen:

• IPP1: recopila solo lo que necesites. No debes solicitar datos identificativos que el propósito no requiera. Este es el fundamento jurídico del concepto de «identidad ciega» del Nivel 2: proporcionar a un agente un nombre, una foto o una fecha de nacimiento que no necesita para realizar su trabajo va en contra de dicho principio.
• IPP5: mantén la información personal segura, y esto abarca expresamente lo que introduces en una herramienta de IA. El Comisionado de Privacidad ha dejado claro que tu obligación de seguridad se extiende hasta la línea de comando. Pegar los datos de un cliente o solicitante en un modelo de lenguaje grande (LLM) público que pueda almacenarlos o utilizarlos para su entrenamiento no es una zona gris: es precisamente de lo que trata este principio. Este es el único hecho que debería poner fin de inmediato a la práctica de «simplemente pegamos los CV en un chatbot».
• IPP8 — precisión — e IPP11 — límites a la divulgación. Si entregar información personal a un servicio externo (especialmente en el extranjero) se considera una divulgación que requiere una base legal es algo que realmente no está claro en Nueva Zelanda —aún no hay jurisprudencia al respecto—, y esa es precisamente la razón por la que debes decidirlo antes de poner en marcha el agente.

La Ley de Derechos Humanos de 1993: esa que la gente olvida. El artículo 21 enumera los motivos prohibidos (sexo, edad, origen étnico o nacional, discapacidad, situación familiar y otros). El artículo 22 establece que es ilegal rechazar a un solicitante cualificado por un motivo prohibido —y el apartado 2 del artículo 22 se aplica expresamente a las empresas de selección de personal. Es fundamental señalar que un resultadode impacto desigual puede infringirla independientemente de la intención: un proceso de selección que a primera vista sea neutral, pero que afecte de manera desproporcionada a un grupo protegido, puede ser ilegal aunque nadie tuviera la intención de discriminar. Por eso, la evaluación de impacto adverso del Nivel 3 no es una simple cortesía opcional, sino la forma de averiguar si uno se encuentra en el lado equivocado de esta cuestión.

Lo que espera el Comisionado de Privacidad (una orientación, no una norma jurídica estricta, pero que define lo que significa «razonable»): la aprobación de la alta dirección; una evaluación del impacto en la privacidad antes de utilizar la herramienta; transparencia con las personas afectadas; informar a Māori sobre los riesgos que su información supone para los taonga; una revisión humana genuina antes de actuar; y herramientas que no conserven ni divulguen los datos. El Comisionado señala que la selección mediante IA de solicitudes de empleo tiene un historial «poco satisfactorio», advierte de que la mera presencia simbólica de un ser humano en el proceso puede no subsanar la «ceguera» de la automatización —y afirma, sin rodeos: en caso de duda, no utilices herramientas de IA para gestionar información personal.

Europa: si tienes contacto con tan solo un candidato con sede en la UE

Quizá pienses que la legislación de la UE es problema de otros. Puede afectar a una empresa de Nueva Zelanda a través de una vía concreta: no donde se encuentre tu empresa, sino donde se utilice el resultado. Si la decisión de tu agente se aplica a una persona ubicada en la UE, las normas de la UE pueden aplicarse a ti.

• Artículo 22 del RGPD: las decisiones exclusivamente automatizadas sobre una persona están prohibidas en principio. Una decisión de contratación tomada exclusivamente por una máquina es el ejemplo clásico. Lo que la excluye de la prohibición es una participación humana genuina, no simbólica: alguien con la autoridad y la información necesarias para llegar a una respuesta diferente. Si se trata de un proceso verdaderamente automatizado en su totalidad, solo es lícito en casos muy concretos y siempre con garantías (intervención humana, derecho a ser oído, a recibir una explicación, a impugnar la decisión y medidas contra los sesgos).
• La Ley de IA de la UE considera que la IA aplicada a la contratación es de alto riesgo. Los sistemas utilizados para contratar o seleccionar —para filtrar solicitudes o evaluar a los candidatos— se clasifican como de alto riesgo, lo que conlleva obligaciones que incluyen una supervisión humana significativa. Un sistema que clasifica o filtra a las personas no elude esta obligación alegando que se trata de una «tarea limitada». (Las obligaciones de la Ley se introducen gradualmente según un calendario transitorio; confirma las fechas de entrada en vigor actuales en el propio Reglamento antes de basarte en una fecha concreta —este ámbito evoluciona rápidamente—).

Dónde se sitúa el riesgo

Si se combinan ambas jurisdicciones, se observa el mismo patrón en ambas: una decisión sobre una persona, tomada o fuertemente influida por una máquina, sin un juicio humano genuino y sin comprobación de sesgos, es donde reside el riesgo legal —a través de la legislación contra la discriminación y la ley de protección de datos aquí, y a través del artículo 22 y la Ley de IA si se entra en Europa—. «No existe una ley de IA» nunca ha sido una defensa válida. Las medidas de los niveles anteriores —recoger menos datos, mantener la custodia, evaluar el impacto adverso, una decisión humana real y, en ocasiones, no automatizar en absoluto— no son solo buenas prácticas. Son la forma de mantenerse al lado correcto de la ley que ya existe.

A continuación

La ley establece una obligación que también es un valor: involucrar a Māori en lo relativo a sus datos. Merece una lección propia.