Mantener a los humanos al mando
Las reglas que hacen que un agente rinda cuentas: integradas, no supervisadas. Este módulo aborda la faceta cotidiana de la gobernanza: cómo se mantiene la autoridad sobre un agente, independientemente de si alguien está observando o no.
5.1 El control es estructural, no una cuestión de vigilancia
No se puede mantener el control humano vigilando a un agente cada minuto; nadie tiene la capacidad de atención necesaria para ello, y el momento en que apartas la vista es precisamente el momento decisivo. El control debe estar integrado en el funcionamiento del agente, de modo que la autoridad humana se mantenga independientemente de si alguien está mirando o no.
5.2 La puerta
La primera pieza es una puerta de control: ciertas acciones —aquellas que afectan a personas, dinero o cualquier cosa irreversible— siempre se desvían hacia un humano, mediante una regla que el agente no puede eludir. No se trata de un ajuste que se pueda desactivar bajo presión, sino de un límite integrado en la estructura. Un agente al que se le puede convencer de que traspase sus propios límites no está bajo control.
5.3 El registro
La segunda pieza es un registro: cada paso que da el agente queda registrado, de modo que más tarde se pueda responder a la pregunta que resuelve toda disputa y auditoría: ¿quién decidió esto, en qué se basó y cuándo? Una acción de la que no se puede dar cuenta a posteriori es aquella sobre la que nunca se tuvo el control real.
5.4 La constitución
Debajo de ambos hay un suelo escrito —las cosas que siempre requieren un ser humano, las líneas que nunca se cruzan— establecido por ti y modificado únicamente de forma abierta, nunca por el agente que se desvía silenciosamente. La parte de aprendizaje de la herramienta se encuentra por debajo de ese umbral. Cuando cambias una regla, la cambias a la vista de todos, no en el funcionamiento oculto de la máquina.
5.5 El terreno sobre el que se mueve
Un agente solo es responsable en la medida en que lo permite el terreno sobre el que opera. La infraestructura que alberga tus registros y las reglas a las que, en última instancia, obedece la herramienta, determinan ante quién responde realmente. ¿De quién es la infraestructura, de quién la jurisdicción, de quién la IA? Una herramienta en la nube de otra persona responde, al fin y al cabo, ante ellos. El control no se limita a la puerta de acceso y al registro; tiene que ver con el lugar en el que se asienta todo el sistema. Un curso que omitiera esto estaría dejando de lado los cimientos.
Temas de debate
- Para una tarea que le encargarías a un agente, ¿cuál es la regla que siempre debe derivar la decisión a un humano —y dónde estará el registro si la decisión se cuestiona dentro de un año?
- ¿Qué condiciones rigen las herramientas que ya utilizas? ¿Podrían cambiar esas condiciones sin que tú tuvieras voz ni voto?
5.6 Esto es gobernanza
Mantener a los humanos al mando es la cara cotidiana de la gobernanza. El curso complementario Village Governance Course profundiza en los instrumentos aquí mencionados: el registro en el que se puede confiar, la constitución, la decisión que se puede demostrar a posteriori. Los dos cursos son las dos mitades de una misma disciplina. El mando no es el control de cada paso; es la autoridad inherente para detener lo que no debe seguir adelante y para rendir cuentas de lo que sí lo hizo.
Lecturas recomendadas
- El botón de apagado no basta: por qué el mando sobre un agente debe ser estructural, no un simple botón.
- Una torre de control, no una atalaya: la forma de supervisión que realmente funciona.
- Gobernanza a prueba de manipulaciones: el registro en el que se puede confiar a posteriori.
- Village Governance Course: el curso complementario sobre el registro, la constitución y la decisión demostrable.
Preguntas por función, no por rango
Agrupadas por función, no por rango — y las funciones se están nivelando: en una pequeña empresa, una persona suele desempeñar varias, y en una empresa de una sola persona más agentes, una persona las desempeña todas. El mando solo se mantiene si la puerta de acceso, el registro y el espacio de actuación son visibles para todos aquellos a quienes afectan las acciones del agente.
(un consejo de administración, los propietarios… o tú). ¿A qué infraestructura, jurisdicción y normas responde en última instancia nuestra herramienta, y quién establece el límite escrito que nunca puede traspasar?
(quienquiera que dirija el cambio —o tú). Incorpora la puerta y el registro en el funcionamiento del agente, no en una promesa de supervisarlo; cambia la constitución solo de forma abierta.
(los jefes de equipo — o tú). Para cada tarea que le asignarías a un agente, ¿cuál es la única regla que siempre debe derivar la tarea a un humano — y dónde estaría el registro dentro de un año?
(las personas más cercanas a la tarea —incluidos los recién llegados—) . Puedes contribuir: señalar dónde falta un límite o dónde se podría convencer al agente para que sobrepasara sus límites. Tienes derecho a ver: el registro de quién decidió qué y los fundamentos que respaldan tu trabajo.
Autocomprobación
1. ¿Por qué «lo vigilaremos» no es un control real?
El momento en que apartas la mirada es el momento en que importa; la barrera debe estar integrada de antemano.
2. ¿Para qué sirve el registro?
Una acción de la que no puedes dar cuenta a posteriori es aquella sobre la que nunca tuviste el control real.
3. ¿Por qué «el terreno en el que se mueve» tiene cabida en un curso sobre el mando?
El control también tiene que ver con la infraestructura, la jurisdicción y las normas sobre las que se sustenta todo el sistema.