Das menschliche Tor – und seine harte Grenze

Agents at Work — CC BY 4.0

Wenn ein Agent etwas Wichtiges berührt – eine Entscheidung über eine Person, eine Zahlung, ein Versprechen –, lautet der Standardratschlag: „Beziehe einen Menschen mit ein.“ Das ist ein guter Rat. Es ist aber auch die am meisten missverstandene Sicherheitsmaßnahme in diesem gesamten Bereich, denn die bequeme Variante davon funktioniert kaum. In dieser Lektion geht es darum, das Tor so zu gestalten, dass es tatsächlich hält.

Die Kontrollinstanz, richtig umgesetzt

Ein menschliches Tor ist ein Punkt in der Arbeit des Agenten, an dem dieser innehalten muss und eine Person entscheidet, bevor irgendetwas in der Welt geschieht. Der Agent bereitet vor – liest, entwirft, bewertet, markiert – und wartet dann. Eine Person schaut sich das an, entscheidet, und es ist die Entscheidung dieser Person, die umgesetzt wird.

So sieht das aus. Die Falle steckt in einem Wort: entscheidet. Es gibt einen himmelweiten Unterschied zwischen einer Person, die die Entscheidung trifft, und einer Person, die die Entscheidung der Maschine absegnet. In einem Organigramm sehen sie identisch aus. Sie stellen nicht die gleiche Sicherheitsvorkehrung dar, und die Beweise für diese Kluft sind eklatant.

Warum „ein Mensch gibt seine Zustimmung“ schwächer ist, als es klingt

Stellt man eine Person vor die Empfehlung einer KI, übernimmt sie diese immer wieder – auch wenn sie falsch ist.

• In einer Studie aus dem Jahr 2025 mit 528 Personen in mehr als 1.500 Einstellungsszenarien entschieden sich die Prüfer in bis zu 90 % der Fälle für die Wahl der KI, im Gegensatz zu einer Basisquote von etwa 50 %, wenn sie selbst entschieden. Dieser Einfluss hielt sogar an, wenn sie die Qualität der KI als gering einschätzten. Sie vertrauten ihr nicht, folgten ihr aber trotzdem.
• In einer anderen kontrollierten Studie stufte ein KI-System stillschweigend eine nationale Gruppe von Bewerbern um 10 % herab. Rund 60 % der Prüfer bemerkten dies nie. Die Voreingenommenheit war nicht in einem für sie unsichtbaren Code verborgen – sie lag in den Ergebnissen direkt vor ihren Augen, und sie wurde unbemerkt übersehen.
• Eine Untersuchung von 41 realen Richtlinien zur menschlichen Überwachung ergab strukturell dasselbe: Die Richtlinien gehen davon aus, dass Menschen die Fehler der Maschine erkennen können, doch meist sind die Menschen nicht in der Lage, die Überwachung durchzuführen, auf die die Richtlinie setzt.

Das hat einen Namen – Automatisierungsverzerrung – und verschwindet nicht, nur weil man klug oder gut gemeint ist. Eine schnelle, flüssige, selbstbewusste Empfehlung ist darauf ausgelegt, dass man ihr zustimmt. Eine müde Person am Ende eines Stapels von vierzig Fällen wird ihr zustimmen. Der „Human in the Loop“ wird zu einem Stempel, der die Entscheidung der Maschine in eine menschliche umwandelt – und dabei fast keinen der Schutzmechanismen bietet, die jeder von ihm erwartet.

Was unterscheidet eine echte Kontrollinstanz von einem bloßen Stempel?

Das Gesetz dreht sich, wie es der Zufall so will, genau um diese Unterscheidung. Nach der europäischen DSGVO (die für Sie gilt, wenn Sie jemals die Daten einer in der EU ansässigen Person verarbeiten) ist eine ausschließlich automatisierte Entscheidung über eine Person grundsätzlich verboten – und was eine Entscheidung aus diesem Verbot herausholt, ist eine echte, nicht nur symbolische menschliche Beteiligung: jemand, der über die Befugnis und die Informationen verfügt, zu einer anderen Entscheidung zu gelangen, nicht jemand, der einfach auf „Genehmigen“ klickt. Neuseelands Datenschutzbeauftragter bringt denselben praktischen Punkt von der anderen Seite auf den Punkt: Ein rein symbolischer „Human-in-the-Loop“ kann die Blindheit der Automatisierung möglicherweise überhaupt nicht beheben. (Allgemeine Aufklärung, keine Rechtsberatung – die Einzelheiten sind noch ungeklärt und erfordern eine fundierte Beratung.)

Ein Schutzmechanismus, der Sie tatsächlich schützt, weist also drei Eigenschaften auf, und es ist Anker 3 – Sie tragen die Verantwortung dafür –, konkretisiert:

• Die Person kann wirklich „Nein“ sagen – und tut dies manchmal auch. Wenn Ihr Prüfer noch nie die Entscheidung des Agenten aufgehoben hat, haben Sie kein Kontrollgatter; Sie haben eine reine Formalität.
• Sie entscheidet anhand der Beweise, nicht anhand des Urteils. Der Agent übergibt, was er gefunden hat und warum – keine Punktzahl oder eine Empfehlung, der man zustimmen soll. (Das ist die nächste Lektion.) Eine Person, die Beweise abwägt, widersteht dem Druck; eine Person, der ein Urteil vorgelegt wird, stempelt es einfach ab.
• Die Entscheidung stützt sich auf Tests, nicht auf einen flüchtigen Blick. Man kann eine 10-prozentige Abweichung nicht mit bloßem Auge erkennen – 60 % der Menschen übersehen sie. So etwas findet man heraus, indem man die Ergebnisse des Agenten über verschiedene Gruppen hinweg misst, was Stufe 3 entspricht. Die Hürde und der Test arbeiten zusammen; keiner trägt die Last allein.

Die ehrliche Schlussfolgerung

Bei einer Entscheidung mit hohen Risiken, die eine Person betrifft, lautet die Verteidigung, auf die fast jeder zurückgreift: „Wir anonymisieren die Daten und ein Mensch gibt den Schlusspunkt“ – genau das ist jedoch fast das Gegenteil dessen, was die Beweislage als Fehlschlag identifiziert. Das ist kein Grund zur Verzweiflung; es ist ein Grund, die Kontrollinstanz als echte Entscheidung zu gestalten, Tests dahinter zu integrieren und die Lektion zu akzeptieren, die der Recruiter deutlich machen wird: Manchmal besteht die richtige Kontrollinstanz darin, den Agenten die Entscheidung gar nicht erst treffen zu lassen.

Weiter

Ein echtes Kontrollgatter erfordert, dass der Mitarbeiter Belege vorlegt, nicht ein Urteil. Das ist eine Designentscheidung, die du beim Aufbau triffst – Kriterien, keine Einschätzungen.