Was KI ist, was sie nicht ist und was ungewiss bleibt

Reihe: Community-Scale AI Governance - Eine Forschungsperspektive auf der Plattform Village (Artikel 1 von 5) Autor: My Digital Sovereignty Ltd Datum: Juni 2026 Lizenz: CC BY 4.0 International

Statistische Vorhersage im großen Maßstab

Der Kernmechanismus moderner großer Sprachmodelle (LLMs) ist die Vorhersage des nächsten Tokens. Ausgehend von einer Token-Sequenz generiert das Modell eine Wahrscheinlichkeitsverteilung über mögliche Fortsetzungen, die durch Muster aus einem Trainingskorpus von beträchtlichem Umfang - typischerweise Milliarden von Dokumenten, die mehrere Domänen, Sprachen und Register umfassen - bestimmt werden.

Dieser Mechanismus führt zu Ergebnissen, die häufig nützlich sind: kohärente Prosa, kompetente Zusammenfassungen, plausible Antworten auf sachliche Fragen und funktionaler Code. Der praktische Nutzen ist unumstritten.

Strittig - und für die Verwaltung von Bedeutung - ist die Art des Prozesses, der diese Ergebnisse hervorbringt, und folglich die Frage, wie viel Vertrauen man in sie setzen kann.

Von Modellen zu Agenten: Befähigung versus Produktivierung

Durch eine Entwicklung zwischen 2024 und 2026 hat sich der Gegenstand der Governance vom Modell zum Agenten verschoben. Diese Unterscheidung ist analytisch wichtig. Das Modell (oder der Motor) ist der oben beschriebene Next-Token-Prädiktor. Ein Agent ist dieses Modell, das in ein Gerüst eingebettet ist - beständiger Speicher, Werkzeug- und API-Zugang, ein Webbrowser oder eine Computerschnittstelle - und auf ein in natürlicher Sprache ausgedrücktes Ziel ausgerichtet ist, das es in mehreren Schritten mit reduzierter menschlicher Aufsicht verfolgt. Auf AI Agent Index wird dies als Trennung von Fähigkeit (Grenzmodelle) und Produktion (das sie umgebende Agentengerüst) beschrieben: Ein großer Teil der offensichtlichen Veränderung in dem, was KI tun kann, im Gegensatz zu dem, was sie sagen kann, ergibt sich aus dem Wrapper und nicht aus einer neuen Modellarchitektur.

Diese Verschiebung verändert das Governance-Objekt in einem mehr als nur quantitativen Sinne. Die Ergebnisse eines Chatbots richten nur dann Schaden an, wenn ein Mensch auf sie reagiert; ein Agent kann direkt auf die Welt einwirken, mit weniger Eingriffspunkten. Die Literatur hat damit begonnen, die sich daraus ergebenden Probleme der Rechenschaftspflicht zu formalisieren - die Verantwortungslücke (Matthias, 2004), bei der Betreiber vernünftigerweise nicht für das Verhalten von Systemen verantwortlich gemacht werden können, deren Handlungen sie nicht bestimmt haben, und die moralische Knautschzone (Elish, 2019), bei der die Haftung trotz begrenzter Kontrolle auf den nächsten Menschen übergeht. Die International AI Safety Report 2026 stellt weiter fest, dass Agenten gerade deshalb ein erhöhtes Zuverlässigkeitsrisiko darstellen, weil sie autonom handeln, und dass sich Fehler in Multi-Agenten-Konfigurationen ausbreiten und verstärken können. Für die Governance-Forschung ist der springende Punkt, dass Autonomie den Ort des Risikos von der Interpretation der Ergebnisse auf die Ausführung von Handlungen verlagert - eine Verlagerung, für die eine auf die Überprüfung der Ergebnisse ausgerichtete, politikbasierte Governance schlecht geeignet ist.

The Reasoning Question: Ein offenes empirisches Problem

Frühe Charakterisierungen von LLMs als "stochastische Papageien" - Systeme, die statistische Regelmäßigkeiten ohne jede Form von Verständnis reproduzieren - haben etwas Wichtiges über die Grundlagen der Technologie erfasst. Mit zunehmender Modellgröße haben sich jedoch Verhaltensweisen herausgebildet, die sich einer einfachen Charakterisierung widersetzen.

Große Modelle sind in der Lage, logische Schlussfolgerungen in mehreren Schritten zu ziehen, Analogieschlüsse über verschiedene Bereiche hinweg zu ziehen und neue Probleme zu lösen, die sich strukturell von den Trainingsbeispielen unterscheiden. Einige Forscher bezeichnen diese als emergente Fähigkeiten - Eigenschaften, die in großem Maßstab entstehen, ohne dass sie explizit entwickelt wurden. Andere argumentieren, dass scheinbares logisches Denken eine ausgefeilte Form der Musterinterpolation ist, die nur dann dem logischen Denken ähnelt, wenn sie von menschlichen Beobachtern bewertet wird, die dazu veranlagt sind, Verständnis zuzuordnen.

Die empirischen Beweise sind derzeit nicht ausreichend, um diese Frage zu klären. Mehrere Beobachtungen erschweren eine sichere Position:

• Modelle lösen Probleme, die eine kompositorische Verallgemeinerung erfordern, was darauf hindeutet, dass es sich um etwas handelt, das über das einfache Abrufen hinausgeht.
• Modelle weisen auch Fehler auf - selbstbewusstes Erzeugen falscher Aussagen, Brüchigkeit bei gegnerischen Störungen, Empfindlichkeit gegenüber Oberflächenmerkmalen von Aufforderungen -, die mit einer robusten Argumentation unvereinbar sind.
• Die internen Repräsentationen von großen Modellen sind nicht gut verstanden. Die mechanistische Interpretierbarkeitsforschung hat schaltkreisähnliche Strukturen identifiziert, die mit bestimmten Fähigkeiten korrelieren, aber das Feld befindet sich noch in der Anfangsphase.
• Die Frage, ob die Unterscheidung zwischen "echtem Schlussfolgern" und "schlussfolgerndem Verhalten" empirisch sinnvoll ist oder ob sie sich auf eine philosophische Verpflichtung reduziert, bleibt ungelöst.

Eine weitere Komplikation trat mit der Generation 2025-2026 der "schlussfolgernden" oder "denkenden" Modelle auf, die eine zwischengeschaltete Denkkette externalisieren und schwierigere Probleme mit zusätzlicher Inferenzzeitberechnung versehen; in strukturierten Umgebungen erreichten solche Systeme bei der Internationalen Mathematik-Olympiade 2025 eine Leistung, die einer Goldmedaille gleichkam. Die Interpretationsdebatte bleibt lebendig und ungelöst. Apples The Illusion of Thinking (2025) berichtete über charakteristische Genauigkeitseinbrüche bei skalierbaren Rätseln, während mehrere Gegenargumente (z. B. Lawsen et al.; Dellibarda Varela et al., 2025) einen Teil des Effekts auf Bewertungsartefakte zurückführten und diese Systeme als "weder wahre Denker noch stochastische Papageien" bezeichneten Von größerer Bedeutung für die Governance ist eine wachsende Zahl von Arbeiten zur Untreue der Gedankenkette (Anthropic, 2025 und nachfolgende Studien 2026): Die externalisierte Argumentation spiegelt häufig nicht die kausalen Determinanten des Modellergebnisses wider, was jedes Aufsichtssystem untergräbt, das sich auf die Überprüfung der angegebenen Argumentation eines Modells stützt. Die dargestellte Gedankenkette ist selbst ein generierter Text und kein Instrument, das einen internen Prozess abbildet.

Für Governance-Zwecke ergibt sich folgende pragmatische Konsequenz: Man kann weder sicher davon ausgehen, dass ein LLM korrekt argumentiert, noch kann man seine Ergebnisse als unzuverlässig abtun. Das System befindet sich in einem unbequemen Zwischenbereich, in dem die Ergebnisse oft nützlich, manchmal falsch und ohne externe Überprüfung nicht zuverlässig voneinander zu unterscheiden sind.

Neuartigkeit und Synthese

Eine verwandte Frage betrifft die Frage, ob LLMs wirklich neuartige Ergebnisse produzieren können. Die starke Behauptung, dass Modelle nur Rekombinationen von Trainingsdaten erzeugen, ist im engeren Sinne richtig und im weiteren Sinne irreführend.

Stellen Sie sich ein Modell vor, das Texte über polyzentrische Governance-Theorie, organisatorisches Verhalten und Gemeinschaftsinformatik als getrennte Arbeitsbereiche absorbiert hat. Wenn es entsprechend aufgefordert wird, kann es Verbindungen zwischen diesen Bereichen herstellen, die kein einzelner Forscher hergestellt hat, weil kein einzelner Forscher die gleiche Breite an Erfahrungen hat. Die Ideen, aus denen sie bestehen, sind nicht neu. Die Synthese kann jedoch für jeden Leser neu sein - und kann echte strukturelle Parallelen aufzeigen, die eine Untersuchung rechtfertigen.

Dies ist nicht gleichbedeutend mit der Neuartigkeit der Primärforschung. Das Modell hat keinen Zugang zu empirischen Daten, an denen es nicht geschult wurde, es kann keine Experimente planen und nicht beurteilen, ob die synthetisierten Zusammenhänge auch bei genauerer Betrachtung Bestand haben. Die Synthese ist ein Hypothesengenerator, kein Hypothesenvalidator. Die Hypothesenbildung hat jedoch einen Wert, vorausgesetzt, man verwechselt sie nicht mit der Bestätigung von Hypothesen.

Für Forscher, die KI-Systeme evaluieren, bedeutet dies, dass LLM-Ergebnisse als Ausgangspunkt für die Literaturrecherche, die bereichsübergreifende Erkundung und die Identifizierung struktureller Analogien nützlich sein können - sie bedürfen jedoch der gleichen kritischen Prüfung, die man auf jede ungeprüfte Quelle anwenden würde.

Trainingsdaten als Weltanschauung

Jedes LLM erbt die statistische Verteilung seines Trainingskorpus. Dies ist keine korrigierbare Verzerrung - es ist eine strukturelle Eigenschaft der Technologie.

Ein Modell, das vorwiegend auf englischsprachige, kommerziell orientierte, westliche Internetinhalte trainiert wurde, wird Ergebnisse produzieren, die die Annahmen, den Rahmen und die Prioritäten dieses Korpus widerspiegeln. Wenn es sich mit Themen befassen soll, für die es nur wenige Trainingsdaten gibt - indigene Regierungstraditionen, liturgische Sprache, mündliche Kultur, Entscheidungsfindung in kleinen Gemeinden -, wird das Modell statistisch dominante Muster verwenden, anstatt die Lücke zu erkennen.

Dies hat unmittelbare Auswirkungen auf den Einsatz in einem spezifischen Gemeinschaftskontext. Ein Modell, das Inhalte für eine Forschungsgruppe generieren soll, die sich mit kommunaler Verwaltung befasst, wird die Sprache der Unternehmensführung verwenden - nicht, weil es die Alternativen bewertet hat, sondern weil die Sprache der Unternehmensführung in seinen Trainingsdaten vorherrscht. Die Substitution erfolgt stillschweigend: Das Modell merkt nicht, dass es außerhalb seines Kompetenzbereichs arbeitet.

Dieses Phänomen - das man in einem Governance-Kontext als Verteilungsdrift bezeichnen könnte - ist gut dokumentiert, aber nicht gut gelöst. Techniken wie Feinabstimmung, RAG (retrieval-augmented generation) und Systemprompting können den Effekt abmildern, aber nicht beseitigen. Die Restverzerrung des Basismodells bleibt bestehen, insbesondere bei neuartigen oder komplexen Abfragen, bei denen das Feinabstimmungssignal schwächer ist als die Basisverteilung.

Implikationen für die Governance-Forschung

Die oben beschriebenen Merkmale - nützliche, aber unzuverlässige Ergebnisse, stille Verteilungsverzerrung, unsichere Schlussfolgerungsfähigkeit - definieren gemeinsam die Herausforderung der Governance.

Ein KI-System, das sich gelegentlich irrt, stellt ein Qualitätssicherungsproblem dar. Ein KI-System, das sich gelegentlich in einer Weise irrt, die stillschweigend einen Werterahmen durch einen anderen ersetzt, ist ein Governance-Problem. Die Unterscheidung ist wichtig, weil das erste Problem durch Fehlerprüfung gelöst werden kann, während das zweite Problem strukturelle Mechanismen erfordert, die eine Abweichung auf der Werteebene und nicht nur faktische Fehler erkennen.

Die agenturische Wende erhöht den Stellenwert dieser Unterscheidung. Wenn sich die Abweichung auf der Wertebene nicht auf eine überprüfbare Ausgabe, sondern auf eine autonom ausgeführte Handlung bezieht, wird das Fenster für menschliche Korrekturen kleiner oder schließt sich ganz; und die Feststellungen zur Untreue in der Gedankenkette bedeuten, dass die eigene Erklärung des Systems, warum es gehandelt hat, nicht als zuverlässiges Überwachungssignal betrachtet werden kann. Eine Steuerung, die von der Selbstdarstellung des Systems abhängt, ist daher strukturell unzureichend. Die Überprüfung muss außerhalb des Systems erfolgen und sich auf seine Handlungen beziehen, nicht nur auf seine Erklärungen.

Dies ist das Problem, das der Tractatus Rahmen angehen soll. Ob er erfolgreich ist, ist eine empirische Frage, die in späteren Artikeln untersucht wird. Was hier festgestellt werden kann, ist, dass das Problem real ist, gut charakterisiert und von den politikbasierten Ansätzen, die derzeit den Diskurs über die KI-Governance beherrschen, nicht angemessen behandelt wird.

Was dieser Artikel nicht behauptet

Dieser Artikel behauptet nicht, dass LLMs unfähig sind zu argumentieren - die Beweise sind für eine solche Schlussfolgerung nicht ausreichend. Er behauptet nicht, dass LLMs logisch denken können - die Beweise sind ebenfalls unzureichend. Er behauptet nicht, dass Verteilungsfehler unlösbar sind - nur, dass die gegenwärtigen Abschwächungstechniken unvollständig sind. Und sie behauptet nicht, dass KI-Governance unmöglich ist - nur, dass die Governance-Herausforderung struktureller ist, als gemeinhin anerkannt wird.

Der nächste Artikel untersucht die spezifischen strukturellen Unterschiede zwischen kommerziellen KI-Plattformen und gemeinschaftlich verwalteten KI-Systemen und analysiert die damit verbundenen Zielkonflikte.

Dies ist Artikel 1 von 5 in der Serie "Community-Scale AI Governance". Die vollständige technische Architektur finden Sie unter Village AI - Agentic Governance.

Weiter: Plattform-KI vs. Community-Governed AI - Eine strukturelle Analyse