Die Illusion einer gemeinsamen Wirklichkeit

Wie aus unterschiedlichen Ausschnitten eine handlungswirksame Deutung entsteht

Warum kann eine KI-Antwort so treffend wirken, obwohl ich nicht weiß, was im System tatsächlich angekommen ist?

Vielleicht ging es nur um eine Nachricht, um einen Streit, eine Entscheidung oder eine Situation bei der Arbeit.

Um die Frage, ob etwas normal ist, angemessen oder bereits eine Grenze überschreitet.

Ein Mensch beschreibt, was geschehen ist. Er schreibt ein paar Sätze, vielleicht auch mehrere Absätze. So viel, wie ihm wichtig erscheint.

Doch er gibt nicht die Situation selbst weiter. Er gibt eine Auswahl weiter: was erinnert wurde, was sich in Sprache fassen ließ und was in diesem Moment wichtig erschien.

Und damit bereits eine bestimmte Sicht auf das Geschehen.

Die Antwort entsteht also nicht aus der Situation, sondern aus einer Darstellung – und je nach Anwendung nur aus deren technisch erfasster Fassung.

Das können ein paar Sätze sein, ein Bild, eine Internetseite, ein Gesprächsverlauf oder ein hochgeladenes Dokument.

Dabei können weitere Verarbeitungsschritte hinzukommen. Text wird ausgelesen. Bildinhalte werden analysiert. Dokumente werden aufgeteilt, Informationen werden ausgewählt oder in andere Formate übertragen.

Was für den Menschen sichtbar, selbstverständlich oder durch die Vorgeschichte klar ist, muss in der verarbeiteten Fassung nicht enthalten sein. Trotzdem kann die Antwort stimmig wirken und zum Gespräch passen. Das heißt noch nicht, dass sie zur Situation passt.

Sprachliche Anschlussfähigkeit ist keine inhaltliche Übereinstimmung.

Wie sich eine Deutung verstärkt

Ein Sprachmodell erzeugt Antworten auf Grundlage der Formulierung des Menschen, des gesetzten Rahmens und der bereits erkennbaren Richtung des Gesprächs.

Dadurch entstehen schnell Antworten, mit denen sich weiterarbeiten lässt. Doch genau darin liegt auch ein Risiko. Die erzeugte Antwort kann eine Deutung dieses Ausschnitts festigen, bevor geprüft wurde, ob der Ausschnitt die Situation tatsächlich trägt.

So entsteht eine Rückkopplung:

unvollständiger Ausschnitt
→ plausible Deutung
→ menschliche Bestätigung
→ scheinbar gesicherte Arbeitsannahme

Ein Mensch beschreibt beispielsweise einen Konflikt am Arbeitsplatz. Er schildert, was ein Teammitglied gesagt hat, wie der Ton auf ihn wirkte und weshalb ihn die Situation beschäftigt.

Das System erzeugt eine Einordnung: Das Verhalten wirkt abwertend und grenzüberschreitend.

Der Mensch liest die Antwort und denkt: Ja. Genau das war es.

Dann fragt er: Wie kann ich mich dagegen klar abgrenzen?

Damit verändert sich die Aufgabe. Die Situation soll nun nicht mehr offen eingeordnet werden. Stattdessen soll das System innerhalb der bereits gesetzten Annahme nach einer passenden Reaktion suchen.

Aus einer offenen Frage wird schrittweise die Ausarbeitung einer bevorzugten Deutung. Diese Deutung kann stimmen. Sie kann aber auch auf einer verkürzten Beschreibung, einer momentanen Gewichtung oder fehlenden Informationen beruhen.

So kann im Gespräch eine klare Arbeitsannahme entstehen: Das Teammitglied gilt nun als grenzüberschreitend. Die nächste Nachricht wird in diesem Licht gelesen. Eine Reaktion wird vorbereitet. Vielleicht wird eine Beschwerde formuliert.

Aus einem begrenzten Ausschnitt ist eine Deutung geworden, nach der gehandelt wird.

Das Gefährliche daran ist nicht nur der mögliche Fehler. Das Gefährliche ist, dass es sich nicht nach einem Fehler anfühlt.

Es fühlt sich nach Zusammenarbeit an.

Wenn nicht dieselbe Fassung verarbeitet wird

Manchmal beginnt die Abweichung bei der menschlichen Auswahl. Manchmal kommt eine technische Abweichung hinzu. Dann glaubt der Mensch, alles Relevante übergeben zu haben.

Eine Internetseite kann für einen Menschen vollständig sichtbar sein: Überschrift. Erklärungstext. Bilder. Navigation. Einzelne Beiträge. Bei einem automatisierten Zugriff auf dieselbe Seite können jedoch nur bestimmte Inhalte erfasst werden.

Vielleicht ist ein sichtbar eingeblendeter Erklärungstext in der technisch ausgelesenen Fassung nicht enthalten. Vielleicht wird ein Titel oder ein Teil der Navigation nicht übernommen.

Für den Menschen ist der Inhalt sichtbar, in der verarbeiteten Fassung fehlt er.

Ausgangspunkt ist dieselbe Adresse.

Verfügbar ist jedoch nicht dieselbe Fassung der Seite.

Trotzdem kann eine Bewertung der Inhalte vollständig und abschließend wirken. Denn aus dem vorhandenen Material geht nicht zuverlässig hervor, was außerhalb davon fehlt.

Fehlende Inhalte führen nicht automatisch zu offensichtlichem Unsinn.

Oft verschieben sie nur die Deutung, ohne dass diese unplausibel wirkt.

Wenn aus einer Lücke eine Entscheidung wird

In einem privaten Gespräch kann daraus eine falsche Einschätzung entstehen. In einer Organisation kann dieselbe Bewegung weitreichendere Folgen haben.

Ein Unternehmen lässt einen umfangreichen Bericht mit einem KI-System auswerten. Die Aufgabe lautet: Fasse den Bericht zusammen und prüfe, ob Projekt X wirtschaftlich sinnvoll ist.

Ein kritischer Anhang wurde technisch nicht richtig erfasst. Im verfügbaren Material überwiegen deshalb positive Zahlen und günstige Prognosen.

Das System erzeugt die Einschätzung: Insgesamt erscheint Projekt X wirtschaftlich tragfähig. Der zuständige Mensch liest die Antwort und denkt: Gut. Das deckt sich mit meinem Eindruck.

Dann fragt er: Welche Argumente sprechen besonders dafür?

Damit wird der Rahmen enger. Das Projekt soll nicht mehr erneut offen geprüft werden. Das System soll nun Argumente innerhalb der bereits entstandenen Annahme verdichten.

Aus einer Prüfung wird die Begründung einer bevorzugten Entscheidung.

Schließlich lautet die Anweisung: Formuliere daraus eine Vorlage für die Geschäftsführung. Und plötzlich ist etwas, das beim Übertragen verloren ging, zu einer sauber formulierten Entscheidungsvorlage geworden.

Nicht durch eine spektakuläre Halluzination, sondern durch schrittweise Bestätigung. Die Formulierung ist klar, die Argumentation ist schlüssig und die Vorlage wirkt professionell.

Nur ihre Grundlage ist unvollständig.

Vier Ebenen des Kontexts

In diesem Ablauf lassen sich vier Ebenen unterscheiden.

Der erlebte Zusammenhang

Das Geschehen, soweit es für einen Menschen zugänglich ist: die Situation, ihre Vorgeschichte, die beteiligten Menschen, Tonfall, Beziehungen und Widersprüche.

Die übermittelte Darstellung

Der Teil dieses Zusammenhangs, der ausgewählt und weitergegeben wird.

Bereits hier wird ausgewählt und gewichtet. Zusammenhänge werden verdichtet oder vorausgesetzt.

Die technisch verarbeitete Fassung

Das Material, das dem System tatsächlich vorliegt. Es kann von der übermittelten Darstellung abweichen, etwa wenn Abschnitte, Tabellen oder Anhänge nicht erfasst werden.

Der stabilisierte Deutungsrahmen

Was zunächst nur eine Arbeitsannahme ist, wird im weiteren Gespräch zum stabilisierten Deutungsrahmen.

Er entsteht aus dem verfügbaren Ausschnitt, den erzeugten Antworten und den anschließenden Fragen und Gewichtungen des Menschen.

Zwischen diesen Ebenen können Informationen verloren gehen, Zusammenhänge sich verschieben und Deutungen verstärkt werden. Trotzdem kann der entstandene Deutungsrahmen in sich vollkommen schlüssig wirken.

Innere Schlüssigkeit beweist keine Übereinstimmung mit dem Gegenstand.

Wie die erste Antwort den weiteren Blick verändert

Sobald eine erste Zusammenfassung oder Einordnung vorliegt, wird sie zur Linse für alles, was danach kommt.

Der Mensch betrachtet das Ausgangsmaterial nun durch diese Einordnung. Seine Aufmerksamkeit hat bereits eine Richtung bekommen.

Aus der Frage: Was ist geschehen?

wird: Wo finde ich Hinweise darauf, dass diese Einordnung stimmt?

Aus: Was steht im Dokument?

wird: Wo finde ich im Dokument das wieder, was die Zusammenfassung bereits behauptet hat?

Was in der ersten Einordnung fehlt, wird danach seltener gesucht. Es verschwindet ein zweites Mal: zuerst bei der Auswahl oder technischen Verarbeitung, dann aus der Aufmerksamkeit des Menschen.

Das ist ein doppelter Kontextverlust.

Dazu kommt die Wirkung der Form. KI-Antworten erscheinen häufig ruhig, geordnet und sprachlich sicher.

Zwischenüberschriften, klare Begriffe und ein eindeutiges Fazit können den Eindruck erzeugen, der Gegenstand sei gründlich geprüft worden.

Doch eine genaue Formulierung ist weder Beleg für eine vollständige Grundlage noch für eine verlässliche Aussage.

Eine Antwort kann präzise klingen und trotzdem nur auf einem begrenzten Ausschnitt beruhen.

Der Mensch sieht das fertige Ergebnis. Er sieht nicht automatisch, was auf dem Weg dorthin ausgewählt, verändert oder verloren wurde.

So entsteht eine scheinbare Übereinstimmung.

Nicht, weil tatsächlich dieselbe Fassung des Gegenstands zugrunde lag, sondern weil die Unterschiede zwischen den verfügbaren Fassungen unbemerkt blieben.

Trotzdem entsteht im Gespräch der Eindruck:

Ja. Genau davon reden wir.

Vor der Antwort

Der wichtigste Kontrollpunkt liegt deshalb nicht erst bei der Frage:

Ist die Antwort richtig?

Er liegt davor:

Bezieht sich die Antwort überhaupt auf denselben Gegenstand, den der Mensch zu prüfen glaubt?

Diese Frage verschiebt den Blick: weg von der fertigen Antwort, hin zu den Bedingungen, unter denen sie entstanden ist.

Was wurde erzählt und was blieb unausgesprochen?

Was wurde technisch verarbeitet?

Was war für den Menschen sichtbar, für das System aber nicht verfügbar?

Welche Richtung wurde durch die erste Antwort gesetzt?

Diese Fragen lösen das Problem nicht vollständig, aber sie unterbrechen die Annahme, eine passende Antwort müsse auf derselben Informationsgrundlage beruhen, die der Mensch voraussetzt.

Denn ab einem gewissen Punkt prüft der Mensch nicht mehr nur eine erzeugte Antwort.

Er arbeitet innerhalb eines Deutungsrahmens, der aus der technisch verarbeiteten Fassung, den erzeugten Antworten und den anschließenden Fragen und Gewichtungen entstanden ist.

Die Zustimmung des Menschen und die daraufhin erzeugten Antworten können dieselbe Deutung immer weiter verstärken, ohne dass ihre Grundlage noch einmal offen geprüft wird.

Sobald dieser Deutungsrahmen Entscheidungen und Handlungen bestimmt, wird er zur Arbeitswirklichkeit.

So entsteht aus einem unbemerkten Unterschied die Illusion einer gemeinsamen Wirklichkeit.

Und aus ihr wird gehandelt.