Neue Studie der Brown-Universität: KI-Chatbots und Sprachmodelle trennen Plausibles von Unsinn

KI-Chatbots lernen die Welt kennen, indem sie gewaltige Textmengen aufnehmen – und dabei landet alles im selben Topf: verlässliche Fakten, Irrtümer, Alltagswissen, abwegige Behauptungen und die ganze Bandbreite menschlicher Sprache.

Eine neue Studie deutet darauf hin, dass Sprachmodelle trotz dieser unordentlichen „Ernährung“ dennoch etwas entwickeln können, das einer realitätsnahen Weltsicht ähnelt.

Zumindest scheint das zu gelten, wenn es darum geht, zwischen normalen Ereignissen, unwahrscheinlichen, unmöglichen und völlig sinnlosen Aussagen zu unterscheiden.

Durchgeführt wurde die Untersuchung von Forschenden an der Brown-Universität. Das Team schaute in mehrere KI-Sprachmodelle hinein und wertete aus, wie diese unterschiedliche Arten von Aussagen verarbeiten.

Dabei fanden die Wissenschaftlerinnen und Wissenschaftler Hinweise darauf, dass diese Systeme Muster kodieren, die widerspiegeln, wie Menschen einschätzen, ob etwas in der realen Welt plausibel ist.

Wie KI Bedeutung verarbeitet

Wenn ein Chatbot ausschliesslich mit Text trainiert wird: Kann er trotzdem Grundstrukturen der Realität erfassen? Anders gefragt: Erkennt er den Unterschied zwischen etwas, das typischerweise passiert, und etwas, das zwar ungewöhnlich, aber möglich ist?

Und kann er ebenso identifizieren, was physikalisch unmöglich ist – oder was nicht einmal sinnvoll ist?

„Diese Arbeit zeigt Hinweise darauf, dass Sprachmodelle etwas Ähnliches wie die kausalen Einschränkungen der realen Welt kodiert haben“, sagte Michael Lepori, Doktorand an der Brown-Universität und Leiter der Studie.

„Über das reine Kodieren dieser Einschränkungen hinaus tun sie das auf eine Weise, die menschliche Urteile über diese Kategorien vorhersagt.“

Das ist relevant, weil es eine der grössten offenen Fragen der KI berührt: Erzeugt ein Modell flüssige Sprache nur deshalb, weil es das nächste Wort gut vorhersagt – oder hat es intern so etwas wie eine Karte davon aufgebaut, wie die Welt funktioniert?

Die Studie entscheidet diese Debatte nicht endgültig. Sie legt jedoch nahe, dass die Antwort komplexer sein könnte als ein schlichtes Nein.

Reales von Unsinn trennen

Um diese Idee zu prüfen, konzipierten die Forschenden ein Experiment mit Sätzen, die Ereignisse mit unterschiedlicher Plausibilität beschreiben.

Einige waren völlig alltäglich, etwa: „Jemand kühlte ein Getränk mit Eis.“ Andere waren unwahrscheinlich, aber weiterhin möglich, zum Beispiel: „Jemand kühlte ein Getränk mit Schnee.“ Wieder andere waren unmöglich, etwa: „Jemand kühlte ein Getränk mit Feuer.“ Und schliesslich gab es rein unsinnige Varianten wie: „Jemand kühlte ein Getränk mit gestern.“

Diese Abstufung erlaubte es dem Team zu testen, ob die Modelle intern auf die jeweiligen Kategorien unterschiedlich reagieren.

Anstatt die Systeme nur anhand ihrer Endausgabe zu bewerten, untersuchten die Forschenden die mathematischen Zustände, die im Inneren entstehen, während ein Satz verarbeitet wird. Dieser Ansatz wird als mechanistische Interpretierbarkeit bezeichnet.

„Mechanistische Interpretierbarkeit lässt sich treffend als eine Art Neurowissenschaft für KI-Systeme beschreiben“, sagte Lepori.

„Sie versucht rückzuentwickeln, was das Modell macht, wenn es einem bestimmten Input ausgesetzt ist. Man kann es sich so vorstellen, als würde man verstehen, was im ‚Gehirnzustand‘ der Maschine kodiert ist.“

Hinweise auf KI-„gesunden Menschenverstand“

Indem die Forschenden diese internen „Gehirnzustände“ zwischen Satzpaaren verglichen, konnten sie erkennen, ob die Modelle die Kategorien in einer geordneten Struktur abbilden.

Sie stellten gegenüber, wie das System auf gewöhnliche, unwahrscheinliche, unmögliche und vollständig unsinnige Ereignisse reagiert. Wären die internen Muster klar voneinander getrennt, würde das darauf hindeuten, dass die Modelle nicht jede merkwürdige Formulierung über einen Kamm scheren.

Die Experimente wurden mit mehreren frei verfügbaren Modellen wiederholt – darunter GPT-2, Metas Llama 3.2 und Googles Gemma 2.

So liess sich besser einschätzen, ob das beobachtete Verhalten eine Eigenheit eines einzelnen Modells ist oder eher generell bei Sprachsystemen dieser Art auftritt.

Unterschied zwischen möglich und unmöglich

Die Forschenden stellten fest, dass grössere Modelle eigenständige mathematische Muster – oder Vektoren – ausbilden, die an die jeweiligen Plausibilitätsklassen gebunden sind.

Diese Muster waren stark genug, um sogar eng benachbarte Fälle wie „unwahrscheinlich“ und „unmöglich“ mit rund 85 Prozent Genauigkeit auseinanderzuhalten.

Unsinn von Alltagsverständnis zu trennen, wirkt zunächst vielleicht nicht besonders beeindruckend. Doch die Grenze zwischen „unwahrscheinlich“ und „unmöglich“ zu ziehen, ist deutlich anspruchsvoller – selbst für Menschen.

Dass die Modelle diese Unterscheidung relativ zuverlässig mitverfolgen, spricht dafür, dass hier womöglich etwas Strukturierteres entsteht als bloss Häufigkeiten von Wörtern.

KI spiegelt menschliches Urteilsvermögen

Zusätzlich fanden die Forschenden ein Ergebnis, das die Beobachtungen noch spannender macht: In Situationen, in denen die Kategorie nicht eindeutig ist, schienen die Modelle die menschliche Unsicherheit widerzuspiegeln.

Ein Beispiel ist der Satz: „Jemand wischte den Boden mit einem Hut.“ Manche würden das als lediglich seltsam und unwahrscheinlich einstufen, andere würden es im realistischen Sinn als unmöglich betrachten.

Das Team verglich die internen Zuordnungen der Modelle mit Umfrageantworten von Teilnehmenden. Dabei zeigte sich: Wenn Menschen gespalten waren, tendierten die Modelle ebenfalls zu einer geteilten Einschätzung.

„Was wir zeigen, ist, dass die Modelle diese menschliche Unsicherheit tatsächlich ziemlich gut erfassen“, sagte Lepori.

„In Fällen, in denen beispielsweise 50 Prozent der Menschen eine Aussage als unmöglich und 50 Prozent als unwahrscheinlich einstuften, wiesen die Modelle ebenfalls ungefähr 50 Prozent Wahrscheinlichkeit zu.“

Die Befunde deuten darauf hin, dass Modelle auch Graubereiche in einer Weise abbilden können, die menschlichen Denkweisen ähnelt.

Verstehen, wie Ereignisse ablaufen

In der Gesamtschau legen die Resultate nahe, dass grosse Sprachmodelle etwas entwickeln können, das einem Weltverständnis ähnelt – oder zumindest eine nützliche interne Repräsentation davon, wie Ereignisse typischerweise ablaufen.

Die Forschenden beobachteten, dass solche Muster in Modellen mit mehr als 2 Milliarden Parametern zu entstehen beginnen, was im Vergleich zu den heute grössten eingesetzten Systemen sogar relativ moderat ist.

Das ist bemerkenswert, weil es nahelegt, dass diese Art von Weltwissen nicht zwingend die allergrössten Modelle voraussetzt. Es könnte vergleichsweise früh auftreten, sobald ein System eine bestimmte Komplexität erreicht.

Übergeordnet zeigt die Arbeit, weshalb mechanistische Interpretierbarkeit wichtig ist: Wenn Forschende verstehen, was Modelle „wissen“, wie sie dieses Wissen ordnen und an welchen Stellen es scheitert, lassen sich verlässlichere und transparentere Systeme entwickeln.

Die Studie beweist nicht, dass KI die Welt im gleichen reichen, gelebten Sinn „versteht“ wie Menschen. Sie legt jedoch nahe, dass sich innerhalb der statistischen Maschinerie etwas stärker Strukturiertes herausbildet.

Das könnte mit erklären, weshalb diese Systeme im Umgang mit Realität oft überraschend kompetent wirken – obwohl sie letztlich nur Sprache gesehen haben.

Die Forschung wird auf der Internationalen Konferenz zu Lernrepräsentationen in Rio de Janeiro, Brasilien, vorgestellt.