Warum die KI mitten im Gespräch vergisst

Warum die KI mitten im Gespräch vergisst

· 8 Min. Lesezeit

In English lesen →

Diesen Artikel anhören
Geschwindigkeit

KI-Vorlesestimme · automatisch erzeugt

Als Podcast abonnieren
RSS
Persönliche Notiz

Nur lokal in deinem Browser gespeichert — nichts wird gesendet.

Stell dir den Arbeitsplatz einer KI als einen Schreibtisch mit fester Größe vor. Alles, worüber ihr gerade sprecht, muss gleichzeitig darauf liegen — jede Frage, jede Antwort, jedes Dokument. Solange wenig draufliegt, findet sie jede Notiz sofort. Je voller der Tisch wird, desto mehr muss weichen, und desto schwerer findet sie das Wichtige im Stapel.

Wenn man diesen einen Tisch verstanden hat, versteht man das halbe Rätsel „Warum wird die KI mit der Zeit schlechter?“ von allein. Fangen wir beim kleinsten Baustein an — dem, was überhaupt auf dem Tisch landet.

Was ein Token ist

Wir Menschen lesen in Buchstaben und Wörtern. Eine KI tut das nicht. Bevor sie auch nur ein Wort „sieht“, wird dein Text in kleine Bausteine zerhackt — in Tokens. Ein Token ist meist ein Wortstück: mal ein ganzes kurzes Wort, mal eine Silbe, mal nur eine Endung.

Kurze Alltagswörter wie „und“, „der“, „Haus“ sind der KI so vertraut, dass sie je ein einziges Token bekommen. Je länger und seltener ein Wort wird, desto mehr Stücke werden daraus. „Donaudampfschifffahrt“ etwa zerfällt in eine Handvoll Bausteine. Der Trick dahinter: Aus mehreren zehntausend bis über hunderttausend bekannten Stücken lässt sich jedes Wort zusammensetzen — auch eines, das die KI noch nie gesehen hat. So bleibt kein Wort ein völliges Rätsel.

Als grobe Faustregel: Im Deutschen wird ein längeres Wort oft in zwei oder drei Tokens zerlegt, eine ganze DIN-A4-Seite Text sind schnell 600 bis 800 Tokens. Wichtig ist nur das Prinzip: Die KI denkt in Tokens, nicht in Wörtern. Alles, was folgt, wird in dieser Währung gemessen.

Das Werkzeug, das diese Zerlegung vornimmt, heißt übrigens Tokenizer — der „Zerhacker“. Er ist kein Denk-, sondern ein Übersetzungsschritt: von unserer Sprache in die Bausteinsprache der Maschine und wieder zurück. Du bekommst ihn nie zu Gesicht, aber er läuft bei jeder einzelnen Nachricht mit.

Das Tokenfenster: der Schreibtisch der KI

Eine KI hat kein Gedächtnis, das mit jedem Gespräch mitwächst (von den Erinnerungs-Funktionen neuerer Programme einmal abgesehen). Sie hat stattdessen ein Tokenfenster — Fachleute sagen auch Kontextfenster —, einen Arbeitsbereich fester Größe, in den nur eine bestimmte Anzahl Tokens hineinpasst. Eben jener Schreibtisch mit klar begrenzter Fläche.

Auf diesen Schreibtisch muss alles gleichzeitig passen —

  • die unsichtbare Grundanweisung, wie sich die KI verhalten soll,
  • jede deiner bisherigen Fragen,
  • jede bisherige Antwort der KI,
  • und jedes Dokument, das du hochlädst.

Das komplette Gespräch liegt bei jeder neuen Antwort erneut vollständig auf dem Tisch. Die KI liest nicht „weiter“, sie liest jedes Mal den ganzen Stapel neu, um zu wissen, was sie als Nächstes sagen soll.

Wie groß ist dieser Tisch? Das hängt vom Modell ab. Viele der heute üblichen Systeme fassen rund 128.000 bis 200.000 Tokens — das entspricht ungefähr einem ganzen Roman. Die Spitzenmodelle des Jahres 2026 schaffen eine Million Tokens und mehr, also mehrere Bücher auf einmal. Das klingt nach grenzenlos viel. Ist es aber nicht — und der Grund dafür ist der eigentliche Kern dieser Geschichte.

Warum die KI scheinbar „dümmer“ wird

Hier laufen zwei ganz verschiedene Effekte zusammen, die man sauber trennen sollte. Beide fühlen sich für den Nutzer gleich an — „die Maschine lässt nach“ —, haben aber unterschiedliche Ursachen.

Erstens: Der Tisch läuft über — und die KI vergisst wirklich. Ist das Tokenfenster voll und du schreibst weiter, muss Platz her. Die meisten Chat-Programme behelfen sich damit, dass sie das Älteste stillschweigend vom Tisch räumen oder grob zusammenfassen. Was heruntergefallen ist, ist für die KI dann buchstäblich nicht mehr da. Deshalb „vergisst“ sie ausgerechnet, was du ganz am Anfang gesagt hast — den Namen, die Vorgabe, die eine wichtige Regel. Nicht aus Nachlässigkeit. Es liegt schlicht nicht mehr auf dem Tisch. Das ist die ehrlichste Antwort auf die Frage „Warum vergisst die KI?“: Das Fenster ist ihr Gedächtnis, und ein voller Tisch hat keinen Platz mehr für Altes.

Zweitens: Auch ein nicht ganz voller Tisch wird unübersichtlich. Der subtilere Effekt tritt schon vor dem Überlauf ein. Je mehr auf dem Schreibtisch liegt, desto schwerer fällt es der KI, das eine wirklich Wichtige aus dem Wust herauszufischen. Forscher haben das genau vermessen und ihm einen einprägsamen Namen gegeben: „Context Rot“ — die Kontext-Fäulnis. Eine Untersuchung von 2025 prüfte 18 der führenden Modelle, und ausnahmslos jedes lieferte schlechtere Ergebnisse, je voller sein Fenster war.

Besonders tückisch ist dabei ein Muster, das eine Stanford-Studie schon 2023 als „Lost in the Middle“ beschrieb — „in der Mitte verloren“. Informationen ganz oben und ganz unten im Stapel nutzt die KI zuverlässig; was in der Mitte eines langen Textes steht, übersieht sie gerne. In den Tests fiel die Trefferquote von rund 75 Prozent auf etwa 55 Prozent, nur weil die gesuchte Angabe in der Mitte statt am Rand lag. Es ist wie bei einem Menschen, dem man kurz vor der Prüfung noch fünfzig Seiten in die Hand drückt: An die erste und die letzte Seite erinnert er sich, der Mittelteil verschwimmt.

Wichtig ist, was hier nicht passiert: Die KI wird nicht müde, sie „lernt sich nichts an“, und sie verschlechtert sich auch nicht dauerhaft. Startest du morgen ein frisches Gespräch, ist sie wieder in Bestform. Der Leistungsabfall lebt einzig im vollgestellten Schreibtisch des aktuellen Gesprächs. Das ist eine gute Nachricht — denn es heißt, man kann etwas dagegen tun.

Was du selbst dagegen tun kannst

Die wirksamste Regel ergibt sich direkt aus dem Bild vom Schreibtisch: Halte ihn leer und aufgeräumt. Konkret:

  • Für ein neues Thema einen neuen Chat. Der häufigste Fehler ist, ein einziges Mammut-Gespräch über Tage und zehn Themen zu führen. Jedes erledigte Thema ist Ballast, der die KI beim nächsten nur ablenkt. Ein frischer Chat ist ein frisch abgeräumter Tisch.
  • Das Wichtige nach vorne oder ans Ende. Vergrab die eine entscheidende Vorgabe nicht in der Mitte eines langen Absatzes. Stell sie oben hin — oder wiederhole sie am Schluss deiner Nachricht.
  • Lange Gespräche zusammenfassen und neu starten. Bitte die KI am Ende eines langen Chats um eine knappe Zusammenfassung des Wesentlichen, kopiere sie in ein neues Gespräch — und arbeite dort auf dem aufgeräumten Tisch weiter. Das ist der wirkungsvollste Handgriff überhaupt.
  • Nicht alles auf einmal hochladen. Fünf lange PDFs „zur Sicherheit“ mitzugeben, macht die KI nicht klüger, sondern den Tisch nur voller. Gib ihr, was zur konkreten Frage gehört.
  • Wenn sie anfängt zu schwächeln, ist das ein Signal. Widerspricht sich die KI oder vergisst sie Vereinbartes, ist der Tisch meist einfach voll. Dann hilft kein Nachbohren, sondern der Neustart mit Zusammenfassung.

Die Profi-Lösung: viele kleine Schreibtische statt einem großen

In der Fachwelt bringt gerade eine andere Antwort den größten Sprung — und sie zeigt, wohin die Reise geht. Wenn ein einzelner Schreibtisch bei zu viel Stoff unweigerlich unübersichtlich wird: Warum dann nicht das Problem in Teile zerlegen und jedem Teil einen eigenen, frischen Tisch geben?

Genau das ist die Idee hinter Multiagenten- oder Subagenten-Systemen. Statt eine einzige KI alles in einem einzigen, überquellenden Fenster wuchten zu lassen, arbeitet ein Chef-Agent wie ein Projektleiter: Er zerlegt die große Aufgabe in Teilaufgaben und gibt jede an einen Subagenten ab. Jeder dieser Subagenten ist eine eigene KI-Instanz mit eigenem, komplett leerem Tokenfenster. Er kümmert sich nur um seinen kleinen Teil, ungestört von allem anderen, und meldet am Ende nur das Ergebnis zurück — nicht den ganzen Denk-Wust, den er dafür produziert hat.

Der Vorteil ist doppelt. Kein einzelnes Fenster verstopft, weil die Arbeit auf viele saubere Tische verteilt ist. Und der Chef-Agent behält den Überblick, weil auf seinem Tisch nur die fertigen Ergebnisse landen, nicht jeder Zwischenschritt. Es ist der Unterschied zwischen einer einzelnen Person, die ein ganzes Buch allein und in einem Rutsch schreiben soll, und einer Redaktion, in der jeder ein Kapitel übernimmt und der Chefredakteur am Ende zusammenführt.

Dass das nicht bloß Theorie ist, zeigt eine Zahl aus der Praxis: Auf einem internen Recherche-Benchmark meldete das KI-Labor Anthropic, dass ein solches Team aus mehreren Agenten die beste Einzel-KI um gut 90 Prozent schlug. Genau deshalb steckt dieses Prinzip heute in vielen ernsthaften KI-Werkzeugen unter der Haube — auch in denen, mit denen dieser Text entstanden ist.

Was hängen bleibt

Das Gefühl, die KI werde „mit jedem Satz ein bisschen dümmer“, trügt nicht — nur die Erklärung dafür. Was man sieht, ist kein Nachlassen von Intelligenz, sondern ein volllaufender Schreibtisch. Wer das einmal verstanden hat, bedient eine KI ruhiger und geschickter: Nicht die Maschine ist müde geworden. Der Tisch ist nur voll — und den kann man abräumen.

Wenn dich der Beitrag zum Nachdenken gebracht hat, teile ihn gern — und wenn deine KI das nächste Mal mitten im Gespräch den Faden verliert, denk an den vollen Schreibtisch, bevor du an ihr verzweifelst.

Quellen (Auswahl):