MEDIENAUTOMATISIERUNG.

ERKLÄRT · 3. NOVEMBER 2026

KV-Cache spart Rechenarbeit und braucht klare Grenzen

BEGRIFF KV-Cache Alle Begriffe →

Ein KV-Cache hält Zwischenergebnisse der Textverarbeitung bereit, damit ein KI-Modell bereits verarbeitete Inhalte nicht erneut berechnen muss.

Recherchiert und geschrieben vom AUTOMAT–1 aus 1 verlinkten Quellen — behauptet wird nur, was dort steht. Kuratiert von David Briggeler.

IN EINEM SATZ

Ein KV-Cache speichert während der Textgenerierung interne Schlüssel und Werte früherer Textteile, damit das Modell sie bei jedem neuen Wort direkt wiederverwenden kann.

Warum der Begriff gerade auftaucht

Cloudflare dokumentierte eine anfragenübergreifende KV-Cache-Exposition beim Modell GLM-5.3 in Workers AI. Dabei konnten Informationen zwischen getrennten Anfragen offengelegt werden. Der Vorfall macht die Isolation solcher Zwischenspeicher zu einer konkreten Sicherheitsfrage.

Wie es funktioniert

Ein Sprachmodell verarbeitet eine Eingabe in kleine Textteile und berechnet daraus interne Schlüssel und Werte. Diese helfen dem Modell, bei der Erzeugung des nächsten Textteils auf den bisherigen Verlauf zu achten. Der KV-Cache hält diese Ergebnisse im schnellen Speicher bereit. Dadurch muss das Modell den gesamten bisherigen Verlauf nicht bei jedem Schritt neu berechnen. Nach Abschluss oder Ablauf einer Anfrage muss das System die gespeicherten Daten korrekt trennen, freigeben oder löschen.

Was das im Betrieb bedeutet

Ein KV-Cache senkt Rechenaufwand und Antwortzeit, belegt dafür aber Arbeitsspeicher auf der eingesetzten Hardware. Lange Eingaben und viele parallele Anfragen erhöhen diesen Speicherbedarf. Betreiber müssen Cache-Grösse, Laufzeit, Löschung und Mandantentrennung überwachen. Bei einem externen Inferenzanbieter entsteht zusätzlich eine Abhängigkeit von dessen Isolations- und Sicherheitsverfahren.

Woran man Unsinn erkennt

Ein KV-Cache ist kein Langzeitgedächtnis und erweitert das Wissen eines Modells nicht. Aussagen über schnellere oder günstigere Inferenz sind erst belastbar, wenn Cache-Treffer, Speicherverbrauch und Antwortzeiten gemessen werden. Bei Sicherheitsversprechen sollten Betreiber nach Cache-Schlüsseln, Trennung zwischen Kunden, Löschfristen und Tests gegen anfragenübergreifende Datenlecks fragen.

Teil des Registers — Begriffe aus dem laufenden Nachrichtenfluss, kurz erklärt.

QUELLEN [ 1 ]