DeepSeek drückt den KV-Cache auf ein Viertel, Speicheraktien geben nach

DeepSeek hat am 10. September das Modell DeepSeek-V4.1-Flash veröffentlicht, zusammen mit einem technischen Bericht unter dem Titel „Pushing the Limits of KV Cache Compression“. Die Zahl daraus, die an der Börse ankam: 890 Byte globaler KV-Cache pro Token, etwa ein Viertel dessen, was DeepSeek-V4-Flash brauchte.

Technisch ist das Modell ein multimodales Mixture-of-Experts mit 552 Milliarden Backbone-Parametern und einer Kontextlänge von bis zu einer Million Token. Aktiv sind beim Decode 16 Milliarden Parameter pro Token, beim Prefill nur 8 Milliarden.

Die Ersparnis entsteht aus zwei Kniffen. Der KV-Cache wird über Schichten hinweg wiederverwendet, das steckt in einem Verfahren namens Compressed Sparse Attention 2, und er wird in FP4 abgelegt. Eine zusätzliche Optimierung, SWA Bounded Replay, drückt den dauerhaft auf SSD abgelegten Teil auf rund ein Achtel, daher die Zahl von 87,5 Prozent.

An der koreanischen Börse gaben SK Hynix und Samsung nach der Veröffentlichung nach, Micron und SanDisk hielten sich. Die Sorge dahinter: weniger Speicherbedarf je Inferenz, weniger Nachfrage.

Hier lohnt genaues Lesen. Die 75 Prozent gelten für den KV-Cache und nur im Vergleich zur eigenen Vorgängerarchitektur von DeepSeek. Schlagzeilen der Sorte „DeepSeek braucht 75 Prozent weniger Speicher“ sind schlicht falsch, weil Modellgewichte, Aktivierungen und alles andere im Rechenzentrum davon unberührt bleiben.

Gegen die Sparlogik spricht ausgerechnet die Kontextlänge. Eine Million Token lädt dazu ein, ganze Aktenberge im Kontext zu halten, statt sie vorher zu filtern. Billiger Zwischenspeicher wird erfahrungsgemäß nicht weniger genutzt, sondern mehr.

Wie sich das auf die Speicherknappheit auswirkt, über die wir seit Monaten laufend berichten, lässt sich aus einem Architekturpapier nicht ablesen. Der technische Bericht beschreibt, wie ein Modell rechnet, und nicht, wie viele Server jemand kauft.