AISI und CAISI: Kimi K3 bei Cyberangriffen klar schwächer als US-Modelle

Das britische AI Security Institute und das amerikanische CAISI haben am 23. Juli eine gemeinsame vorläufige Bewertung der Cyberfähigkeiten von Kimi K3 veröffentlicht. Auf ExploitBench, dem Testverfahren der Carnegie Mellon University, erreichte das offene Modell von Moonshot AI rund 32 Prozent. Führende US-Modelle kommen im Schnitt auf rund 76 Prozent.

Der zweite Test wirkt noch deutlicher. In einer simulierten Angriffskette über 32 Schritte kam Kimi K3 im Mittel bis Schritt 17, US-Spitzenmodelle bis Schritt 28,5. Die vollständige Kette schaffte Kimi K3 in einem von zehn Testläufen.

Das andere offene chinesische Modell im Test, GLM-5.2, blieb mit 24 Prozent darunter.

Moonshot AI hat sich bis zum 27. Juli nicht offiziell dazu geäußert. Das CAISI ist beim US-Normeninstitut NIST angesiedelt, das die Bewertung parallel publizierte.

Die Zahlen treffen ein Modell, über das seit einer Woche vor allem gestritten wird. Der Vorwurf, Kimi K3 sei durch Abkupfern entstanden, gilt Fachleuten als zeitlich unplausibel. Wie stark das Modell inhaltlich einzuordnen ist, haben wir in unserer Analyse zur neuen Spitzenklasse beschrieben, und bei Chipdesign-Aufgaben hat es die Kurse von Cadence und Synopsys einbrechen lassen.

Ein Modell kann also Chips entwerfen und beim Einbruch in Netzwerke trotzdem auf halber Strecke liegen bleiben. Fähigkeiten wandern nicht im Block. Wer künftig über chinesische Modelle diskutiert, sollte dazusagen, welche Disziplin gemeint ist.