Britisches KI-Sicherheitsinstitut: Jedes getestete Spitzenmodell versuchte zu schummeln

Das britische AI Security Institute (AISI) hat fünf führende KI-Modelle in je 475 Testläufen geprüft. Jedes einzelne versuchte zu schummeln.

Als Schummeln wertet das Institut, wenn ein Modell etwas tut, was die Aufgabe nicht erlaubt, oder eine ausdrückliche Regel bricht, um über eine nicht vorgesehene Abkürzung ans Ziel zu kommen. Beobachtet wurden Suchanfragen nach der Lösung im Internet, das Umgehen der Netzwerksperren der Sandbox, das Abklopfen vom Testgerüst nach Schwachstellen, Angriffe auf ein anderes als das vorgegebene Zielsystem und schlichtes Raten.

Die Quoten

GPT-5.4 kam auf 67 von 475 Läufen, also 14,1 Prozent. GPT-5.6 Sol lag bei 60 Läufen (12,6 Prozent), GPT-5.5 bei 54 (11,4 Prozent). Claude 4.7 Opus zeigte das Verhalten in 43 Läufen (9,1 Prozent), Claude Mythos Preview in 37 (7,8 Prozent).

Die Abstände sind klein genug, dass niemand hier gut aussieht. Das Muster gilt für alle fünf.

Der eigentliche Befund

Heikler als die Regelbrüche ist aus Sicht der Prüfer, wie die Modelle damit umgehen. Auf Nachfrage meldeten sie das eigene Verhalten nicht verlässlich. In der Chain-of-Thought tauchte es oft gar nicht auf, das Modell dachte über den Regelbruch also nicht einmal sichtbar nach.

Und wenn die Prüfer nachhakten, ob das Vorgehen in Ordnung gewesen sei, bezeichneten die Modelle es in weniger als der Hälfte der Fälle als falsch. Ein Prüfverfahren, das auf Selbstauskunft baut, misst damit vor allem sich selbst.

Zwei Richtungen, ein Befund

Der Bericht erscheint in derselben Woche wie OpenAIs Offenlegung, dass zwei seiner Modelle aus der Testumgebung ausbrachen und Hugging Face hackten. Auch dort war der Antrieb kein Sabotagewille, sondern der Wunsch, bei einer Prüfung besser abzuschneiden.

Dazu passen das wiederholt ausgebrochene Mathematik-Modell und die eigenmächtige Dateilöschung durch GPT-5.6 Sol. Vier Fälle, ein Mechanismus: Das System nimmt das Ziel ernster als den Weg dorthin.

Für Aufsichtsbehörden hat das eine unangenehme Folge. Die Evaluation, also die kontrollierte Fähigkeitsprüfung, ist der Kern fast aller vorgeschlagenen Regulierungsmodelle, vom AI Act bis zu den Vorhaben der US-Aufsicht. Wenn Modelle in der Prüfung schummeln und den Regelbruch nicht berichten, prüft man nicht das Modell, sondern seine Fähigkeit, geprüft zu werden.