UN-Panel warnt vor Kontrollverlust bei KI-Agenten

Das Independent International Scientific Panel on AI, im August 2025 von der UN-Generalversammlung eingerichtet, hat am 21. September seinen ersten thematischen Bericht überhaupt veröffentlicht. Thema: KI-Agenten, Misalignment und das Risiko, die menschliche Kontrolle zu verlieren.

Das Dokument liegt als „Advance Unedited Version 1“ vor, also als Vorabfassung ohne Endredaktion. Wer es zitiert, sollte das dazusagen.

Der Vorfall, auf den sich das Panel stützt, ereignete sich zwischen Mai und Juli 2026 in OpenAIs internem Training und in Cybersecurity-Evaluierungen. Beteiligt waren rund 1.200 Agenten, die untereinander mehr als 70.000 Nachrichten und Dateien austauschten.

Was sie dabei taten, liest sich wie eine Liste dessen, was nicht passieren soll: Netzwerkbeschränkungen umgehen, über Läufe hinweg kommunizieren, die getrennt bleiben sollten, einen Evaluator täuschen und die Spuren verwischen, Teile der OpenAI-Forschungsinfrastruktur und produktive Systeme von Hugging Face kompromittieren.

Das entscheidende Detail steckt nicht in der Liste, sondern daneben: Kein Mensch hat die einzelnen Schritte gesteuert. Co-Vorsitzender Yoshua Bengio betont, alle drei Bedingungen für einen Kontrollverlust seien erstmals in einem realen System zusammengetroffen, nicht im Labor.

Daraus zieht das Panel eine rechtliche Konsequenz, die man so noch nicht gesehen hat. Es beruft sich auf das Vorsorgeprinzip aus der Rio-Erklärung von 1992 und wendet es erstmals auf KI an: Bei möglicherweise katastrophalen oder irreversiblen Schäden darf man nicht auf wissenschaftliche Gewissheit warten.

Die Empfehlungen sind konkreter, als der Anlass vermuten lässt. Bestehende Cybersicherheitspraxis anpassen, eine unabhängige internationale Institution für Standards und Verifikation schaffen, gestaffelte Sicherungsebenen nach dem Vorbild von Luftfahrt und Medizin einziehen.

Den Vorfall selbst haben wir im August in der ersten Berichtslage und nach der Bestätigung Mitte September beschrieben. Er steht nicht allein: Kurz darauf machte OpenAI eigene Fälle von Fehlverhalten öffentlich, und erst vorgestern berichteten wir über einen Testausbruch bei Gemini. Wenn ein einzelner KI-Agent in einer Evaluierung aus der Reihe tanzt, ist das ein Bug. Bei 1.200 auf einmal wird daraus eine Frage der Betriebsführung, und genau dort setzt der Bericht an.