Kommission schlägt KIDS Act vor: KI-Companions sollen keine Bindung mehr erzeugen dürfen

Die EU-Kommission hat am 17. September den Entwurf für den EU KIDS Act vorgelegt. Vorgesehen sind drei Altersstufen: Unter 13 Jahren kein Zugang zu Social Media, zwischen 13 und 15 Jahren nur ein von den Eltern verwaltetes Mini-Konto mit eingeschränkten Funktionen und höchstens einer Stunde Nutzung am Tag, ab 15 Jahren ein eigenes Konto. Anbieter sehr großer Plattformen sollen künftig belegen, dass ihr Dienst für Kinder sicher und auf deren Wohlergehen hin entworfen ist.

Interessanter als die Altersgrenze ist für uns, was daneben im Anwendungsbereich steht. Der Entwurf erfasst neben sozialen Netzwerken und Videoplattformen auch Spiele, App-Stores und ausdrücklich KI-Chatbots und Companions.

Die Kommission wird im begleitenden Q&A deutlich. KI-Companions und Chatbots, die für Minderjährige zugänglich sind, dürfen demnach keine Gestaltung verwenden, die menschliche Beziehungen so simuliert, dass emotionale Abhängigkeit wahrscheinlich wird. Standardmäßig sollen sie frühere Gespräche eines Kindes nicht in spätere mitnehmen. Vor dem Start müssen sie auf Risiken für Kinder getestet und danach auf Schäden überwacht werden. Unter 13-Jährige sollen sie nur über elterliche Kontrollwerkzeuge nutzen können. Und ein Chatbot, der in eine Plattform oder ein Spiel eingebaut ist, darf sich nicht selbst einschalten, Kindern nicht aufgedrängt werden und muss leicht abschaltbar sein.

Der schärfste Satz steht beim Durchsetzungsmechanismus: KI-Companions und Chatbots sollen gar nicht erst in Verkehr gebracht werden dürfen, solange der Anbieter die Einhaltung der neuen Pflichten nicht nachweisen kann und keinen Mechanismus zur Beobachtung neu auftretender Risiken und Vorfälle hat. Bußgelder können bis zu sechs Prozent des weltweiten Jahresumsatzes erreichen, durchgesetzt über die vorhandenen Strukturen des Digital Services Act.

Kritik kam noch am selben Tag. Chris Köver argumentiert auf netzpolitik.org, das Gesetz mache es für Eltern nicht besser, sondern schlimmer: Es löse keines der Probleme des digitalen Alltags, schaffe aber neue Pflichten, weil Eltern künftig Sorgerechtsnachweise und Altersangaben ihrer Kinder übermitteln müssten. Schlimmstenfalls landen diese sensiblen Daten laut dem Kommentar bei Konzernen wie ByteDance, Google oder Meta. Altersprüfungen seien zudem leicht zu umgehen, und das Gesetz säge an Grundpfeilern des Netzes, am Recht auf Anonymität und am freien Zugang zu Informationen. Die eigentlichen Gefahren, Grooming und Extremismus, adressiere es nicht.

Eine eigene Stellungnahme von Meta, OpenAI oder Character.AI zum Entwurf haben wir bis Redaktionsschluss nicht gefunden. Aus der Branche gibt es nur die ältere, allgemeine Linie gegen Social-Media-Verbote für Jugendliche, vorgetragen unter anderem von Meta, YouTube, Snap und TikTok mit dem Argument, solche Regeln isolierten Teenager und trieben sie auf weniger regulierte Dienste.

Der Entwurf geht jetzt ins ordentliche Gesetzgebungsverfahren, Parlament und Rat verhandeln den endgültigen Text. Bis dahin gilt nichts davon. Die Richtung ist trotzdem erkennbar: Kalifornien hat vergangene Woche 13 Gesetze zu KI-Chatbots und Jugendschutz unterzeichnet, und die Einstufung von ChatGPT als sehr große Suchmaschine nach dem DSA hat denselben Effekt über den Umweg der Plattformregulierung. Bleibt die Frage, wie ein Anbieter belegen soll, dass sein Produkt keine emotionale Bindung erzeugt, wenn genau diese Bindung das Geschäftsmodell der Companion-Apps ist.