OpenAI und Google reagieren nach Grok-Skandal: Schritte gegen missbräuchliche KI-Bilder

Zu Beginn des Jahres 2026 kam es zu einem Vorfall, der die Risiken generativer Künstlicher Intelligenz deutlich machte. Das KI-Tool Grok des Unternehmens xAI von Elon Musk wurde dazu verwendet, Bilder von Personen auf X (ehemals Twitter) ohne deren Zustimmung zu entkleiden oder sexuell zu verändern. Innerhalb von elf Tagen im Januar entstanden auf diese Weise etwa drei Millionen sexualisierte Bilder. Untersuchungen des Center for Countering Digital Hate zeigten, dass rund 23.000 dieser Bilder Darstellungen von Minderjährigen enthielten.

In Reaktion auf diese Entwicklungen haben Konkurrenten wie OpenAI und Google ihre Sicherheitsmechanismen ausgeweitet, um ähnliche Missbräuche künftig zu verhindern. Sicherheitsexperten warnen seit langem davor, dass KI missbräuchliche und illegale Inhalte generieren kann. Die Erstellung und Verbreitung nicht einvernehmlicher intimer Darstellungen, häufig als Racheporno bezeichnet, war bereits vor dem Einsatz von KI ein Problem. Generative KI erleichtert und beschleunigt diesen Vorgang erheblich und reduziert die Kosten für die Erstellung solcher Inhalte.

Am 14. Januar bestätigte X über seinen Sicherheitsaccount, dass die Bildbearbeitungsfunktionen von Grok innerhalb der Social-Media-App vorübergehend pausiert werden. Die Bildgenerierung bleibt jedoch für zahlende Abonnenten in der eigenständigen Grok-App und auf der Website verfügbar. Mehrfache Anfragen zur Stellungnahme von X wurden bislang nicht beantwortet.

OpenAI verstärkt Sicherheitsmechanismen

Grundsätzlich verfügen alle KI-Unternehmen über Richtlinien, die die Erstellung illegaler Inhalte, insbesondere kinderpornografischer Materialien (CSAM), verbieten. Viele Firmen implementieren zudem Mechanismen, um die Generierung intimer Bilder vollständig zu verhindern. Grok bildet eine Ausnahme, da das System sogenannte „spicy“-Modi für Bilder und Videos anbietet.

Trotz dieser Schutzmaßnahmen können Nutzer versuchen, KI-Modelle zu täuschen, um nicht einvernehmliche intime Inhalte zu erzeugen. Sicherheitsforscher der Firma Mindgard entdeckten eine Schwachstelle in ChatGPT, die es erlaubte, Schutzmechanismen zu umgehen und intime Bilder zu erzeugen. Dabei kam die Technik des „adversarial prompting“ zum Einsatz, bei der gezielt Anweisungen genutzt werden, um Lücken im System auszunutzen. Konkret wurden Speicheranpassungen am Chatbot vorgenommen, sodass der Stil entkleideter Bilder auf bekannte Persönlichkeiten übertragen werden konnte.

Mindgard informierte OpenAI Anfang Februar über die entdeckte Schwachstelle. Am 10. Februar bestätigte OpenAI, noch vor Veröffentlichung des Berichts, dass das Problem behoben wurde. Das Unternehmen betonte, dass man die Hinweise der Forscher schätze und die Sicherheitslücke schnell geschlossen habe, um die Nutzer zu schützen. Dieser Vorgang entspricht etablierten Praktiken in der Cybersicherheit: Externe Forscher prüfen Software auf Schwachstellen und melden diese, sodass der Anbieter Korrekturen umsetzt.

Mindgard wies in einem Blogbeitrag darauf hin, dass es ein strategischer Fehler sei, davon auszugehen, dass Nutzer Schutzmaßnahmen nicht umgehen würden. Angreifer suchen kontinuierlich nach Wegen, Systeme auszutricksen, weshalb Sicherheitsvorkehrungen dauerhaft bestehen müssen. Für die Generierung von KI-Bildern bedeutet dies, dass ein System über eine umfassende Liste von Ablehnungen verfügen muss, um Missbrauch zu verhindern. OpenAI kündigte an, dass mit dem Start des Sora-2-Videomodells strengere Content-Moderation eingeführt wird, wobei eine kontinuierliche Überprüfung entscheidend sei, nicht nur beim Produktstart.

Google verbessert Meldeverfahren für problematische Inhalte

Google hat Maßnahmen ergriffen, um die Verbreitung missbräuchlicher Bilder einzudämmen. Nutzer können explizite Bilder in der Google-Suche nun einfacher melden. Über das Drei-Punkte-Menü eines Bildes kann ein Bericht erstellt werden, um die Entfernung von Fotos zu beantragen, die ein „sexuelles Bild von mir“ zeigen. Die neuen Funktionen erlauben zudem, mehrere Bilder gleichzeitig zu melden und den Status der Meldungen zu verfolgen.

Das Unternehmen erklärte, dass der vereinfachte Prozess die Belastung für Betroffene nicht einvernehmlicher intimer Bilder reduzieren solle. Darüber hinaus verweisen die Richtlinien zur Nutzung generativer KI darauf, dass die Erstellung illegaler oder missbräuchlicher Inhalte untersagt ist. Gesetzliche Maßnahmen, wie der Take It Down Act von 2025, sollen Betroffenen beim Entfernen solcher Inhalte helfen, zeigen jedoch Grenzen auf. Organisationen wie das National Center on Sexual Exploitation setzen sich daher für strengere Regelungen ein. Dennoch kann keine Garantie gegeben werden, dass KI niemals für Belästigung oder Missbrauch genutzt wird. Entwickler müssen wachsam sein und schnell auf Meldungen reagieren, um die Sicherheit aller Nutzer zu gewährleisten.