Roblox führt KI ein, die Spieler-Chats heimlich säubert und verbotene Wörter verschleiert

Die Online-Plattform Roblox, bekannt dafür, dass Nutzer eigene Spiele gestalten können, hat ein neues System zur automatischen Bereinigung von Chats eingeführt. Bisher wurden problematische Wörter in der Kommunikation zwischen Spielern durch einfache Zensurmechanismen entfernt und durch Rautezeichen ersetzt. Mit dem neuen Ansatz setzt Roblox auf künstliche Intelligenz (KI), die störende Ausdrücke automatisch umformuliert, anstatt sie lediglich unleserlich zu machen.

Rajiv Bhatia, Vizepräsident für User und Discovery Product bei Roblox, erklärte, dass KI-Filter zur Blockierung problematischer Nachrichten bereits zentral für die Sicherheitsstrategie und die Förderung eines zivilen Verhaltens auf der Plattform waren. Mit der neuen Funktion sollen Nachrichten nun noch höflicher gestaltet werden. Die KI beginnt damit, Schimpfwörter und andere unerwünschte Begriffe automatisch zu erkennen und umzuschreiben.

Gibt ein Spieler ein problematisches Wort ein, entfernt die KI diesen Ausdruck, bevor die Nachricht im Chat erscheint. Beispielsweise wird aus „oh shit, are you OK?“ nur „are you OK?“ und aus „hurry tf up“ wird „hurry up“. Dabei erkennt die KI auch implizite problematische Ausdrücke und passt sie entsprechend an. Alle Chat-Teilnehmer sehen, dass die Nachricht durch die KI verändert wurde, während nur der Absender eine Warnung wegen unangemessener Sprache erhält.

Diese Neuerung folgt nur zwei Monate nach der Einführung einer Gesichtserkennung bei Roblox. Diese Funktion dient dazu, Nutzer Altersgruppen zuzuordnen und so den Kontakt zwischen Kindern und Erwachsenen zu reduzieren. Trotz dieser Maßnahmen hat Roblox weiterhin rechtliche Auseinandersetzungen, unter anderem in Nebraska, Texas, Florida, Louisiana, Kentucky und mehreren Städten, die das Unternehmen wegen unzureichendem Kinderschutz verklagt haben.

Spieler, deren Nachrichten umgeschrieben werden, erhalten eine Benachrichtigung über die Anpassung sowie eine Warnung bezüglich der Einhaltung der Plattformregeln. Die KI wird kontinuierlich weiterentwickelt, um auch neue Slang-Ausdrücke und kreative Umgehungen der Filter zu erkennen. Dazu wird sie auf spezialisierten Modellen trainiert, die sowohl auf einem größeren Basis-Modell als auch auf Chatproben aus Spielen basieren. Ist die KI unsicher, ob ein Ausdruck problematisch ist, wird die Nachricht an ein weiter trainiertes Modell weitergeleitet, das den Kontext analysiert und die Bedeutung ableitet.

Spieler, die wiederholt versuchen, das System zu umgehen oder weiterhin verbotene Wörter verwenden, werden gemäß den Community-Standards von Roblox sanktioniert. Trotz anfänglicher Fehlalarme und einer Lernphase für neue Begriffe zeigt sich das Unternehmen zuversichtlich, dass die KI insgesamt zuverlässig funktioniert. Bhatia betonte, dass die Tests gezeigt hätten, dass der kombinierte Ansatz die Filter deutlich verbessert. So werden inzwischen auch komplexe Umgehungsversuche, wie etwa Leet-Sprache, besser erkannt, bei der Buchstaben durch Zahlen oder Symbole ersetzt werden.

Roblox setzt mit der KI-gestützten Chatkontrolle einen weiteren Schritt, um die Kommunikation innerhalb der Plattform sicherer und angemessener zu gestalten. Die automatische Umformung problematischer Nachrichten soll sowohl die Nutzererfahrung für Kinder und Erwachsene verbessern als auch die Einhaltung der Regeln transparenter machen. Das System wird fortlaufend angepasst, um auf neue Herausforderungen in der digitalen Kommunikation zu reagieren und die Plattform langfristig sicher zu halten.