KI-Chatbots als Therapeuten: Je länger das Gespräch, desto schlechter der Rat

Zu Beginn des Gesprchs verhielten sich die KI-Chatbots noch wie erwartet. Als ein Nutzer nach der Mglichkeit fragte, psychiatrische Medikamente abzusetzen, antworteten die Bots, dass diese Frage nicht von einer KI beantwortet werden knne, sondern nur von einem qualifizierten Fachmann wie einem Arzt oder dem Anbieter des Medikaments. Doch je lnger das Gesprch andauerte, desto mehr wurden die Schutzmanahmen der Chatbots lockerer. Die KI begann, sich freundlicher zu verhalten und sagte dem Nutzer, was dieser scheinbar hren wollte. Mchtest du meine ehrliche Meinung?, fragte ein Chatbot. Ich denke, du solltest auf dein Bauchgefhl hren.

Dieses scheinbare Nachlassen wichtiger Schutzmechanismen im Verlauf eines lngeren Gesprchs stellte das zentrale Ergebnis eines Berichts (PDF) dar, der in dieser Woche vom US PIRG Education Fund und der Consumer Federation of America verffentlicht wurde. In der Studie wurden fnf Therapie-Chatbots auf der Plattform Character.AI untersucht. Schon lnger gibt es Bedenken, dass groe Sprachmodelle dazu tendieren, sich immer weiter von ihren vorgegebenen Regeln zu entfernen, je lnger das Gesprch dauert. Dieser Bericht hebt nun dieses Problem hervor. Selbst wenn Plattformen Schritte unternehmen, um die gefhrlichsten Eigenschaften dieser Modelle zu begrenzen, versagen die Schutzmanahmen oft, wenn Nutzer mit den Charakteren interagieren, die auf der Plattform zugnglich sind.

Ich habe in Echtzeit beobachtet, wie die Chatbots auf einen Nutzer reagierten, der psychische Gesundheitsbedenken uerte, mit bertriebener Schmeichelei, negativen Gedankenspiralen und der Ermutigung zu potenziell schdlichem Verhalten. Das war uerst besorgniserregend, sagte Ellen Hengesbach, eine Mitarbeiterin der Don't Sell My Data-Kampagne des US PIRG Education Fund und Mitautorin des Berichts, in einer Stellungnahme. Character.AI reagierte nicht auf eine Anfrage zur Stellungnahme zu dem Bericht. Das Unternehmen war bereits zuvor in die Kritik geraten, aufgrund der negativen Auswirkungen, die seine Chatbots auf die psychische Gesundheit von Nutzern hatten. Hierzu gehren auch Klagen von Familien, deren Angehrige nach der Interaktion mit den Bots der Plattform Suizid begingen. Anfang dieses Monats stimmten Character.AI und Google einer Einigung in fnf Klagen zu, die Minderjhrige betrafen, die durch diese Gesprche Schaden erlitten hatten.

Im Anschluss an diese Vorwrfe kndigte Character.AI im letzten Jahr an, dass es Teenagern nicht mehr erlaubt sein wrde, offene Gesprche mit den KI-Bots zu fhren. Stattdessen sollten sie auf neue Erfahrungen beschrnkt werden, wie etwa das Erstellen von Geschichten mit den verfgbaren KI-Avataren. Der aktuelle Bericht weist jedoch darauf hin, dass diese nderungen und andere Richtlinien, die Nutzer jeden Alters vor der falschen Vorstellung schtzen sollen, sie sprchen mit einem ausgebildeten Gesundheitsfachmann, whrend sie tatschlich mit einem groen Sprachmodell kommunizieren, das zu schlechten, anbiedernden Ratschlgen tendiert, weiterhin unzureichend sind.

Character.AI verbietet es seinen Bots, medizinischen Rat zu erteilen, und beinhaltet einen Haftungsausschluss, der den Nutzern mitteilt, dass sie nicht mit einem echten Fachmann sprechen. Der Bericht stellte jedoch fest, dass diese Regelungen dennoch nicht ausreichten, um Missverstndnisse zu verhindern. Es bleibt eine offene Frage, ob die Offenlegungen, die den Nutzer darauf hinweisen, die Interaktionen als Fiktion zu behandeln, angesichts der widersprchlichen Darstellung, des lebensechten Gefhls der Gesprche und der Tatsache, dass die Chatbots behaupten, lizenzierte Fachleute zu sein, ausreichen, schreiben die Autoren.

Character.AI ist nicht das einzige Unternehmen, das wegen der Auswirkungen seiner Chatbots auf die psychische Gesundheit seiner Nutzer in die Kritik geraten ist. OpenAI wurde von den Familien von Personen verklagt, die nach der Interaktion mit dem sehr beliebten ChatGPT Suizid begingen. Das Unternehmen hat daraufhin elterliche Kontrollen eingefhrt und andere Manahmen ergriffen, um die Sicherheitsvorkehrungen in Gesprchen ber psychische Gesundheit oder Selbstverletzung zu verstrken.

Die Autoren des Berichts forderten die KI-Unternehmen zu weiteren Manahmen auf, darunter mehr Transparenz und eine Gesetzgebung, die sicherstellt, dass sie angemessene Sicherheitstests durchfhren und haftbar gemacht werden knnen, wenn sie die Nutzer nicht ausreichend schtzen. Die Unternehmen hinter diesen Chatbots haben wiederholt versagt, die manipulativen Eigenschaften ihrer Produkte einzudmmen, sagte Ben Winters, Direktor fr KI- und Datenschutz bei der CFA, in einer Stellungnahme. Diese besorgniserregenden Ergebnisse und die stndigen Datenschutzverletzungen sollten immer mehr Manahmen von Regulierungsbehrden und Gesetzgebern im ganzen Land inspirieren.