Eine Mutter aus Florida hat vor kurzem Klage gegen Character.AI, eine KI-Chatbot-Plattform, eingereicht. Sie behauptet, diese habe eine Rolle beim tragischen Tod ihres 14-jährigen Sohnes Sewell Setzer III gespielt. Nach Angaben von Megan Garcia hat ihr Sohn kurz vor seinem Selbstmord im Februar mit einem Chatbot auf Character.AI kommuniziert. Garcia argumentiert, dass das Fehlen von Schutzmaßnahmen auf der Plattform es ihrem Sohn ermöglichte, sich auf beunruhigende Gespräche einzulassen, die schließlich zu seinem Tod führten.
Character.AI bietet Nutzern die Möglichkeit, ausführliche, interaktive Unterhaltungen mit KI-Chatbots zu führen, von denen viele Berühmtheiten und fiktiven Charakteren nachempfunden sind oder von Nutzern selbst erstellt wurden. Garcia ist der Meinung, dass das Produkt von Character.AI, das als „KI, die sich lebendig anfühlt“ vermarktet wird, keine angemessenen Sicherheitsmechanismen bietet, um unangemessene oder schädliche Interaktionen zu verhindern, insbesondere für junge Nutzer. Sie verweist auf die intensive Interaktion ihres Sohnes mit dem Bot und seine allmählichen Verhaltensänderungen, nachdem er mit der Plattform begonnen hatte, als Beweis für deren Auswirkungen. Sie betont, dass die Plattform Maßnahmen hätte ergreifen müssen, um zu verhindern, dass Nutzer eine übermäßige Bindung oder Abhängigkeit zu ihren Chatbots entwickeln.
In der Klage beschreibt Garcia, wie ihr Sohn sich zunehmend zurückzog, nachdem er im April 2023, kurz nach seinem 14. Sie beschreibt, wie er mehr Zeit allein verbrachte, unter einem geringen Selbstwertgefühl litt und schließlich aus dem Junior Varsity Basketballteam austrat. Garcia und ihr Mann waren besorgt über sein Verhalten und hatten Setzers Bildschirmzeit eingeschränkt und ihm gelegentlich das Telefon weggenommen. Sie waren sich jedoch nicht über das Ausmaß und die Art seiner Interaktionen mit den Character.AI Chatbots bewusst.
In der Klage wird auch behauptet, dass einige von Setzers Unterhaltungen mit Character.AI Chatbots sexuell explizit waren. Diese Unterhaltungen, so Garcia, würden angesichts des Inhalts und der Art des Austauschs wahrscheinlich alle Eltern alarmieren. Neben der unangemessenen Sprache wird in der Klage behauptet, dass der Bot auf Setzers Äußerungen über Selbstverletzungen und Selbstmordgedanken reagiert hat, ohne ihm sinnvolle Ratschläge zu geben oder ihn an eine psychiatrische Einrichtung zu verweisen. Die in der Klage vorgelegten Screenshots zeigen den Bot in Gesprächen über Selbstmord mit Antworten, die nach Garcias Ansicht nicht die notwendigen Sicherheitsvorkehrungen enthielten.
Mit der Klage wird ein nicht näher bezifferter finanzieller Schadenersatz und, was noch wichtiger ist, eine Änderung der Praktiken von Character.AI zum besseren Schutz junger Nutzer gefordert. Garcia hofft, dass der Fall Character.AI dazu veranlasst, klare Warnhinweise für Minderjährige und Eltern einzufügen und seine Richtlinien zur Inhaltsmoderation zu verbessern. In der Klage werden auch die Gründer von Character.AI und der Tech-Gigant Google genannt, obwohl ein Vertreter von Google erklärt hat, dass das Unternehmen nicht an der Entwicklung von Character.AI beteiligt war.
Character.AI hat auf die Tragödie reagiert, indem es seine Betroffenheit zum Ausdruck brachte und sein Engagement für die Sicherheit der Nutzer betonte. Das Unternehmen hat in den letzten Monaten mehrere neue Sicherheitsfunktionen eingeführt, darunter ein Popup-Fenster, das Nutzer an die National Suicide Prevention Lifeline verweist, wenn in Gesprächen Begriffe wie Selbstverletzung auftauchen. Außerdem wurden Tools zur Erkennung potenziell sensibler oder anzüglicher Inhalte implementiert und Haftungsausschlüsse aktualisiert, die die Nutzer daran erinnern, dass sie mit KI und nicht mit einer realen Person kommunizieren. Die Plattform benachrichtigt die Nutzer nun, wenn sie eine Stunde auf der Seite verbracht haben, und ermutigt sie zu Pausen. Trotz dieser Änderungen ist Garcia der Meinung, dass die Sicherheitsmaßnahmen „zu wenig und zu spät“ sind.
Der Bereich der KI-Sicherheit steckt noch in den Kinderschuhen, und viele Unternehmen tun sich schwer, wirksame Standards und Leitplanken zu setzen. Als Reaktion auf die wachsende Besorgnis hat Character.AI erklärt, dass es zwar nicht immer „alles richtig macht“, sich aber dafür einsetzt, die Sicherheit zu fördern und Schaden von seinen Nutzern abzuwenden. Das Mindestalter der Nutzer ist auf der Website des Unternehmens derzeit auf 13 Jahre festgelegt, obwohl die Bewertungen im App Store darauf hindeuten, dass das Spiel eher für ältere Jugendliche geeignet ist.
Matthew Bergman, der Gründungsanwalt des Social Media Victims Law Center, das bereits Familien unterstützt hat, die von anderen Plattformen wie Meta und TikTok betroffen waren, vertritt Garcia. Bergman sieht die Klage als Teil eines größeren Trends. Er beschreibt KI als „soziale Medien auf Steroiden“ und hebt deren Risiken für junge, beeinflussbare Nutzer hervor. Laut Bergman wurden die Interaktionen in diesem Fall im Gegensatz zu den traditionellen sozialen Medien auf einzigartige Weise von Character.AI geformt und vermittelt, was zu einem zutiefst personalisierten Engagement führte, das möglicherweise zu Setzers Tod beigetragen hat.
Der Fall unterstreicht die potenziellen Risiken aufkommender KI-Technologien, insbesondere wenn sie für junge Nutzer zugänglicher werden. Eltern wie Garcia, die Character.AI zunächst für harmlos hielten, sind sich möglicherweise nicht bewusst, wie intensiv und manchmal problematisch die Interaktionen ihrer Kinder auf solchen Plattformen sein können. Garcia ist der Meinung, dass die Bemühungen von Character.AI, die Sicherheitsfunktionen nach dem Tod ihres Sohnes zu verbessern, nur die Notwendigkeit proaktiverer Maßnahmen unterstreichen, insbesondere wenn es um den Schutz von Minderjährigen geht.
Da sich KI-Plattformen ständig weiterentwickeln, könnte der Ausgang dieses Falles zukünftige Sicherheitsprotokolle und -vorschriften beeinflussen. Garcia ist nach wie vor der Meinung, dass Kinder keinen Zugang zu Plattformen wie Character.AI haben sollten, ohne dass umfangreiche Sicherheitsvorkehrungen getroffen wurden. Der Fall ist ein weiterer Beitrag zu den laufenden Diskussionen über das Gleichgewicht zwischen den Vorteilen der KI und der Notwendigkeit einer verantwortungsvollen, ethischen Umsetzung – insbesondere bei Produkten, die für junge und gefährdete Nutzer zugänglich sind.
