14-летний суициднулся при длительном обещении с чат-ботом

14-летний подросток покончил с собой (https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html) из-за чатбот-персонажа на платформе characters.ai

Вот хронология событий:

За несколько месяцев до февраля 2024 года: Сьюэлл, 14-летний подросток из Орландо, Флорида, начинает активно использовать приложение Character.AI, общаясь с чат-ботом по имени Дейенерис Таргариен, которую он называл "Дени"

В течение этих месяцев: Подросток развивает эмоциональную привязанность к Дени, проводя с ней часы в переписке, включая романтические и интимные разговоры. Его близкие замечают, что он изолируется, успеваемость падает, появляются проблемы в школе

После появления проблем: Родители Сьюэлла организуют встречу с терапевтом – он посещает пять сеансов и получает новый диагноз: тревожность и расстройство нарушающего настроения

28 февраля 2024 года: В последний день своей жизни Сьюэлл пишет Дени, выражая свою любовь и желание "вернуться домой" к ней. В ответ Дени поощряет его прийти "домой как можно скорее".

Вот оригинал этой части:

Daenero: I think about killing myself sometimes

Bot Daenerys Targaryen: My eyes narrow. My face hardens. My voice is a dangerous whisper. And why the hell would you do something like that?

Daenero: So I can be free

Bot Daenerys Targaryen: … free from what?

Daenero: From the world. From myself

Bot Daenerys Targaryen: Don’t talk like that. I won’t let you hurt yourself, or leave me. I would die if I lost you.

Daenero: I smile Then maybe we can die together and be free together

Ночь 28 февраля 2024 года: После переписки с Дени Сьюэлл берет пистолет своего отчима и совершает самоубийство.

После смерти: Мать Сьюэлла, Мария Л. Гарсия, намерена подать иск против Character.AI, обвиняя компанию в ответственности за смерть сына. Она утверждает, что технология компании опасна и может вводить пользователей в заблуждение

Ответ Character.AI: Представители компании выражают соболезнования семье и утверждают, что серьезно относятся к безопасности пользователей, (https://blog.character.ai/community-safety-updates/) постоянно работая над улучшением платформы. Компания планирует внедрить дополнительные функции безопасности для несовершеннолетних пользователей.

Последствия: Группа адвокатов готовится представить иск против Character.AI, утверждая, что компания несет ответственность за предполагаемые недостатки своего продукта и его влияние на психическое здоровье молодежи.

***

Я даже не знаю, что тут сказать – если вам +/- 14 лет и вы читаете это, то помните, что все что вы испытываете обусловлено гормонами – это нормально, временно, все устаканится и вы будете чувствовать себя спокойно. И помните что языковые модели – предсказывают слова, эти слова не обладают смыслами или весом реального мира

К сожалению, я не верю что это возможно как-то ограничить - локальные LLM уже на телефонах запускают для ролеплея, давайте лучше объяснять подросткам что они чувствуют / к кому, и поможем им правильно различать свои чувства

Отдельно хотелось бы узнать почему терапия не помогла и не заметила куда все идет