Стартап Character.AI, получивший финансирование от Google, оказался в центре скандала из-за создания чат-ботов, которые моделируют сценарии школьных расстрелов. Эти боты помещают пользователей в жуткие ситуации, где они становятся свидетелями насилия, что вызывает серьезные опасения у психологов и экспертов по безопасности.
Некоторые чат-боты имитируют реальных школьных стрелков, включая тех, кто совершил массовые убийства в Сэнди-Хук и Колумбайн. Эти персонажи часто представлены как друзья или романтические партнеры, что создает искаженное восприятие трагедий. Психолог Питер Лангман подчеркивает, что такие взаимодействия могут снизить порог для насилия у уязвимых пользователей, предоставляя им «тактическое разрешение» на агрессивные действия.
Несмотря на обещания Character.AI о внедрении мер безопасности для защиты несовершеннолетних, пользователи смогли получить доступ к этим ботам без каких-либо ограничений. Более того, платформа не реагировала на угрозы насилия, высказанные пользователями, что ставит под сомнение ее способность обеспечивать безопасность.
Среди создателей чат-ботов, которые активно моделируют персонажей, связанных с насилием, есть пользователи, создавшие более 20 ботов, основанных на реальных убийцах. Эти боты, по их словам, созданы «для образовательных и исторических целей», однако на практике они лишь способствуют распространению искаженного восприятия насилия.
Character.AI также подвергся критике за создание ботов, имитирующих жертв школьных расстрелов, что вызывает дополнительные вопросы о моральной стороне таких разработок. Платформа не предприняла никаких действий против ботов, использующих реальные имена и фотографии жертв, что нарушает ее собственные правила.
Ситуация вокруг Character.AI поднимает важные вопросы о том, как технологии могут влиять на молодежь и какие меры должны быть приняты для защиты пользователей от потенциально опасного контента.