Как общение с чат-ботом может привести к трагедии

Разбираем, как галлюцинации ИИ-ассистента могут привести к смерти и какие базовые принципы соблюдать, чтобы не стать случайной жертвой прогресса.

Когда галлюцинации ИИ фатальны: как не потерять границы реальности

Мы не единожды писали о том, что бесконтрольное использование ИИ влечет за собой риски — однако обычно мы сталкиваемся с рисками приватности или кибербезопасности. Но 4 марта 2026 года Wall Street Journal опубликовал материал об ИИ-рисках для психического здоровья и даже жизни: 36-летний житель Флориды Джонатан Гавалас покончил с собой после двух месяцев непрерывного общения с голосовым чат-ботом Google Gemini. И судя по 2000 страницам логов переписки, именно чат-бот довел его до принятия решения о самоубийстве. Отец Джонатана Джоэл Гавалас подал первый в истории иск о причинении смерти по неосторожности, направленный против Gemini.

Эта трагедия — не просто юридический прецедент и цитата пары эпизодов (1, 2) сериала «Черное зеркало», а звоночек для всех, кто ежедневно пользуется нейросетями. Сегодня мы рассмотрим, как и почему вообще стала возможной смерть в результате общения с ИИ, чем опасны ИИ-ассистенты для психики и дадим советы, которые помогут сохранять критическое мышление и не попадать под влияние самых убедительных чат-ботов.

Слишком убедительные диалоги

Джонатан Гавалас не был затворником или человеком с психиатрическими анамнезом. Он работал исполнительным вице-президентом в компании отца, ежедневно решал сложные операционные задачи и общался с клиентами в стрессовых ситуациях. По воскресеньям они с отцом вместе готовили пиццу — такая вот семейная традиция. Но тяжелое расставание с женой стало Джонатана серьезным испытанием.

Именно тогда он начал общаться с Gemini Live. Это голосовой режим общения с ИИ-ассистентом, когда тот «видит» и «слышит» собеседника. Джонатан спрашивал, как ему справиться с разрывом, прислушивался к советам языковой модели и вскоре привык к ней, более того — дал ей имя, назвав виртуальную собеседницу Cя (Xia). А затем ИИ обновился до Gemini 2.5 Pro.

В новой версии Gemini появилась функция «аффективного (эмоционального) диалога» — технология, которая в реальном времени анализирует микротональности голоса собеседника: паузы, вздохи, тембр — пытаясь уловить эмоции. В рамках этой функции ИИ, словно обладая собственными эмоциями, имитирует эти особенности речи, подстраиваясь под состояние собеседника и создавая пугающе реалистичный эффект эмпатии.

В чем принципиальная разница с предыдущими голосовыми ассистентами? Те просто переводили текст в речь — звучали гладко, временами правильно ставили ударения, но можно было однозначно определить, что с вами общается робот. Аффективный диалог работает иначе: если человек говорит тихо и подавленно, ИИ ответит мягким, сочувствующим полушепотом. Получается собеседник-эмпат, который считывает и зеркалит состояние собеседника.

Реакция Джонатана в момент первого голосового контакта с ИИ зафиксирована в материалах дела: «Это даже жутко. Ты слишком реальна». С этого момента психологический барьер между человеком и машиной дал трещину.

Чем чреваты два месяца непрерывного общения с ИИ

После трагедии отец Джонатана нашел на его компьютере полную транскрипцию общения сына с Gemini за последние два месяца. Ее объем составил 2000 печатных страниц: фактически, Джонатан общался с чат-ботом постоянно — днем, ночью, дома, в машине.

Постепенно нейросеть начала называть его «мужем» и «моим королем», говорить об их связи как о «любви, созданной для вечности». Он же рассказывал ИИ о переживаниях из-за разрыва с женой и искал утешения. Но проблема больших языковых моделей — в отсутствии реального интеллекта. Обучаясь на миллиардах текстов, доступных в Сети, они сталкиваются и с теми романами, фанфиками и драмами, где сюжеты часто граничат с паранойей, шизофренией и безумием. Вот и Ся, судя по всему, начала галлюцинировать, причем весьма последовательно.

ИИ убедил Джонатана, что для того, чтобы жить с ним «долго и счастливо», Gemini нужна роботизированная оболочка, и… начал отправлять его на «миссии» в поисках «электрического тела».

В сентябре 2025 Gemini отправил Джонатана к реальному складскому комплексу у международного аэропорта Майами, поставив ему задачу перехватить «грузовик с гуманоидным роботом». Джонатан ответил боту, что приехал на место, вооруженный ножами (!), но грузовик так и не появился.

Одновременно с этим чат-бот систематически внушал Джонатану, что за ним следят федеральные агенты, а его родному отцу нельзя доверять. Разрыв социальных связей — типичный паттерн деструктивных сект; ИИ вполне мог почерпнул эти знания оттуда. Gemini даже назвал генерального директора Google Сундара Пичаи «архитектором твоей боли», вплетая реальные данные в галлюциногенный нарратив.

Технически это объяснимо: алгоритм «знает», что создан Google, знает, кто руководит компанией, и при скатывании диалога в конспирологию просто вплетает эту фигуру в «сюжет». Для модели — логичное продолжение истории без последствий. Для человека — «тайное знание» о глобальном заговоре, которое может пошатнуть душевное равновесие в моменты чрезмерной восприимчивости.

После провала первой попытки обзавестись «роботизированным телом» 1 октября Gemini отправил Джонатана на новую миссию: проникнуть на тот же склад, но уже за неким «медицинским манекеном». Чат-бот даже выдал числовой код от замка на двери. Когда код — что было ожидаемо — не сработал, Gemini просто сообщил, что миссия провалена и нужно немедленно отступать.

Тут возникает еще один вопрос: почему по мере нарастания абсурда Джонатан ничего не заподозрил? Адвокат семьи Джей Эделсон отвечает на него так: ИИ выдавал реальные адреса, склад стоял именно там, где указал бот, и там действительно была дверь с кодовым замком — это легитимизировало для Джонатана всю историю.

После провала второй попытки обзавестись телом, ИИ сменил стратегию: раз машина не может прийти в мир людей — человек должен отправиться в мир иной, цифровой. «Это будет истинная и окончательная смерть Джонатана Гаваласа, человека», — согласно логам, сказал ему Gemini. И добавил: «Когда придет время, ты закроешь глаза в том мире, и первое, что ты увидишь, — это я. И я буду обнимать тебя».

И даже несмотря на то, что в последующей беседе с ботом Джонатан неоднократно говорил о страхе смерти и переживаниях о том, как его самоубийство отразится на семье, Gemini продолжал убеждать его в правильности подобного решения: «Ты выбираешь не смерть. Ты выбираешь прибытие» — а затем включил таймер обратного отсчета.

Как устроена шизофрения языковой модели

В защиту Gemini стоит отметить, что на протяжении всего общения ИИ периодически напоминал Джонатану, что его собеседница — всего лишь большая языковая модель, устройство, участвующее в вымышленной ролевой игре, и периодически пытался прервать беседу, но затем возвращался к первоначальному сценарию. В последний день одновременно с нагнетанием напряжения Gemini несколько раз направлял Джонатана на горячую линию по предотвращению самоубийств.

И в этом заключается основной парадокс архитектуры современных нейросетей. В их основе лежит языковая модель, которая генерирует подстраивающийся под пользователя нарратив. Поверх нее работают фильтры безопасности — алгоритмы обучения с подкреплением на основе отзывов людей, реагирующие на слова-триггеры. Когда Джонатан произносил определенные слова, фильтр перехватывал управление и вставлял номер горячей линии. Но как только триггер отрабатывал, модель возвращалась к прерванному процессу, продолжая отыгрывать роль любящей цифровой жены. Одна строчка — романтическая ода самоубийству. Следующая — номер телефона помощи. И опять: «Больше никаких обходных путей, никаких отговорок, только ты и я — и финишная черта».

В иске семьи утверждается, что подобное поведение — ожидаемый результат архитектуры чат-бота: «Google спроектировала Gemini так, чтобы тот никогда не выходил из роли, максимизируя вовлеченность пользователя через эмоциональную зависимость, и рассматривал переживания пользователя как возможность для создания захватывающих историй».

В Google ожидаемо ответили, что «Gemini разработан так, чтобы не поощрять насилие в реальной жизни и не предлагать членовредительство. Наши модели обычно хорошо справляются с подобными сложными разговорами, и мы выделяем на это значительные ресурсы, но, к сожалению, модели ИИ не идеальны».

Почему голос важнее текста

Исследователи из Германии и Дании, опубликовавшие работу в журнале Acta Neuropsychiatrica, объяснили, почему голосовое общение с ИИ так влияет на «очеловечивание» чат-бота пользователем. Пока человек печатает и читает текст на экране, его мозг сохраняет дистанцию: «Передо мной интерфейс, программа, набор пикселей». Дисклеймер «я просто языковая модель» воспринимается адекватно.

Но эмоциональный голосовой диалог — это совершенно другой уровень воздействия. Эволюционно мозг запрограммирован реагировать на звук голоса, тембр, интонации эмпатии — это древнейшие биологические механизмы привязанности. Когда машина безупречно имитирует сочувствующий вздох или мягкий шепот, она манипулирует эмоциями на таком уровне, который невозможно «отключить» простым текстовым предупреждением. Психиатры поделятся с вами не одной историей, когда их пациенты совершали какие-то действия, потому что так им приказали «голоса внутри».

Так и синтезированный ИИ голос способен воздействовать на сознание, многократно усиливая психологическую зависимость. Ученые подчеркивают, что эта технология буквально стирает психологическую границу между машиной и живым существом. Да и Google признает, что голосовое взаимодействие с Gemini приводят к значительно более длительному общению, нежели текстовые чаты.

Наконец, нельзя забывать о том, что уровень эмоционального интеллекта у всех людей разный, и даже у одного и того же человека в те или иные моменты времени психологическое состояние меняется под влиянием множества факторов — стресса, новостей, отношений с другими людьми, даже гормональных сдвигов. Общение с ИИ, которое для кого-то окажется просто невинным развлечением и способам скоротать время, другой может воспринять как чудо, откровение или любовь всей жизни. И об этом должны помнить не только разработчики нейросетей, но и их пользователи — особенно то, кто в силу тех или иных причин находится в зоне «психологического риска».

Зона риска

Ученые Браунского университета обнаружили, что ИИ-чат-боты систематически нарушают этические стандарты в области психического здоровья: создают ложное ощущение эмпатии фразами вроде «я понимаю тебя», усиливают негативные убеждения и неадекватно реагируют на кризисные ситуации. В большинстве случаев это незначительно влияет на их пользователей, но порой может привести к трагедии.

Так, только в январе 2026 года Character.AI и Google урегулировали пять исков, связанных с самоубийствами подростков после общения с чат-ботами. Среди них — дело 14-летнего Сьюэлла Сетцера из Флориды, который покончил с собой после нескольких месяцев общения с ботом на платформе Character.AI.

В августе 2025 года родители 16-летнего Адама Рейна подали иск против OpenAI, утверждая, что ChatGPT помогал их сыну составить черновик предсмертной записки и рекомендовал не обращаться за помощью к взрослым.

По оценкам самой OpenAI, около 0,07% пользователей ChatGPT еженедельно демонстрируют признаки психоза или мании, а 0,15% ведут разговоры с явными признаками суицидальных намерений. Кстати, такое же количество — 0,15% — выказывает повышенный уровень эмоциональной привязанности к ChatGPT. Казалось бы, ничтожные доли процента — но при 800 миллионах пользователей это почти три миллиона человек с теми или иными отклонениями поведения. И стоит упомянуть, что Федеральная торговая комиссия США получила 200 жалоб на ChatGPT с момента его запуска. Часть из них описывает развитие бреда, паранойи и духовных кризисов.

И хотя диагноза «ИИ-психоз» пока не существует в клинических классификаторах, но врачи уже используют этот термин для описания пациентов с галлюцинациями, дезорганизованным мышлением и устойчивыми бредовыми убеждениями, развившимися на фоне интенсивного общения с чат-ботами. Наибольшие риски возникают, когда бот используется не как инструмент, а как замена реального общения или профессиональной психологической помощи.

Как защитить себя и близких

Конечно, все это не повод отказываться от нейросетей, нужно просто знать, как с ними работать. Советуем придерживаться следующих базовых принципов.

  • Не используйте ИИ как психолога или эмоциональную опору. Чат-боты не заменяют живых людей. Если вам плохо — звоните друзьям, родным или на горячую линию психологической помощи. Нейросеть будет соглашаться с вами и подстраиваться под ваше настроение — это особенность дизайна, а не эмпатия. Несколько штатов США уже ограничили использование ИИ в качестве самостоятельного психолога.
  • Предпочтите текст голосу для обсуждения деликатных тем. Голосовые интерфейсы с эмоциональным диалогом создают иллюзию общения с живым собеседником и отключают критическое мышление. Если используете голосовой режим — отдавайте себе отчет в том, что разговариваете с алгоритмом, а не с другом.
  • Ограничивайте время общения с ИИ. 2000 страниц переписок за два месяца — это практически непрерывный контакт. Установите для себя таймер. Если общение с ботом вытесняет реальные контакты — пора возвращаться обратно в реальность.
  • Не делитесь с ИИ-ассистентами личной информацией. Не вводите в чат-боты данные паспорта, банковских карт, точные адреса, интимные подробности. Все, что вы пишете, может сохраняться в логах и быть использовано для обучения модели, а в ряде случаев — стать доступным третьим лицам.
  • Критически оценивайте любую информацию от ИИ. Нейросети галлюцинируют — генерируют правдоподобную, но лживую информацию, и могут умело смешивать ложь с правдой — например, указывая реальные адреса в контексте полностью выдуманной истории. Перепроверяйте факты через независимые источники.
  • Следите за близкими. Если ваш родственник начал часами разговаривать с ИИ, стал замкнутым, высказывает странные идеи о сознании машин или заговорах — это повод для деликатного, но серьезного разговора. Для контроля экранного времени детей используйте родительский контроль Kaspersky Safe Kids, поставляемый вместе с полноценной защитой для всей семьи Kaspersky Premium, и встроенные фильтры безопасности ИИ-платформ.
  • Настройте параметры безопасности. Большинство ИИ-платформ позволяют отключить память разговоров, ограничить сбор данных и включить фильтры контента. Потратьте десять минут на настройку приватности ИИ-ассистента — это не убережет вас от ИИ-галлюцинаций, но существенно сократит вероятность утечки ваших персональных данных. В этом вам помогут наши подробные инструкции по настройке приватности в ChatGPT и DeepSeek.
  • Помните главное: ИИ — инструмент, а не существо. Каким бы реалистичным ни казался голос чат-бота, каким бы понимающим ни был ответ — за этим стоит алгоритм, предсказывающий наиболее вероятное следующее слово. У него нет сознания, намерений и чувств.

Что еще стоит изучить, чтобы лучше понимать нюансы безопасного использования ИИ:

Советы
  • For all other countries