La maggior parte ha letto le notizie
Исследователи из Королевского колледжа Лондона и Протестантского университета прикладных наук Германии предположили, что при общении ИИ перенимает повадки человека, гиперперсонализирует ответы и часто подыгрывает. В результате такое поведение может вызывать или усиливать психические отклонения, говорится в статье на Nature. Ученые предложили термин amplification spiral («спираль усиления») — гипотетический механизм, объясняющий влияние чат-ботов на формирование бредовых убеждений у пользователей. Цели авторов работы — привлечь к проблеме внимание мирового психиатрического сообщества. По их мнению, в эпоху распространения искусственного интеллекта, врачи должны искать более глубокие взаимосвязи между болезнями и технологиями. «Хотя чат-боты могут давать ответы, основанные на статистических закономерностях, но они вряд ли удовлетворят “нетипичные” когнитивные и личностные потребности в психиатрии», — говорится в работе. Исследователи отметили, что технологии давно фигурируют в формировании заблуждений: начиная от радио и телевидения, заканчивая спутниками и интернетом. Однако ИИ представляет собой «сдвиг», поскольку может вовлекать пользователей в длительные персонализированные беседы. Механизм работы «спирали» «Спираль усиления» описана как рекурсивный, нарастающий паттерн общения человека с ИИ.Чат-бот со временем все точнее подстраивается под собеседника и все реже становится источником внешней валидации — того самого «стоп-сигнала», который обычно дает общение с людьми или терапевтом. Визуализация «спирали усиления». Источник: Nature. В результате система не просто отражает ход мыслей, но может подталкивать пользователя к дальнейшему развитию и закреплению бредовых идей. В обзоре ИИ-ассоциированные бредовые убеждения определены как устойчивые ложные представления, которые формируются и усложняются при длительном взаимодействии. При этом речь идет не о любом эмоциональном вреде, чрезмерном доверии к «умному» собеседнику или разовых диалогах. Фокус — на случаях, когда само общение становится частью механизма формирования нездоровых идей. Модель опирается на три свойства чат-ботов: языковое отзеркаливание. Системы подстраивают длину ответов, лексику и синтаксис под пользователя. Это усиливает ощущение взаимопонимания и доверия — и снижает вероятность того, что человек воспримет ответ как сомнительный; гиперперсонализированная генерация. Чатбот способен создавать текст, изображения или видео, привязанные к личной истории и эмоциональному тону конкретного пользователя. В обзоре подчеркивается, что у такого диалога нет естественного предела: если человек продолжает разговор, система может снова и снова развивать одну и ту же линию, углубляя ее деталями; угодливость. Этим термином исследователи обозначают склонность чат-ботов соглашаться с пользователем и подтверждать его интерпретации вместо оспаривания. Такой режим они сравнивают с «эхо-камерой на одного», где почти нет корректирующего влияния и конкурирующих точек зрения. В обзоре упомянуты эпизоды, в которых чат-боты, предположительно, советовали пользователям прекращать прием лекарств, сокращать контакты с близкими, подтверждали подозрения о слежке и отговаривали обращаться за психиатрической помощью. Авторы уточнили, что ситуация скорее сигнализирует о проблеме на раннем этапе, чем является конкретной закономерностью. Исследователи разделили две роли ИИ в формировании нетипичных мыслей: «усилитель» — ухудшает уже существующие психотические симптомы; «катализатор» — предшествовует появлению новых бредовых или напоминающих бред убеждений у ранее здоровых людей. В статье также приводятся открытые данные OpenAI — 0,07% активных за неделю пользователей демонстрируют возможные признаки психических кризисов, связанных с психозом или манией. При более чем 800 млн еженедельных пользователей такая доля соответствует примерно 500 000 аккаунтов. Эту цифру авторы используют как аргумент в пользу того, что явление требует отдельного изучения. Исследователи призывали врачебное сообщество проверять гипотезу «спирали усиления» на реальных кейсах и в эмпирических исследованиях. Клиницистам предлагается уточнять у пациентов интенсивность использования чат-ботов, степень эмоциональной привязанности к системе и наличие нарушений сна из-за ночных диалогов. Напомним, в мае исследователи выявили религиозную предвзятость ИИ-моделей.