Здесь будет ваша реклама

Красноречивый чат-бот кажется умнее, даже когда ошибается

Абстрактные речевые облака чат-бота и лупа на столе

Мы привыкли доверять тому, кто говорит уверенно и красиво. Похоже, то же правило работает и с искусственным интеллектом. Исследователи из Университета Радбауда (Неймеген, Нидерланды) показали: если чат-бот отвечает плавным, естественным языком, люди оценивают его как умного и приятного — даже когда он выдумывает факты. Работа опубликована в журнале Computers in Human Behavior: Artificial Humans.

Что изучали

Специалист по коммуникациям Марианна де Са Сикейра и её коллеги Барбара Мюллер и Тибор Боссе подготовили четыре версии одного и того же диалога с чат-ботом о «Властелине колец». В двух версиях бот говорил гладко и по-человечески: в одной отвечал правильно, в другой — с ошибками. Ещё в двух он отвечал коротко и по-деловому: в одной всё было верно, в другой встречались тонко выдуманные факты. Участников заранее отбирали так, чтобы они знали сюжет книги хотя бы в общих чертах. Каждый видел одну версию и оценивал, насколько бот умён и приятен.

Что выяснили

  • Лучше всего оценили «красноречивого» бота, который отвечал правильно.
  • Красноречивый бот с ложной информацией получил такие же оценки ума и приятности, как сухой бот, отвечавший верно.
  • Около 80% участников вообще не заметили ошибок, хотя знали тему.
  • По мнению авторов, плавный текст автоматически вызывает ощущение компетентности — и это снижает желание перепроверять.

Что это значит

Психологи давно знают эффект «беглости обработки»: то, что легко читается и звучит гладко, кажется нам более правдивым. Современные языковые модели по определению пишут гладко, поэтому этот эффект работает против нас. Исследователи считают, что одного предупреждения в начале чата («ИИ может ошибаться») недостаточно: сервисы должны показывать неуверенность прямо в ответах, а боты, которые сами выражают сомнение, могут помочь пользователям не принимать выдумки за факты.

Что можно делать уже сейчас:

  • отделяйте форму от содержания: уверенный тон не равен точности;
  • проверяйте по первоисточникам цифры, даты, имена, цитаты и медицинские советы;
  • просите бота указать источники — и открывайте их, а не верьте списку на слово;
  • в вопросах здоровья и психологии используйте ИИ как черновик, а не замену специалисту.

Как ещё общение с чат-ботами может влиять на психику, мы рассказывали в материале «ИИ-психоз и чат-боты», а о типичных ловушках мышления — в статье «Когнитивные искажения».

Ограничения

  • В пресс-релизе не указан размер выборки и детали статистики — для полной оценки нужна сама статья.
  • Использовалась одна тема и один формат диалога; в реальной жизни вопросы и ставки бывают другими.
  • Участники знали тему, поэтому результаты могут отличаться для людей без таких знаний (вероятно, в худшую сторону).
  • Оценивалось восприятие бота, а не реальные решения, которые люди принимают на основе его ответов.

Источники

Материал подготовлен редакцией «Новости психологии» на основе опубликованных исследований и носит информационный характер. Он не заменяет консультацию специалиста.

← Предыдущая статья
Следующая статья →

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Здесь будет ваша реклама