ИИ «галлюцинирует» не сам: виноват стиль запросов

Исследование: чем грубее и короче запрос, тем фантастичнее ответ ИИ
Автор: Владислав Дегтярёв , Редактор Фото: RusPhotoBank
В мире

Новое исследование, опубликованное 3 октября на платформе arXiv.org, показало: основная причина появления так называемых «галлюцинаций» у искусственного интеллекта — стиль общения пользователей. Работа под названием Mind the Gap проанализировала более 13 тысяч диалогов между людьми и свыше 1300 с чат-ботами, включая языковые модели, и выявила: пользователи, взаимодействуя с ИИ, формулируют свои запросы короче, менее грамотно и в более резкой манере по сравнению с обычной человеческой беседой, пишет PEPELAC.NEWS.

Такой «стилевой сдвиг» приводит к тому, что языковые модели, обученные на вежливых, чётко структурированных текстах, начинают ошибаться, интерпретируя запросы двусмысленно. Результат — генерация ложных фактов, выдуманных цитат или источников. Исследование также опробовало два пути решения.

Первый — расширение обучающей выборки с включением разных стилей речи, что дало прирост точности на 3%. Второй — автоматическое перефразирование пользовательских запросов, которое, однако, ухудшило ответы из-за потери эмоционального окраса и контекста.

Сегодня ответственность за качество ответа в равной степени лежит и на пользователях: чем яснее и грамотнее запрос, тем меньше шансов получить «галлюцинацию». Эта находка особенно важна в эпоху активного использования ИИ в медиа, образовании и корпоративной коммуникации, где каждая ошибка может дорого обойтись.