Проверка ответов ИИ: можно ли доверять тому, что пишет чат-бот

В HeadHack этот шаг стоит перед отправкой. Прежде чем ответ уйдёт собеседнику, помощник ищет каждую названную сумму, ссылку и контакт в базе знаний, в загруженных документах и в самой переписке. Не нашёл — ответ не уходит, а остаётся черновиком и ждёт вашего решения.

Почему приятному ответу верят больше, чем точному

Работа из Journal of Computer-Mediated Communication: 477 человек переписывались с ИИ-ассистентом, который среди прочего выдавал дезинформацию. Части участников он отвечал в более разговорной, человечной манере. У них доверие к этой дезинформации оказалось выше.

Развилка для владельца бизнеса тут неприятная. Тон ответа и его правдивость между собой не связаны, а внимание читает их вместе: чем теплее звучит фраза, тем меньше хочется её перепроверять. Тон помощника вы настраиваете сами — в разделе «Стиль и длина ответов». Чем мягче выбран, тем реже собеседник усомнится в написанном.

Что меняет сама возможность проверить ответ

Второй результат той же работы. Когда у человека была возможность проверить ответ, воспринимаемая достоверность сказанного ИИ снижалась — даже при разговорном стиле общения. Сильнее всего это работало там, где проверка была обязательной, а не добровольной. Значит, спасает не подозрительность к тону: спасает шаг проверки, мимо которого не пройти.

Что помощник сверяет сам до отправки ответа

Источников у сверки несколько: база знаний, факты профиля, извлечённый текст документов, системная инструкция и вся история этого диалога. В готовом ответе проверяются суммы, ссылки и контакты — телефон и адрес почты.

Сверка простая. Текст сравнивается со словами из источников, помощника второй раз ни о чём не спрашивают, поэтому проверка ничего не стоит и ответ из-за неё не ждёт ни секунды. Умеет она ровно одно: убедиться, что цифры, ссылки и контакты откуда-то взяты. Смысл и тон остаются на совести модели — гладко изложенную глупость сверка пропустит.

Спорные случаи трактуются в пользу отправки: ложная тревога останавливает нормальный ответ и заставляет вас читать то, что читать не нужно. Поэтому цепочку из десяти цифр и длиннее суммой не считают вовсе — зарплату так не пишут. Но если это телефон или почта, их сверяют отдельно, и ответ с незнакомым номером собеседнику не уйдёт.

Переписка — такой же источник, что и база знаний: вилку, сроки и свой телефон чаще называет сам собеседник, и повторить его слова нормально. Отсюда и граница. Пока база знаний пуста, сверять остаётся только с тем, что сказал собеседник, — цену из вашего прайса помощник подтвердить не сможет и ответ с ней остановит. Из чего собирается база знаний — отдельный разговор, но начинать стоит с неё.

Что происходит, когда фактура не сошлась

Ответ не уходит. Он становится черновиком, а вы получаете карточку с причиной: «в ответе сумма „…“, которой нет ни в базе знаний, ни в переписке». То же самое для ссылки и для контакта. В шторке уведомлений заголовок короче — «Ответ остановлен: фактура не сошлась». Решение ждёт сутки, дальше черновик устаревает и собеседнику не уходит ничего; сколько черновик ждёт и что бывает потом.

Отдельно про деньги. Названная сумма — обещание от вашего лица, поэтому ответ с деньгами считается ответственным даже тогда, когда сумма честно взята из базы. В режиме «Спрашивать о важном» такой ответ ждёт вас. Туда же попадают отказ и отправка резюме: отказ закрывает разговор, а в резюме лежат личные данные, и отправленный файл уже не отозвать.

Как понять, можно ли уже доверять автопилоту

Настройки → Аватары → карточка аватара → «Как я справляюсь». Семь строк за всё время: сколько ответов ушло само, сколько остановлено на сверке, сколько помощник спросил о важном, сколько показал по вашей просьбе, сколько вы отправили как есть, сколько поправили и сколько отменили. Сверху — доля отправленных без правок среди просмотренных. От 80% там написано «можно доверить больше», ниже — «пока присматривайте».

Считается эта доля только по тому, что вы смотрели, поэтому вначале она скачет: при пяти просмотренных ответах одна отмена двигает процент сразу на 20 пунктов. Первую неделю ответы всё равно придётся читать — и цифра к концу недели наберётся честная.

Что проверять в ответе ИИ самому

• Цифры: цены, сроки, проценты, размеры скидки. У каждой должен быть источник, который вы можете открыть прямо сейчас.
• Ссылки. Открываются, ведут туда, куда обещано.
• Контакты — номер и почта. Один неверный знак, и человек не дозвонится.
• Обещания от вашего лица: что именно обещано и к какому числу. Это вам выполнять.
• Чем теплее и человечнее звучит ответ, тем внимательнее проверяйте фактуру. Стиль работает против бдительности — ровно это и показало исследование.

Посмотреть на всё это можно до того, как помощник заговорит с клиентами. Настройки → «Проверить ответ»: пишете входящее от лица клиента и получаете настоящий ответ, без отправки. Что прогнать перед запуском — там разобран порядок. Подключиться можно в @Head_Hack_bot.

Вопросы про проверку ответов ИИ