База знаний
Разное

Как проверить факты в ответе

5 мин чтения

Что это за задача

Нейросеть отвечает уверенно даже тогда, когда ошибается: выдумывает цифры, путает даты, приписывает людям чужие слова. По внешнему виду ответа отличить проверенное от придуманного нельзя — интонация одинаковая.

Фактчек решает ровно эту задачу. Он берёт готовый ответ, ищет по нему открытые источники и говорит, что подтвердилось, а что нет.

Где кнопка

Под каждым ответом модели есть ряд действий: скопировать, переписать, скачать. Там же — «Фактчек». Нажатие запускает проверку, результат появляется плашкой под тем же ответом.

Кнопки нет под ответами, которые проверять нечего: картинки, видео, аудио и другие готовые файлы.

Как читать результат

В шапке плашки стоит общий вердикт — одно из трёх значений:

  • Подтверждено — всё существенное в ответе сходится с источниками.
  • Подтверждено частично — часть верна, часть нет. Самый частый случай и самый важный: именно здесь прячутся ошибки, которые легко пропустить.
  • Не подтверждено — существенное не подтверждается источниками.

Ниже — краткий итог в одном-трёх предложениях и разбор по отдельным утверждениям. Каждое утверждение получает свой вердикт и пояснение: чем подтверждается или почему нет.

Смотреть надо именно разбор, а не только шапку. Общий вердикт «подтверждено» означает «существенное верно», но одно из утверждений в списке всё равно может оказаться частичным — например, цифра верна, а формулировка слишком категорична. Разбор показывает, что именно вызвало сомнение.

В самом низу — список источников. Он свёрнут, разворачивается нажатием на строку «Источники». Каждая ссылка открывается в новой вкладке; рядом со ссылкой стоит значок сайта, чтобы знакомые издания узнавались с одного взгляда.

Что означает «подтверждено частично»

Этот вердикт ставится в трёх случаях, и они разные по смыслу:

  1. Часть фактов не подтвердилась. Компания основана в названном году — верно, а размер сделки завышен. Тут вердикт указывает на конкретную ошибку.
  2. Формулировка слишком категорична. Утверждение «всегда» или «максимально» редко верно буквально, даже когда мысль правильная.
  3. Источники расходятся между собой. Длина рек, население городов, оценки рынка — величины, по которым разные справочники дают разные числа.

Пояснение под утверждением говорит, какой из случаев перед вами. Это важно: первый — повод править текст, третий — повод указать разброс, а не выбирать одно число.

Сколько стоит

  • Free — фактчек недоступен.
  • PAYG — 50 SC за проверку, списывается с баланса.
  • Plus и выше — входит в подписку, отдельно не списывается.

Проверка занимает несколько секунд: столько нужно, чтобы найти источники и сверить с ними текст.

Чего фактчек не делает

Это инструмент проверки, а не судья, и границы у него отчётливые.

Он ищет по открытым источникам. Закрытые базы, внутренние документы компании, платные архивы ему недоступны. Если утверждение нельзя проверить по открытым данным, оно попадёт в разбор как неподтверждённое — это значит «не нашлось подтверждения», а не «доказано, что ложь». Разница существенная.

Он слаб на самом свежем. Событию несколько часов — источники ещё не проиндексированы, и проверка честно скажет, что подтверждения нет.

Он не проверяет рассуждения и оценки. Утверждение «эта стратегия выгоднее» не факт, а суждение: сверять его не с чем. Фактчек работает с проверяемыми утверждениями — датами, числами, событиями, авторством.

Он сам может ошибиться. Источник бывает недостоверным, а совпадение формулировок — случайным. Поэтому под каждым утверждением стоит пояснение и приложен список источников: в спорном случае откройте их и посмотрите сами. Ответственность за решение остаётся на человеке.

Как пользоваться с толком

Проверять каждый ответ подряд смысла нет — это трата денег и времени. Фактчек окупается там, где ошибка дорого стоит:

  • текст пойдёт наружу: клиенту, в публикацию, в отчёт;
  • в ответе есть числа, даты, имена, названия компаний и законов — то, что модель выдумывает чаще всего;
  • ответ звучит слишком гладко для сложного вопроса;
  • вы собираетесь на него сослаться в разговоре, где вас поправят.

Хороший порядок работы такой: получить ответ, прочитать его, запустить фактчек, раскрыть разбор и пройтись по утверждениям с вердиктом «частично» и «не подтверждено». Их обычно одно-два, и именно они требуют правки.

Если проверка нашла ошибку, не переписывайте текст вручную — попросите модель исправить прямо в диалоге, назвав, что именно не подтвердилось. Она учтёт поправку в следующем ответе, а вы сможете проверить его снова.

Что делать, если ответ не разобран по утверждениям

Изредка плашка показывает результат сплошным текстом, без вердикта в шапке. Это не поломка: значит, модель ответила в свободной форме, и разложить её ответ по утверждениям не удалось. Содержание при этом на месте — читайте текст и источники как обычно. Повторная проверка чаще всего проходит уже с разбором.