Содержание
«Попросил у ChatGPT список литературы, а половины книг не существует». Такое случается со всеми, кто пользуется нейросетями дольше недели. Это не баг конкретного сервиса, а следствие того, как устроены языковые модели. Хорошая новость: зная, где модели ошибаются, выдумки ловятся быстро.
Начнём с игры. Ниже ответ нейросети про известный роман. Две фразы выдуманы. Отметьте то, что вы бы проверили.
Нейросеть пишет правдоподобно, а не правдиво. Даты, цифры, имена и ссылки на источники проверяйте всегда.
Нейросеть не ищет ответ в базе, а угадывает следующее слово. Её учили писать правдоподобно, а не правдиво. Обычно правдоподобное и правдивое совпадают: про Булгакова в интернете написано много, и модель воспроизводит факты верно.
Но когда информации мало, модель не останавливается. Она пишет то, что «звучит как ответ»: литературовед с правдоподобным именем, книга с правдоподобным названием, год, который выглядит уместно. Такие выдумки называют галлюцинациями. Опасны они тем, что звучат так же уверенно, как правда.
- Ссылки и источники. Названия книг, статей, судебных решений, ссылки на сайты. Классика галлюцинаций.
- Цитаты. «Как говорил Эйнштейн» почти всегда повод проверить.
- Точные цифры и даты. Статистика, цены, годы, проценты.
- Малоизвестные люди, компании, места. Чем меньше о них написано, тем больше модель додумывает.
- Свежие события. Всё, что произошло после окончания обучения, модель знает только через поиск.
- Законы и правила. Статьи законов меняются, а модель может уверенно сослаться на старую редакцию или на несуществующий пункт.
- Подсчёты. Арифметика, подсчёт слов и букв, расчёты в таблицах.
А где модели почти не врут: пересказ текста, который вы сами дали, переписывание, перевод, идеи, структура. Там им не нужно ничего «вспоминать».
- Попросите источники. «Дай ссылки на источники для каждого утверждения». Потом откройте хотя бы две. Несуществующая ссылка сразу выдаёт выдумку.
- Включите поиск. Если сервис умеет искать в интернете, ответ будет опираться на настоящие страницы. Для фактов удобен Perplexity: он ставит ссылку на каждый факт. Подробнее о сервисах в статье «Какую нейросеть выбрать».
- Задайте тот же вопрос в новом чате. Если факты в двух ответах расходятся, хотя бы один из них выдуман.
- Спросите модель, в чём она не уверена. Звучит странно, но работает: модели неплохо оценивают собственную неуверенность, если их об этом прямо спросить.
- Проверьте ключевую цифру вручную. Одну, самую важную для вашего решения. Обычно этого достаточно, чтобы понять, можно ли доверять остальному.
Вот промпт, который я добавляю, когда точность важна:
Отвечай только на основе фактов, в которых ты уверен.
Если не знаешь или сомневаешься, прямо напиши «не уверен».
Не придумывай источники, цитаты, имена и цифры.
После ответа отдельным списком перечисли утверждения,
которые мне стоит проверить самостоятельно.Давайте модели материал
Самый надёжный способ: не спрашивать «что написано в законе о …», а вставить текст закона и спросить по нему. Когда модель работает с вашим документом, ей не нужно ничего вспоминать, и галлюцинаций почти нет.
Разрешите сказать «не знаю»
Многие модели стараются угодить и ответить хоть что-то. Прямое разрешение не отвечать заметно снижает выдумки.
Не задавайте наводящих вопросов
«Почему Пушкин написал „Войну и мир“?» Модель может подхватить неверную предпосылку и начать объяснять. Спрашивайте нейтрально: «Кто написал „Войну и мир“?»
Главное правило
Нейросеть отвечает за черновик, вы отвечаете за результат. Всё, что уходит клиенту, руководителю или в публикацию, проверяет человек.
Нейросеть врёт не со зла и не из-за плохого сервиса. Она так устроена: пишет правдоподобно. Используйте её там, где она сильна (тексты, пересказ, идеи, структура), давайте ей свой материал и проверяйте факты, цифры и ссылки. Тогда галлюцинации станут мелкой помехой, а не проблемой.
Чтобы запросы с самого начала были точнее, почитайте формулу промпта из пяти частей.
Частые вопросы
Почему нейросеть не говорит «я не знаю»?
Потому что её учили продолжать текст правдоподобно. Ответ «не знаю» в обучающих текстах встречается редко. Современные модели стали честнее, но гарантии нет. Помогает прямая просьба: «если не уверен, так и скажи».
Если включить поиск в интернете, ошибок не будет?
Будет меньше, но не ноль. Модель может неправильно пересказать источник или опереться на плохой сайт. Плюс поиска в том, что появляются ссылки, по которым легко проверить.
Какая нейросеть врёт меньше всех?
Лидеры примерно равны и с каждым поколением ошибаются реже. Гораздо сильнее на точность влияет задача: пересказ вашего документа почти не врёт, а вопрос про малоизвестный факт без поиска врёт часто.
Можно ли доверять нейросети в медицинских и юридических вопросах?
Как первому шагу, чтобы разобраться в терминах и подготовить вопросы, да. Как окончательному решению, нет. Проверяйте у специалиста и по официальным источникам.