Когда ИИ выдумывает: как это распознать и как этому помешать
Модель выдумывает не из злого умысла, а потому что порождает вероятное продолжение текста — а выдуманное исследование очень вероятное продолжение. Полностью помешать этому нельзя, но во многом ограничить можно.
Самое важное вкратце
- Выдуманные данные возникают не при трудных вопросах, а при таких, на которые есть ожидаемая форма ответа — числа, источники, статьи закона.
- Пять видов затронуты особенно: исследования, объёмы поиска, ссылки на законы, детали товаров и цитаты.
- Самая действенная мера — запрет на выдумывание в промпте плюс обязанность помечать неизвестное.
- Уверенный тон не признак правильности — модели формулируют выдуманные данные так же уверенно, как подтверждённые.
Понятие «галлюцинация» вводит в заблуждение, потому что звучит как исключительное состояние. На деле речь о том же процессе, который порождает и правильные ответы: о вероятном продолжении текста.
На вопрос об исследовании по теме вероятное продолжение — это ссылка на исследование с институтом, годом и процентом. Существует ли это исследование, для порождения не является величиной.
Пять видов данных, затронутых особенно
1. Исследования и статистика
«Согласно исследованию 2024 года, 67 процентов МСП используют …» — институт, год и процент вместе действуют очень убедительно, и все три могут быть свободно выдуманы.
Признак: круглые числа, отсутствие ссылки, институт без точного названия.
2. Объёмы поиска и рыночные цифры
Ни у одной модели нет доступа к данным о запросах поисковой машины. На запрос цифры всё равно приходят — потому что вопрос ожидает цифру.
Признак: любая цифра в этой области. Без исключения.
3. Ссылки на законы и сроки
Номера статей, параграфы, переходные сроки. Особенно опасны, потому что звучат профессионально и на практике запускают решения.
Признак: точный номер без указания редакции и даты.
4. Детали товаров и цены
Набор функций, границы тарифов, цены поставщиков. Часто меняются и нередко лежат за формами входа.
Признак: точные суммы без даты и без источника.
5. Цитаты и данные о людях
Дословные цитаты, наименования должностей, кто когда что сказал. Здесь вред наибольший, потому что реальным людям что-то приписывается.
Признак: любая цитата без проверяемого места нахождения.
Знаешь ли ты?
Тон не выдаёт ничего. Модели формулируют выдуманные данные с той же определённостью, что и подтверждённые, — «вероятно» или «возможно» не появляется там, где неуверенность действительно есть.
Именно поэтому обычный метод проверки не срабатывает: люди оценивают достоверность и по уверенности подачи. У моделей этого сигнала нет — проверять нужно саму данность, а не её подачу.
Что действительно помогает
- Запрет на выдумывание в промпте. Указание не использовать ни цифру, ни источник, которых нет в предоставленных данных, — и помечать неизвестное как
[данные отсутствуют]. Самая действенная отдельная мера. - Дать материал, а не запрашивать. Кто пишет собственные цифры в промпт, не нуждается в выдуманных. Разница между «напиши что-нибудь об X» и «напиши что-нибудь об X, вот наши цифры к этому» — самый большой одиночный скачок качества.
- Модели с поиском для актуального. Если модель может искать и называет источники, данные можно проверить. Но «не проверить» не значит «проверено».
- Проверка как отдельный шаг. Дать составить список всех проверяемых утверждений, затем проверить самому. Отдельно от письма, иначе шаг пропускается.
- Цифры с происхождением. Каждая цифра в готовом тексте получает указание происхождения — даже если оно гласит «оценка по опыту, не измерение».
Самый дорогой случай — не очевидно ложная данность, а лежащая чуть в стороне: срок, который есть, но с другой датой. Параграф, который существует, но регулирует другое. Цена поставщика, верная два года назад.
Такие данные переживают любую поверхностную проверку, потому что подтверждаются — только в другой редакции. Поэтому недостаточно проверить, существует ли источник; нужно проверить, говорит ли он то, что стоит в тексте.
Правило для промпта дословно
Три фразы, которым место в каждом промпте, где могут возникнуть проверяемые данные:
Правила для данных: 1. Не используй ни цифру, ни исследование, ни ссылку на закон, ни цитату, которых нет в материале, что я передал тебе выше. 2. Где тебе нужна данность, которой там нет, напиши [данные отсутствуют: какие] вместо того, чтобы что-то добавлять. 3. Помечай каждое утверждение, которое ты не можешь подтвердить из материала, в конце предложения как [не проверено]. Эти три правила имеют приоритет над всеми другими указаниями в этом промпте.
Последняя фраза не лишняя: данные в конце промпта учитываются надёжнее, а явный приоритет не даёт разыграть правила против желания получить гладкий текст.
Проверка вторым проходом
Проверь следующий текст на данные, которые, возможно, выдуманы. Будь строг; ничего не хвали; текст не переписывай. Текст: [вставить текст] Задачи: 1. Перечисли каждое проверяемое утверждение по отдельности: числа, проценты, исследования, ссылки на законы, годы, данные о товарах, цены, цитаты. 2. Помечай каждое утверждение: подтверждаемо из самого текста / должен проверить внешне / выглядит выдуманным. При «выглядит выдуманным» назови признак. 3. Назови три данности, ложность которых нанесла бы наибольший вред, и обоснуй. 4. Сформулируй для каждой неподтверждённой данности вариант, который обходится без неё и всё же что-то сообщает. Не выдумывай ссылок на источники и подтверждений. Если данность не можешь отнести, напиши это.
Вывод
Выдуманные данные — не ошибка инструмента, а свойство процесса. Они не исчезают, но их можно ограничить: дать материал, а не запрашивать, запрет на выдумывание в промпте и проверка как отдельный шаг работы.
Неудобное следствие: каждая проверяемая данность в опубликованном тексте должна быть проверена человеком. Это та часть, которую нельзя автоматизировать, — и причина, почему профессиональные знания при использовании языковых моделей становятся важнее, а не менее важными.
Частые вопросы
Почему языковые модели выдумывают?
Потому что порождают вероятное продолжение текста. На вопрос об исследовании вероятное продолжение — ссылка на исследование с институтом, годом и процентом; существует ли это исследование, для порождения не является величиной. Речь о том же процессе, который порождает и правильные ответы.
Какие данные затронуты особенно?
Пять видов: исследования и статистика, объёмы поиска и рыночные цифры, ссылки на законы и сроки, детали товаров и цены, а также цитаты и данные о людях. Общее у них то, что вопрос ожидает определённую форму ответа — цифру, номер параграфа, цитату.
Распознаются ли выдуманные данные по тону?
Нет. Модели формулируют выдуманные данные с той же определённостью, что и подтверждённые; оговорки вроде «вероятно» не появляются там, где неуверенность действительно есть. Проверять нужно саму данность, а не её подачу.
Помогает ли вопрос «Ты уверен?»
Нет. Модель может подтвердить выдуманную данность в том же разговоре или изменить её под нажимом — и то и другое ничего не говорит о правильности. Проверка происходит у источника, а не в разговоре.
Что помогает против этого действеннее всего?
Дать материал, а не запрашивать: кто пишет собственные цифры в промпт, не нуждается в выдуманных. К этому явный запрет на выдумывание с обязанностью помечать неизвестное — в конце промпта, с приоритетом над всеми другими указаниями — и проверка как отдельный шаг работы.
Маркетинг, который настраивается сам
Бета Studio Engine уже открыта. Забронируй место и участвуй в развитии с самого начала.
Присоединиться к бете →