галлюцинация
Галлюцинация в контексте ИИ — когда модель генерирует правдоподобный, но ложный факт: несуществующую статью закона, выдуманную цену, фейковую ссылку или цитату. Это не «ошибка опечатки», а уверенная выдумка из статистических паттернов текста.
Какие галлюцинации встречаются в маркетинге
- Выдуманные цены, сроки и скидки в ответах бота.
- Несуществующие кейсы и логотипы «клиентов».
- Ссылки на статьи и законы, которых нет.
- Цитаты руководителя, которых он не говорил.
- Технические характеристики товара «из головы» модели.
Ограждения: RAG и запреты в промпте
| Метод | Что даёт |
|---|---|
| RAG по одобренным документам | Ответ только из фрагментов базы |
| Промпт «не знаю — так и скажи» | Меньше додумывания при пробеле |
| Temperature ниже | Меньше «креатива» в фактах |
| HITL на цифры и юридическое | Человек ловит то, что модель «уверенно» соврала |
| Лог и разбор инцидентов | Обновление базы и промпта после кейса |
Процесс в агентстве после инцидента
Зафиксировать вопрос и ответ, найти источник выдумки — промпт, дыра в базе, отсутствие HITL. Обновить документ или запрет, прогнать регрессию на 20 типовых вопросов. Не «переключили на другую модель» без смены процесса — галлюцинации есть у всех LLM.
галлюцинация: как применяют
В агентстве галлюцинации отслеживают в RAG-ботах, черновиках контента и автоответах поддержки: любой факт с цифрой, датой или юридической формулировкой проходит human-in-the-loop и сверку с базой знаний. Для клиента это пункт политики AI governance, не «модель плохая».
Частые вопросы
Что такое галлюцинация нейросети простыми словами?
Модель уверенно говорит неправду: придумывает ссылку, цифру, имя эксперта или пункт договора. Текст читается гладко, проверка показывает — факта нет.
Почему LLM галлюцинирует?
Модель предсказывает правдоподобное продолжение текста, а не проверяет базу фактов. Без RAG и без запрета «додумывать» она заполнит пробел выдумкой.
Как снизить галлюцинации в боте поддержки?
RAG по одобренным документам, промпт «отвечай только из контекста», отказ при нехватке данных, human-in-the-loop на ответы с ценами и сроками.
Галлюцинация — это всегда ошибка разработчика?
Это свойство модели без ограждений. Ответственность за публикацию ложного факта клиенту — у процесса: кто утвердил текст, был ли фактчек.
Чем галлюцинация отличается от outdated данных?
Outdated — факт был правдой, но устарел. Галлюцинация — факта не было никогда. Обновление базы не лечит второе без смены промпта и RAG.