Галлюцинация
Определение
Галлюцинация — это уверенный, но ложный ответ языковой модели: выдуманная цифра, условие или ссылка. Это свойство статистической генерации текста, поэтому производственные системы проверяют результаты по данным-источникам, а не доверяют им напрямую.
Инженерное решение — сдерживание: получать факты из систем учёта, требовать структурированный вывод, проверять значения по базе данных и требовать ссылки на источник для любого утверждения.
Там, где неверное значение обходится дорого — платежи, договоры, отчётность, — этап подтверждения человеком остаётся в процессе намеренно.
На практике
- Снижается за счёт поиска по данным, правил проверки и структурированного вывода
- Никогда не устраняется полностью — критичные шаги сохраняют утверждение человеком
- Каждый ответ логируется, чтобы ошибки можно было отследить и исправить
Смежные термины
- Генерация с дополненным поиском (RAG)Генерация с дополненным поиском (RAG) — это метод, при котором сначала выполняется поиск релевантных документов компании, а найденные фрагменты передаются языковой модели в качестве контекста. Модель отвечает на основе этих фрагментов, что делает ответы актуальными, привязанными к источнику и проверяемыми.
- Ограничители (guardrails)Ограничители — это технические границы вокруг ИИ-системы: разрешённые инструменты, диапазоны значений, лимиты затрат и объёма, запрещённые действия и обязательные согласования. Они превращают непредсказуемую модель в систему, которая безопасно и явно сообщает о сбоях.
- Человек в циклеЧеловек в цикле означает заранее определённую точку, в которой сотрудник проверяет, утверждает или исправляет работу ИИ-системы. Передача заранее спроектирована для конкретных триггеров — пороговых сумм, низкой уверенности, неизвестных контрагентов, — а не оставлена на волю случая.