Hallucination
Définition
Une hallucination est une réponse d'un modèle de langage énoncée avec assurance mais fausse — un chiffre, une clause ou une référence inventés. C'est une propriété de la génération de texte statistique, raison pour laquelle les systèmes en production vérifient les sorties par rapport aux données sources au lieu de leur faire confiance.
La réponse d'ingénierie consiste à contenir le risque : récupérer les faits depuis les systèmes de référence, imposer une sortie structurée, valider les valeurs par rapport à la base de données et exiger des citations pour toute affirmation.
Là où une valeur erronée coûterait cher — paiements, contrats, déclarations légales — une étape de confirmation humaine reste intégrée au processus par conception.
En pratique
- Atténuée par la récupération documentaire, les règles de validation et la sortie structurée
- Jamais totalement éliminée — les étapes critiques conservent une validation humaine
- Chaque sortie est journalisée pour permettre de tracer et corriger les erreurs
Termes liés
- Génération augmentée par récupération (RAG)La génération augmentée par récupération est une méthode où les documents pertinents de l'entreprise sont d'abord recherchés, puis les passages retrouvés sont fournis au modèle de langage comme contexte. Le modèle répond à partir de ces passages, ce qui rend les réponses actuelles, sourcées et vérifiables.
- Garde-fousLes garde-fous sont les limites techniques encadrant un système d'IA : outils autorisés, plages de valeurs, plafonds de dépense et de volume, actions interdites et validations obligatoires. Ils transforment un modèle imprévisible en un système qui échoue de façon sûre et visible.
- Supervision humaine (human in the loop)La supervision humaine désigne un point défini où une personne examine, approuve ou corrige le travail du système d'IA. Le transfert est conçu à l'avance pour des déclencheurs précis — seuils de valeur, faible confiance, tiers inconnus — plutôt que laissé au hasard.