Alucinacion
Definición
Una alucinacion es una respuesta de un modelo de lenguaje que suena convincente pero es falsa: una cifra, clausula o referencia inventada. Es una propiedad de la generacion estadistica de texto, por lo que los sistemas en produccion verifican las salidas contra los datos fuente en lugar de confiar en ellas.
La respuesta de ingenieria es la contencion: recuperar hechos de los sistemas de registro, forzar salida estructurada, validar los valores contra la base de datos y exigir citas para cualquier afirmacion.
Donde un valor erroneo saldria caro -pagos, contratos, declaraciones oficiales- se mantiene por diseño un paso de confirmacion humana en el flujo de trabajo.
En la práctica
- Se mitiga con recuperacion de informacion, reglas de validacion y salida estructurada
- Nunca se elimina por completo: los pasos criticos conservan la validacion humana
- Se registra cada salida para poder rastrear y corregir errores
Términos relacionados
- Generacion aumentada por recuperacion (RAG)La generacion aumentada por recuperacion es un metodo en el que primero se buscan los documentos relevantes de la empresa y los pasajes recuperados se entregan al modelo de lenguaje como contexto. El modelo responde a partir de esos pasajes, lo que hace que las respuestas sean actuales, trazables a su fuente y auditables.
- Barreras de seguridad (guardrails)Las barreras de seguridad son los limites tecnicos que rodean a un sistema de IA: herramientas permitidas, rangos de valores, topes de gasto y volumen, acciones prohibidas y aprobaciones obligatorias. Convierten un modelo impredecible en un sistema que falla de forma segura y visible.
- Supervision humana (human in the loop)Supervision humana significa un punto definido en el que una persona revisa, aprueba o corrige el trabajo del sistema de IA. El traspaso se diseña de antemano para disparadores concretos -umbrales de valor, baja confianza, contrapartes desconocidas- en lugar de dejarlo al azar.