Barreras de seguridad (guardrails)
Definición
Las barreras de seguridad son los limites tecnicos que rodean a un sistema de IA: herramientas permitidas, rangos de valores, topes de gasto y volumen, acciones prohibidas y aprobaciones obligatorias. Convierten un modelo impredecible en un sistema que falla de forma segura y visible.
Las barreras eficaces se aplican fuera del modelo -en el codigo, en la capa de integracion, en las restricciones de la base de datos- de modo que una salida del modelo convincente pero erronea no pueda causar daño.
Tambien hacen que la operacion sea auditable: cada accion bloqueada queda registrada, y cada umbral tiene un responsable que puede modificarlo de forma deliberada.
En la práctica
- Limites estrictos sobre importes, volumenes, destinatarios y acciones destructivas
- Se aplican en el codigo, no pidiendo al modelo que se comporte bien
- Cada bloqueo o anulacion queda registrado para su revision
Términos relacionados
- Gobernanza de la IALa gobernanza de la IA es el conjunto de reglas que define que sistemas de IA opera una empresa, sobre que datos, con que permisos, bajo la responsabilidad de quien y como se revisan los resultados. Hace que el uso de la IA sea auditable ante la direccion, los auditores y los reguladores.
- Supervision humana (human in the loop)Supervision humana significa un punto definido en el que una persona revisa, aprueba o corrige el trabajo del sistema de IA. El traspaso se diseña de antemano para disparadores concretos -umbrales de valor, baja confianza, contrapartes desconocidas- en lugar de dejarlo al azar.
- AlucinacionUna alucinacion es una respuesta de un modelo de lenguaje que suena convincente pero es falsa: una cifra, clausula o referencia inventada. Es una propiedad de la generacion estadistica de texto, por lo que los sistemas en produccion verifican las salidas contra los datos fuente en lugar de confiar en ellas.