Evaluación en sistemas LLM
- Un gate de evaluación en CI bloquea despliegues si la tasa de aciertos cae por debajo de un mínimo establecido (ej. 98%)
- La detección de drift compara métricas actuales con una línea base conocida como buena para capturar regresiones graduales
- La evaluación shadow muestrea un porcentaje de decisiones en producción (ej. 5%) para detectar problemas en casos reales
- Las métricas clave incluyen tasa de override humano, ratio de desacuerdo entre jueces y tasa de abstención
- Los casos de regresión nunca se eliminan y se añaden al conjunto golden para prevenir repetir errores
llm · evaluacion · ci cd · calidad · produccion