Gestión de
cambios trazada
Re-validación automática al cambiar modelo, prompt de sistema o base de conocimiento. Versionado semántico del corpus RAG con diff auditable y trazabilidad completa de quién cambió qué y cuándo.
Por qué el cambio es el mayor riesgo en GxP
Del cambio a la re-validación
Solicitud de cambio (CR)
Cualquier cambio en modelo, prompt de sistema, corpus o configuración RAG genera un change_request_id en Azure DevOps con clasificación de riesgo (menor / mayor / urgente).
Impacto assessment automático
El pipeline compara la nueva versión contra el golden dataset y genera métricas de impacto: cambio en recall, groundedness y tasa de alucinación. Si el impacto supera los umbrales, bloquea el despliegue.
Diff semántico del corpus
Para cambios en la base de conocimiento, se genera un diff semántico: qué chunks se añadieron, modificaron o eliminaron, y cómo cambia la distribución de embeddings. Exportable en PDF para la carpeta de validación.
Aprobación y firma digital
El responsable de calidad aprueba el cambio con firma electrónica (Azure AD + MFA). La aprobación queda vinculada al change_request_id en el audit trail inmutable.
Despliegue y versionado semántico
El nuevo estado del sistema recibe un version_tag semántico (v2.3.1-corpus, v3.0.0-model). Cada versión queda inmutable en el registro. El rollback es instantáneo al activar cualquier versión anterior.
Herramientas de change control
Azure DevOps (Change Requests)
Gestión de change requests con flujo de aprobación configurable. Linked a los test runs de validación. Trazabilidad bidireccional cambio → evidencia.
LangSmith (regression testing)
Comparación automática de runs antes/después del cambio. Detecta regresiones en el comportamiento del modelo con el mismo golden dataset.
Azure AI Studio (evaluations)
Re-evaluación automática del pipeline completo tras cada cambio. Genera el OQ update report necesario para mantener el estado validado.
Claude (semantic diff)
Generación del análisis de impacto semántico: Claude compara las respuestas del sistema antes y después del cambio y redacta el impact assessment en lenguaje regulatorio.
Fabric (version registry)
Registro central de versiones del corpus RAG. Cada versión incluye el dataset de validación usado, las métricas y la identidad del aprobador.
Azure OpenAI (deployment pinning)
Los deployments en producción GxP usan versiones fijadas del modelo. Azure notifica con 60 días de antelación las deprecaciones — tiempo suficiente para planificar la re-validación.