Implementación técnica · Zoentia

CSV/CSA del
pipeline RAG

Validación completa del sistema informático (Computer System Validation / Computer Software Assurance) para cada componente del pipeline RAG — desde la ingestión de documentos hasta la generación de respuestas.

Art. 15 AI Act cl. 4 Anexo 11 §11.10(a) Part 11 GAMP 5

01 · Por qué

CSV vs CSA: el cambio que acepta la FDA

CSV clásico (test-heavy) no es el único camino. La FDA adoptó en 2022 la Computer Software Assurance (CSA): centrarse en el riesgo y la evidencia crítica en lugar de testear exhaustivamente. Zoentia aplica CSA para el pipeline RAG — más ágil, igualmente auditable, alineado con la guía FDA de septiembre 2022.

02 · Componentes validados

IQ / OQ / PQ por componente

Componente 1

Ingestión

Chunking, limpieza y extracción de metadatos. IQ: verificación de parsers. OQ: precisión de extracción ≥ 99,5%.

Componente 2

Embeddings

Modelo de embeddings + índice vectorial. OQ: similaridad coseno en test set de referencia. PQ: deriva en producción.

Componente 3

Retrieval

Azure AI Search + reranker. OQ: Recall@5 ≥ 0,85 en golden dataset. PQ: monitorización mensual.

Componente 4

Generación

LLM (Azure OpenAI / Claude). OQ: alucinación rate en benchmark interno. PQ: sampling continuo y revisión humana.

03 · Stack de validación

Herramientas del pipeline de validación

Azure AI Studio (Evaluations)

Suite nativa de evaluación de RAG: groundedness, relevance, coherence y F1. Genera evidencia de OQ exportable en formato regulatorio.

Microsoft Fabric (test datasets)

Golden dataset versionado en OneLake. Cada ejecución de validación queda registrada con el dataset exacto y los resultados para comparación futura.

LangChain + LangSmith

Trazas de cada ejecución de test. LangSmith permite comparar runs y detectar regresiones en recall o precisión tras cualquier cambio del pipeline.

Claude como juez de calidad

LLM-as-a-judge: Claude evalúa las respuestas del modelo contra criterios regulatorios. Las métricas de alucinación y fidelidad a la fuente quedan documentadas.

Azure OpenAI (model versioning)

Cada versión de deployment queda fijada. La plataforma detecta si Microsoft actualiza el modelo y dispara automáticamente una re-validación.

Azure DevOps (traceability)

Cada test case de validación linked a un requisito de usuario (URS). Trazabilidad bidireccional URS → test → resultado, exportable para auditoría.

04 · Entregables

Documentación exportable para auditoría

Documento	Contenido	Marco
VMP (Validation Master Plan)	Alcance, estrategia y responsables de la validación del pipeline	GAMP 5 / Anexo 11 cl. 4
URS + FS	Requisitos de usuario y funcionales del sistema RAG	GAMP 5 / Art. 15 AI Act
IQ Report	Verificación de instalación: infraestructura, versiones, configuración	Anexo 11 / §11.10(a)
OQ Report	Evidencia de métricas en golden dataset: recall, groundedness, alucinación	GAMP 5 / §11.10(a)
PQ Report	Rendimiento en producción real con muestreo y revisión periódica	Predicate rules / Art. 72
Traceability Matrix	Cruce URS → test → resultado → aprobación	Art. 15 / Anexo IV

← Volver a Trazabilidad ← Audit Trail RBAC + Cifrado →

CSV/CSA delpipeline RAG