Imagina que un manual de curso acaba de actualizarse. Cargas la versión nueva y la antigua en la base de conocimiento y preguntas a la IA: «¿Qué documentos hay que presentar en esta solicitud?». Enseguida enumera una lista y añade las fuentes.
Pero al abrir las fuentes aparece el problema: uno de los fragmentos procede del manual antiguo y otro solo describe el procedimiento de solicitud, sin enumerar todos los documentos. La respuesta parece completa, pero la evidencia no la respalda por completo.
La generación aumentada por recuperación, conocida habitualmente como RAG, incorpora materiales externos al proceso de respuesta de un modelo de lenguaje. El curso AI025 de EvoClass, «Sistemas RAG prácticos: de la base de conocimiento a la generación aumentada por recuperación», desarrolla este recorrido en cinco lecciones. Al curso le interesa precisamente cómo la información pasa del documento original a una respuesta verificable.
El primer punto de ruptura puede estar antes de que los materiales entren en el sistema
En la Lección 1: Fundamentos de RAG y construcción de bases de conocimiento, el curso distingue primero entre prompting, ajuste fino y RAG, e incorpora la limpieza de materiales, los metadatos y la gestión de versiones a la construcción de la base de conocimiento.
Este paso suele tomarse como una tarea preparatoria, pero en realidad determina qué se podrá verificar después. A qué versión pertenece un documento, a quién se aplica y desde cuándo rige una cláusula pueden influir en la respuesta. Si esa información se pierde durante la importación, por muy fluida que sea la fase de generación, será difícil recuperar una base fiable.
Volviendo a ese manual, conviene plantear primero una pregunta muy sencilla: ¿puede el sistema distinguir entre «este es un archivo nuevo» y «esta es una norma vigente en la actualidad»? La fecha de publicación y la fecha de aplicación no siempre coinciden.
Por eso, al construir una base de conocimiento no basta con almacenar el texto: también hay que conservar su identidad y sus condiciones de uso.
Fragmentar más fino no garantiza recuperar con más precisión
Un manual extenso suele tener que dividirse en fragmentos recuperables. Si se divide en trozos demasiado pequeños, puede conservarse el nombre de un material pero perderse el destinatario al que se aplica; si se divide en trozos demasiado grandes, la respuesta puede quedar sepultada entre contenido irrelevante.
La Lección 2: Fragmentación, embeddings e indexación sitúa la fragmentación entre la recuperación, el ordenamiento, el contexto y las citas. Los límites de un fragmento influyen a la vez en «si se puede encontrar» y en «si, una vez encontrado, se puede usar correctamente».
Por ejemplo, si la condición de excepción de una norma está en el párrafo siguiente y solo se conserva el primero, un requisito condicionado puede parecer aplicable a todos. Conviene detectar este tipo de problemas durante la organización de los materiales, sin esperar a que la respuesta final falle para rastrearlos.
El curso también distingue entre similitud semántica y utilidad para la respuesta. Que dos fragmentos traten el mismo tema no significa que ambos contengan la evidencia que el usuario necesita.
Tras encontrar materiales relevantes, todavía hay que filtrarlos
A veces el usuario pregunta por un concepto y otras veces indica un número exacto, el nombre de un producto o una cláusula concreta. Los dos tipos de pregunta imponen exigencias distintas a la recuperación.
En la Lección 3: Recuperación híbrida y reordenamiento, el curso analiza para qué sirve la coincidencia por palabras clave y para qué la recuperación semántica, e introduce además el reordenamiento.
Puede entenderse como dos selecciones: primero se recuperan todos los candidatos posiblemente útiles y después se decide qué fragmentos contienen realmente la información necesaria para responder. Fijarse solo en la puntuación de similitud suele ser insuficiente para esa segunda decisión.
Al revisar un sistema de preguntas y respuestas sobre un manual, conviene desglosar y registrar los fallos: ¿la cláusula vigente ni siquiera entró entre los candidatos, o entró pero quedó en una posición posterior? Son dos situaciones que requieren intervenir en etapas distintas. Solo conservando los resultados intermedios se puede convertir «respondió mal» en un problema localizable.
Tener fuentes no basta: hay que ver si las fuentes respaldan la conclusión
Las citas permiten al lector volver al material, pero la mera existencia de una cita no basta para considerar fiable una respuesta. Hay que seguir comprobando: si ese material está vigente, si corresponde a esa afirmación y si cubre las condiciones limitativas que contiene.
La Lección 4: Citas, vigencia y evaluación trata por separado la recuperación de evidencia y la fidelidad de la generación; la Lección 5: Del prototipo a producción, por su parte, extiende la atención a la latencia, el coste, el diagnóstico de fallos y el tratamiento de la evidencia insuficiente.
Una tarea de aprendizaje que vale la pena probar consiste en preparar varios tipos de preguntas sobre un mismo material: unas cuya respuesta aparece directamente en el texto, otras que requieren combinar información de varios lugares, otras que remiten a una versión antigua y otras que el material no responde en absoluto. Revisa una por una qué evidencia obtuvo el sistema y qué dijo a partir de ella.
Estas preguntas son sugerencias de estudio y no pruebas de sistema ya realizadas para este artículo. Nos recuerdan que el valor de una base de conocimiento debe comprobarse en diferencias reales de información, no juzgarse por unas pocas demostraciones que salieron bien.
Se puede empezar por la página del curso AI025 y seguir cada traspaso desde los materiales hasta la respuesta. La próxima vez que te enfrentes a una respuesta con fuentes citadas, vale la pena preguntar: estas fuentes, ¿qué afirmaciones concretas de la respuesta respaldan?
Este artículo se basa en los materiales actuales del curso de EvoClass; los enlaces de las lecciones apuntan a materiales en inglés. El ejemplo de preguntas y respuestas sobre el manual es un supuesto didáctico; no se afirma con ello la precisión, el rendimiento ni la capacidad de acceso a datos de un sistema ya desplegado. Los visitantes pueden consultar el contenido abierto actualmente; el acceso completo al aprendizaje depende de lo que indique la página.