Imaginez qu'un manuel de cours vienne d'être mis à jour. Vous placez l'ancienne et la nouvelle version dans la base de connaissances et demandez à l'IA : « Quels documents faut-il fournir pour cette candidature ? » Elle dresse rapidement une liste, sources à l'appui.
Mais en ouvrant les sources, le problème apparaît : un passage provient de l'ancienne version du manuel, et un autre ne fait que présenter la procédure de candidature sans énumérer tous les documents. La réponse semble complète, mais les preuves ne la soutiennent pas entièrement.
La génération augmentée par récupération, souvent abrégée RAG, introduit des ressources externes dans le processus de réponse d'un modèle de langage. Le cours AI025 d'EvoClass, « Systèmes RAG pratiques : de la base de connaissances à la génération augmentée par récupération », déploie ce parcours en cinq leçons. Ce qui intéresse le cours, c'est précisément la manière dont l'information passe du document brut à une réponse vérifiable.
Le premier point de rupture se cache peut-être avant l'entrée des documents dans le système
Dans la Lesson 1 : bases de la construction d'un RAG et d'une base de connaissances, le cours commence par distinguer le prompt, le fine-tuning et le RAG, et intègre le nettoyage des documents, les métadonnées et la gestion des versions dans la construction de la base de connaissances.
Cette étape est facilement considérée comme une simple préparation, alors qu'elle détermine en réalité ce qui pourra être vérifié par la suite. À quelle version appartient un document, à qui s'applique-t-il, à partir de quand une clause prend-elle effet : tout cela peut influencer la réponse. Si ces informations se perdent à l'importation, la fluidité de la génération ne suffira pas à reconstituer des fondements fiables.
Revenons à ce manuel : on peut d'abord poser une question très simple. Le système peut-il faire la distinction entre « ceci est un nouveau fichier » et « ceci est une règle actuellement en vigueur » ? La date de publication et la période d'application ne coïncident pas toujours.
Lors de la construction d'une base de connaissances, il ne s'agit donc pas seulement de stocker le corps du texte, mais aussi de préserver son identité et ses conditions d'utilisation.
Découper plus finement ne signifie pas retrouver plus précisément
Un long manuel doit souvent être divisé en fragments consultables. Découpé trop finement, il peut conserver le nom d'un document mais perdre le public auquel il s'applique mentionné plus haut ; découpé trop largement, la réponse risque d'être noyée dans des contenus sans rapport.
La Lesson 2 : segmentation, embeddings et indexation aborde la segmentation entre rappel, classement, contexte et citation. Les frontières des fragments influencent à la fois la capacité à retrouver l'information et la capacité à l'utiliser correctement une fois trouvée.
Par exemple, si la condition d'exception d'une règle figure dans le paragraphe suivant et que seul le premier paragraphe est conservé, une exigence conditionnelle peut sembler s'appliquer à tous. Ce type de problème mérite d'être repéré au stade de l'organisation des documents, plutôt que d'être recherché seulement après qu'une réponse finale s'est révélée erronée.
Le cours distingue également la similarité sémantique de l'usage final de la réponse. Deux passages qui traitent du même sujet n'impliquent pas qu'ils contiennent tous deux l'élément de preuve dont l'utilisateur a besoin.
Après avoir trouvé les documents pertinents, il faut encore filtrer
L'utilisateur pose parfois une question sur un concept, parfois il cite un identifiant précis, un nom de produit ou une clause. Ces deux types de questions n'imposent pas les mêmes exigences à la recherche.
Dans la Lesson 3 : recherche hybride et reranking, le cours examine les usages respectifs de la correspondance par mots-clés et de la recherche sémantique, puis introduit le reranking.
On peut le comprendre comme deux choix successifs : d'abord récupérer autant que possible des candidats potentiellement utiles, puis déterminer quels fragments contiennent réellement l'information nécessaire pour répondre. Un simple score de similarité ne suffit souvent pas pour cette seconde évaluation.
Pour auditer un système de questions-réponses sur un manuel, il est utile de décomposer les échecs : la clause valide n'a-t-elle jamais figuré parmi les candidats, ou y figurait-elle mais a-t-elle été classée trop bas ? Ces deux cas nécessitent d'intervenir à des étapes différentes. Conserver les résultats intermédiaires permet de transformer un « la réponse est fausse » en un problème localisable.
Avoir des sources ne suffit pas : encore faut-il qu'elles soutiennent la conclusion
La citation donne au lecteur la possibilité de revenir aux documents, mais la seule présence d'une citation ne suffit pas à établir la fiabilité d'une réponse. Il faut encore vérifier : ce document est-il en vigueur, correspond-il à cette phrase, couvre-t-il les conditions restrictives qu'elle comporte ?
La Lesson 4 : citation, actualité et évaluation traite séparément le rappel des preuves et la fidélité de la génération ; la Lesson 5 : du prototype à la production étend quant à elle la réflexion à la latence, au coût, au diagnostic des pannes et à la gestion des cas de preuves insuffisantes.
Une tâche d'apprentissage intéressante consiste à préparer, autour d'un même document, plusieurs types de questions : celles dont la réponse est directement donnée dans le texte, celles qui exigent de combiner plusieurs informations, celles qui concernent une ancienne version, et celles auxquelles le document ne répond pas du tout. Il s'agit ensuite de vérifier, une par une, quelles preuves le système a obtenues et ce qu'il a affirmé sur cette base.
Ces questions sont des suggestions d'apprentissage, et non des tests système déjà réalisés dans cet article. Elles rappellent que la valeur d'une base de connaissances doit être éprouvée face à de véritables écarts d'information, et non jugée sur quelques démonstrations réussies.
On peut commencer par la page du cours AI025 et suivre chaque passage de relais entre documents et réponse. La prochaine fois qu'une réponse s'accompagne de sources, la question à poser est celle-ci : que soutiennent réellement ces sources dans ce qui a été affirmé ?
Cet article s'appuie sur les supports de cours actuels d'EvoClass ; les liens des leçons renvoient à des contenus en anglais. L'exemple de questions-réponses sur le manuel est un scénario pédagogique ; aucune affirmation n'est faite ici sur la précision, les performances ou les capacités d'accès aux données d'un système déployé. Les visiteurs peuvent consulter le contenu actuellement ouvert ; l'accès complet à l'apprentissage dépend des indications affichées sur la page.