Immagina che un manuale di corso sia appena stato aggiornato. Carichi in knowledge base sia la vecchia sia la nuova versione e chiedi all'AI: "Quali documenti servono per questa domanda?" L'AI elenca rapidamente una serie di voci, corredandole con le fonti.
Ma aprendo le fonti emerge un problema: un passaggio proviene dalla versione precedente del manuale, un altro si limita a illustrare la procedura di candidatura senza elencare tutti i documenti. La risposta sembra completa, ma le prove non la sostengono fino in fondo.
La generazione aumentata dal recupero, comunemente abbreviata RAG, introduce materiali esterni nel processo di risposta di un modello linguistico. AI025 "Sistemi RAG pratici: dalla knowledge base alla generazione aumentata dal recupero" di EvoClass sviluppa questo percorso in cinque lezioni. L'interesse del corso riguarda proprio come l'informazione passa dal documento originale a una risposta verificabile.
Il primo punto di rottura può nascondersi prima che i materiali entrino nel sistema
Nella Lezione 1: Fondamenti di RAG e costruzione della knowledge base il corso distingue innanzitutto prompt, fine-tuning e RAG, e include la pulizia dei materiali, i metadati e la gestione delle versioni nella costruzione della knowledge base.
Questo passaggio è facile da considerare una fase preparatoria, ma in realtà determina ciò che sarà poi possibile verificare. A quale versione appartiene un documento, a chi si applica, da quando entra in vigore una clausola: tutto questo può influire sulla risposta. Se tali informazioni si perdono al momento dell'importazione, per quanto fluida sia la fase di generazione, sarà difficile recuperare una base affidabile.
Tornando a quel manuale, si può partire da una domanda molto semplice: il sistema è in grado di distinguere "questo è un nuovo file" da "questa è una norma attualmente in vigore"? La data di pubblicazione e il periodo di applicabilità non coincidono sempre.
Perciò, costruendo una knowledge base, occorre considerare non solo la memorizzazione del testo, ma anche la conservazione della sua identità e delle condizioni d'uso.
Suddividere più finemente non significa necessariamente recuperare con maggiore precisione
Un manuale lungo spesso deve essere suddiviso in frammenti recuperabili. Frammenti troppo piccoli possono conservare il nome di un documento ma perdere i destinatari indicati in precedenza; frammenti troppo grandi rischiano di far annegare la risposta in contenuti irrilevanti.
La Lezione 2: Chunking, embedding e indicizzazione colloca il chunking tra recupero, ranking, contesto e citazioni. I confini dei frammenti influenzano al tempo stesso "se è possibile trovare" e "se, una volta trovato, è possibile usarlo correttamente".
Per esempio, se la condizione di eccezione di una norma si trova nel paragrafo successivo, conservare solo il primo paragrafo può far sembrare che un requisito condizionato si applichi a tutti. Vale la pena individuare questo tipo di problema già nella fase di organizzazione dei materiali, senza doverlo rincorrere solo quando la risposta finale è sbagliata.
Il corso distingue inoltre la similarità semantica dallo scopo della risposta. Che due testi trattino lo stesso argomento non significa che entrambi contengano la prova di cui l'utente ha bisogno.
Dopo aver trovato i materiali pertinenti, occorre ancora selezionarli
A volte gli utenti chiedono un concetto, altre volte citano un codice preciso, un nome di prodotto o una clausola. Le due tipologie di domanda richiedono al recupero cose diverse.
Nella Lezione 3: Ricerca ibrida e reranking il corso discute gli usi rispettivi della corrispondenza per parole chiave e della ricerca semantica, introducendo poi il reranking.
Lo si può intendere come una doppia selezione: prima si cerca di recuperare quanti più candidati potenzialmente utili, poi si stabilisce quali frammenti contengono davvero le informazioni necessarie per rispondere. Il solo punteggio di similarità spesso non basta per compiere la seconda valutazione.
Analizzando le domande e risposte sul manuale, si possono registrare gli errori separatamente: la clausola valida non è mai entrata tra i candidati, oppure vi è entrata ma è stata classificata in posizione arretrata? Questi due casi richiedono interventi su fasi diverse. Conservare i risultati intermedi è ciò che permette di trasformare un "ha risposto male" in un problema localizzabile.
Avere una fonte non basta: occorre verificare che la fonte sostenga la conclusione
Le citazioni offrono al lettore la possibilità di tornare ai materiali, ma non consentono di considerare affidabile una risposta solo perché contiene citazioni. Occorre continuare a verificare: questo materiale è valido, corrisponde a questa frase, copre le condizioni in esso contenute?
La Lezione 4: Citazioni, validità temporale e valutazione tratta separatamente il recupero delle prove e la fedeltà della generazione; la Lezione 5: Dal prototipo alla produzione estende poi l'attenzione a latenza, costi, diagnosi dei guasti e gestione dei casi in cui le prove sono insufficienti.
Un compito di apprendimento che vale la pena provare consiste nel preparare, intorno allo stesso materiale, diverse tipologie di domande: quelle a cui il testo risponde direttamente, quelle che richiedono di combinare più informazioni, quelle che riguardano versioni precedenti e quelle a cui il materiale non risponde affatto. Verificare una per una quali prove il sistema ha ottenuto e cosa ha affermato in base a esse.
Queste domande sono suggerimenti di studio e non test di sistema già completati in questo articolo. Ci ricordano che il valore di una knowledge base va verificato nelle reali differenze informative, e non giudicato solo in base a qualche dimostrazione andata bene.
Si può iniziare dalla pagina del corso AI025 e seguire ogni passaggio di consegne dai materiali alla risposta. La prossima volta che ci si trova davanti a una risposta corredata di fonti, vale la pena chiedersi: queste fonti sostengono davvero quali affermazioni della risposta?
Questo articolo è redatto sulla base dei materiali didattici attuali di EvoClass; i link alle lezioni rimandano ai materiali in inglese. Le domande e risposte sul manuale sono uno scenario didattico ipotetico; non si intende con ciò dichiarare tassi di accuratezza, prestazioni o capacità di accesso ai dati di sistemi già distribuiti. I visitatori possono consultare i contenuti attualmente disponibili; l'accesso completo ai corsi è soggetto a quanto indicato nella pagina.