Imagine que um manual de curso acaba de ser atualizado. Você coloca as versões antiga e nova na base de conhecimento e pergunta à IA: "Quais documentos precisam ser enviados nesta candidatura?" Ela logo lista um conjunto de itens, com as fontes indicadas.
Mas, ao abrir as fontes, surge o problema: um dos trechos vem do manual antigo, e o outro apenas descreve o processo de candidatura, sem listar todos os documentos. A resposta parece completa, mas as evidências não a sustentam por inteiro.
A geração aumentada por recuperação, geralmente abreviada como RAG, traz materiais externos para o processo de resposta do modelo de linguagem. O curso AI025 da EvoClass, «Sistemas RAG na prática: da base de conhecimento à geração aumentada por recuperação», desenvolve esse caminho em cinco aulas. O que interessa ao curso é justamente como a informação vai do documento original até uma resposta que possa ser verificada.
O primeiro ponto de ruptura pode estar antes de o material entrar no sistema
Na Aula 1: Fundamentos de RAG e construção de bases de conhecimento, o curso começa distinguindo prompting, fine-tuning e RAG, e inclui a limpeza dos materiais, os metadados e a gestão de versões na construção da base de conhecimento.
Esse passo costuma ser tratado como preparação, mas na prática determina o que poderá ser verificado depois. A que versão pertence o documento, a quem se aplica, a partir de quando a cláusula entra em vigor: tudo isso pode afetar a resposta. Se essas informações se perdem na importação, por mais fluida que seja a etapa de geração, será difícil recuperar uma base confiável.
Voltando àquele manual, vale começar com uma pergunta bem simples: o sistema consegue distinguir "este é um arquivo novo" de "esta é uma norma atualmente vigente"? Data de publicação e data de vigência nem sempre são a mesma coisa.
Por isso, ao construir uma base de conhecimento, é preciso considerar não apenas armazenar o texto, mas também preservar sua identidade e suas condições de uso.
Dividir mais não significa recuperar com mais precisão
Um manual longo geralmente precisa ser dividido em trechos recuperáveis. Se a divisão for pequena demais, pode manter o nome do material e perder o público a que ele se aplica; se for grande demais, a resposta pode se perder em conteúdo irrelevante.
A Aula 2: Chunking, embeddings e indexação discute o chunking entre a recuperação, a ordenação, o contexto e a citação. Os limites dos trechos afetam ao mesmo tempo "se é possível encontrar" e "se, depois de encontrado, é possível usar corretamente".
Por exemplo, se a condição de exceção de uma regra está no parágrafo seguinte e apenas o primeiro parágrafo é mantido, uma exigência condicional pode parecer aplicável a todos. Vale a pena identificar esse tipo de problema na fase de organização dos materiais, em vez de investigá-lo só quando a resposta final sai errada.
O curso também separa a similaridade semântica do uso da resposta. Dois trechos tratarem do mesmo tema não significa que ambos contenham a evidência específica de que o usuário precisa.
Depois de encontrar materiais relevantes, ainda é preciso filtrar
Às vezes o usuário pergunta sobre um conceito; outras vezes cita um número exato, um nome de produto ou uma cláusula. Os dois tipos de pergunta exigem coisas diferentes da recuperação.
Na Aula 3: Recuperação híbrida e reordenação, o curso discute os usos respectivos da correspondência por palavras-chave e da recuperação semântica, e em seguida introduz a reordenação.
É possível entendê-la como duas escolhas: primeiro, recuperar o máximo possível de candidatos potencialmente úteis; depois, julgar quais trechos realmente contêm a informação necessária para responder. Olhar apenas para a pontuação de similaridade costuma não bastar para a segunda decisão.
Ao verificar as perguntas e respostas sobre o manual, vale registrar as falhas separadamente: a cláusula válida nem chegou a entrar nos candidatos, ou entrou e ficou mal posicionada? Esses dois casos exigem tratamento em etapas diferentes. Só preservando os resultados intermediários é que "respondeu errado" pode se tornar um problema localizável.
Ter fonte não basta: é preciso ver se a fonte sustenta a conclusão
A citação dá ao leitor a chance de voltar ao material, mas não se pode considerar a resposta confiável apenas pela existência da citação. É preciso continuar verificando: este material está vigente, corresponde a esta frase, cobre as condições nela presentes?
A Aula 4: Citação, vigência e avaliação discute separadamente a recuperação de evidências e a fidelidade da geração; a Aula 5: Do protótipo à produção, por sua vez, estende o foco para latência, custo, diagnóstico de falhas e o tratamento de casos com evidências insuficientes.
Uma tarefa de estudo que vale a pena experimentar é preparar vários tipos de pergunta em torno de um mesmo material: as que têm resposta direta no texto, as que exigem combinar informações de vários pontos, as que envolvem uma versão antiga e as que o material simplesmente não responde. Verifique, uma a uma, quais evidências o sistema obteve e o que ele afirmou com base nelas.
Essas perguntas são sugestões de estudo, não testes de sistema já realizados neste artigo. Elas lembram que o valor de uma base de conhecimento precisa ser verificado nas diferenças reais de informação, e não julgado apenas por algumas demonstrações bem-sucedidas.
É possível começar pela página do curso AI025 e acompanhar cada passagem dos materiais até a resposta. Da próxima vez que você estiver diante de uma resposta com fontes citadas, vale perguntar: afinal, o que essas fontes sustentam das afirmações feitas na resposta?
Este artigo foi elaborado com base nos materiais atuais do curso da EvoClass; os links das aulas apontam para materiais em inglês. O exemplo de perguntas e respostas sobre o manual é um cenário didático; não se afirma, com base nele, precisão, desempenho ou capacidade de acesso a dados de um sistema já implantado. Visitantes podem ver o conteúdo atualmente aberto; o acesso completo ao aprendizado depende das indicações da página.