과정 안내서 한 부가 방금 갱신되었다고 상상해 보자. 신판과 구판을 모두 지식베이스에 넣고 AI에게 물었다. "이번 신청에는 어떤 서류를 제출해야 하나요?" AI는 곧바로 목록을 제시했고 출처도 함께 붙였다.
그런데 출처를 열어 보니 문제가 드러났다. 한 문단은 구판 안내서에서 온 것이고, 다른 문단은 신청 절차를 소개할 뿐 전체 서류를 나열하지는 않았다. 답변은 완결되어 보였지만, 근거는 그것을 온전히 뒷받침하지 못했다.
검색 증강 생성, 흔히 RAG라고 부르는 방식은 외부 자료를 언어 모델의 답변 과정에 끌어들인다. EvoClass의 AI025 《실용 RAG 시스템: 지식베이스에서 검색 증강 생성까지》는 다섯 개 차시로 이 경로를 펼쳐 보여 준다. 이 과정이 관심을 두는 것은 바로 정보가 원본 문서에서 검증 가능한 답변으로 넘어가는 방식이다.
첫 번째 단절점은 자료가 시스템에 들어오기 전에 숨어 있을 수 있다
Lesson 1: RAG와 지식베이스 구축 기초에서 과정은 먼저 프롬프트, 파인튜닝, RAG를 구분하고, 자료 정리와 메타데이터, 버전 관리를 지식베이스 구축에 포함시킨다.
이 단계는 준비 작업으로 여겨지기 쉽지만, 실제로는 이후에 무엇을 검증할 수 있는지를 결정한다. 문서가 어느 버전에 속하는지, 누구에게 적용되는지, 조항이 언제부터 효력을 갖는지는 모두 답변에 영향을 줄 수 있다. 이런 정보가 가져오기 단계에서 유실되면, 생성 단계가 아무리 매끄러워도 신뢰할 만한 근거를 되살리기는 어렵다.
그 안내서로 돌아가면 아주 소박한 질문을 먼저 던질 수 있다. 시스템은 "이것이 새 파일이다"와 "이것이 현재 유효한 규정이다"를 구분할 수 있는가? 게시 시점과 적용 시점이 항상 같은 것은 아니다.
따라서 지식베이스를 구축할 때 고려해야 할 것은 본문을 저장하는 일만이 아니라, 그 본문의 정체성과 사용 조건을 함께 보존하는 일이다.
더 잘게 나눈다고 해서 더 정확히 찾는 것은 아니다
긴 안내서는 흔히 검색 가능한 조각으로 나누어야 한다. 너무 작게 나누면 자료 이름은 남아도 앞부분의 적용 대상이 사라질 수 있고, 너무 크게 나누면 답변이 무관한 내용에 묻힐 수 있다.
Lesson 2: 청킹, 임베딩, 인덱싱은 청킹을 검색, 정렬, 맥락, 인용 사이에 놓고 논의한다. 조각의 경계는 "찾을 수 있는가"와 "찾은 뒤 올바르게 활용할 수 있는가"를 동시에 좌우한다.
예를 들어 어떤 규정의 예외 조건이 다음 문단에 적혀 있는데 첫 문단만 남긴다면, 조건부 요구 사항이 모든 사람에게 적용되는 것처럼 보일 수 있다. 이런 문제는 최종 답변이 틀린 뒤에 추적하기보다 자료 정리 단계에서 발견하는 편이 좋다.
과정은 또 의미적 유사성과 답변에서의 용도를 구분한다. 두 문장이 같은 주제를 다룬다고 해서 둘 다 사용자가 필요로 하는 근거를 담고 있는 것은 아니다.
관련 자료를 찾은 뒤에는 걸러 내는 과정이 필요하다
사용자는 때로 개념을 묻고, 때로는 정확한 번호나 제품명, 조항을 제시한다. 두 유형의 질문은 검색에 요구하는 바가 같지 않다.
Lesson 3: 하이브리드 검색과 재정렬에서 과정은 키워드 매칭과 의미 기반 검색이 각각 어떤 용도를 갖는지 논의하고, 나아가 재정렬을 도입한다.
이를 두 번의 선택으로 이해할 수 있다. 먼저 쓸모 있을 만한 후보를 최대한 되찾고, 그다음 어떤 조각이 실제로 질문에 답하는 데 필요한 정보를 담고 있는지 판단한다. 유사도 점수만 보아서는 두 번째 판단을 완수하기에 종종 부족하다.
안내서 질의응답을 점검할 때는 실패를 나누어 기록해 볼 수 있다. 유효한 조항이 후보에 아예 들어오지 않았는가, 아니면 후보에는 들어왔지만 뒤로 밀렸는가? 이 두 경우는 다루어야 할 단계가 다르다. 중간 결과를 남겨 두어야 "틀렸다"를 위치를 짚을 수 있는 문제로 바꿀 기회가 생긴다.
출처가 있다면, 그 출처가 결론을 뒷받침하는지도 보아야 한다
인용은 독자에게 자료로 돌아갈 기회를 주지만, 인용이 있다는 사실만으로 답변이 신뢰할 만하다고 단정할 수는 없다. 이어서 확인해야 한다. 이 자료는 유효한가, 이 문장에 대응하는가, 그 안의 한정 조건을 포괄하는가.
Lesson 4: 인용, 시효, 평가는 근거 회수와 생성 충실도를 각각 논의하고, Lesson 5: 프로토타입에서 프로덕션까지는 관심을 지연, 비용, 장애 진단, 근거가 부족할 때의 처리로 확장한다.
시도해 볼 만한 학습 과제는 같은 자료를 둘러싸고 몇 가지 유형의 질문을 준비하는 것이다. 본문이 답을 직접 제시하는 질문, 여러 곳의 정보를 결합해야 하는 질문, 구버전과 관련된 질문, 그리고 자료가 아예 답하지 못하는 질문이다. 시스템이 어떤 근거를 확보했고, 그 근거에 따라 무엇을 말했는지 하나씩 점검해 보자.
이 질문들은 학습 제안이며, 이 글에서 이미 수행한 시스템 테스트가 아니다. 이는 지식베이스의 가치가 실제 정보 격차 속에서 검증되어야 함을 일깨운다. 몇 번의 순조로운 시연만으로 판단해서는 안 된다.
AI025 과정 페이지에서 시작해 자료에서 답변으로 넘어가는 매交接을 따라가 볼 수 있다. 다음번에 출처가 붙은 답변을 마주하면, 물어야 할 것은 이것이다. 이 출처들은 답변中的哪些话를 뒷받침하는가?
이 글은 EvoClass의 현재 과정 자료를 바탕으로 정리했으며, 차시 링크는 영어 자료를 가리킨다. 본문의 안내서 질의응답은 교수 설계를 위한 가정이며, 이를 근거로 이미 배포된 시스템의 정확도, 성능, 데이터 접근 능력을 주장하지 않는다. 방문자는 현재 공개된 내용을 볼 수 있으며, 전체 학습 권한은 페이지 안내를 따른다.