Hãy hình dung một cuốn cẩm nang khóa học vừa được cập nhật. Bạn đưa cả bản cũ và bản mới vào cơ sở tri thức, rồi hỏi AI: "Lần đăng ký này cần nộp những tài liệu nào?" Nó nhanh chóng liệt kê một danh sách, kèm theo nguồn trích dẫn.
Nhưng khi bấm vào nguồn, vấn đề xuất hiện: một đoạn lấy từ cẩm nang bản cũ, một đoạn khác chỉ giới thiệu quy trình đăng ký mà không liệt kê đầy đủ tài liệu. Câu trả lời trông có vẻ đầy đủ, nhưng bằng chứng lại không chống đỡ trọn vẹn cho nó.
Retrieval-Augmented Generation, thường gọi tắt là RAG, đưa tài liệu bên ngoài vào quá trình trả lời của mô hình ngôn ngữ. Khóa AI025 "Hệ thống RAG thực dụng: Từ cơ sở tri thức đến sinh tăng cường truy xuất" của EvoClass triển khai con đường này qua năm bài học. Điều khóa học quan tâm chính là cách thông tin đi từ tài liệu gốc đến một câu trả lời có thể kiểm chứng.
Điểm đứt gãy đầu tiên có thể nằm trước khi tài liệu vào hệ thống
Trong Bài 1: Nền tảng RAG và xây dựng cơ sở tri thức, khóa học trước tiên phân biệt prompt, fine-tuning và RAG, đồng thời đưa việc làm sạch tài liệu, siêu dữ liệu và quản lý phiên bản vào quá trình xây dựng cơ sở tri thức.
Bước này dễ bị coi là khâu chuẩn bị, nhưng thực tế nó quyết định những gì có thể kiểm chứng về sau. Tài liệu thuộc phiên bản nào, áp dụng cho ai, điều khoản có hiệu lực từ khi nào — tất cả đều có thể ảnh hưởng đến câu trả lời. Nếu những thông tin này bị mất khi nhập dữ liệu, thì dù giai đoạn sinh câu trả lời trôi chảy đến đâu, cũng khó bù lại được căn cứ đáng tin cậy.
Quay lại cuốn cẩm nang kia, có thể bắt đầu bằng một câu hỏi rất giản dị: hệ thống có phân biệt được "đây là một tệp mới" với "đây là một quy định hiện đang có hiệu lực" hay không? Thời điểm công bố và thời gian áp dụng không phải lúc nào cũng là một.
Vì thế, khi xây dựng cơ sở tri thức, cần cân nhắc không chỉ việc lưu phần nội dung chính, mà còn giữ lại danh tính và điều kiện sử dụng của nó.
Chia nhỏ hơn chưa chắc đã tìm chính xác hơn
Một cuốn cẩm nang dài thường cần được tách thành những đoạn có thể truy xuất. Chia quá nhỏ có thể giữ lại tên tài liệu nhưng làm mất đối tượng áp dụng ở phần trước; chia quá lớn thì câu trả lời lại có thể bị nhấn chìm trong nội dung không liên quan.
Bài 2: Chia khối, nhúng và chỉ mục đặt việc chia khối trong mối quan hệ giữa truy hồi, xếp hạng, ngữ cảnh và trích dẫn. Ranh giới của mỗi đoạn sẽ đồng thời ảnh hưởng đến việc "có tìm được hay không" và "tìm được rồi có dùng đúng hay không".
Chẳng hạn, điều kiện ngoại lệ của một quy định được viết ở đoạn kế tiếp; nếu chỉ giữ lại đoạn đầu, một yêu cầu có điều kiện có thể trông như áp dụng cho tất cả mọi người. Những vấn đề kiểu này nên được phát hiện ngay ở giai đoạn sắp xếp tài liệu, thay vì đợi đến khi câu trả lời cuối cùng sai mới truy ngược tìm nguyên nhân.
Khóa học cũng phân biệt giữa sự tương đồng ngữ nghĩa và mục đích của câu trả lời. Hai đoạn văn cùng bàn về một chủ đề không có nghĩa là cả hai đều chứa bằng chứng mà người dùng cần.
Tìm được tài liệu liên quan vẫn cần sàng lọc
Người dùng có khi hỏi về một khái niệm, có khi nêu ra một mã số, tên sản phẩm hay điều khoản chính xác. Hai kiểu câu hỏi này đòi hỏi ở khâu truy xuất những yêu cầu không giống nhau.
Trong Bài 3: Truy xuất kết hợp và xếp hạng lại, khóa học bàn về công dụng riêng của khớp từ khóa và truy xuất ngữ nghĩa, rồi tiếp tục giới thiệu việc xếp hạng lại.
Có thể hiểu đây là hai lần lựa chọn: trước hết cố gắng thu hồi càng nhiều ứng viên có khả năng hữu ích càng tốt, sau đó phán đoán đoạn nào thực sự chứa thông tin cần thiết để trả lời. Chỉ nhìn vào điểm tương đồng thường không đủ để hoàn thành lần phán đoán thứ hai.
Khi kiểm tra phần hỏi đáp về cẩm nang, có thể tách riêng và ghi lại từng kiểu thất bại: điều khoản có hiệu lực hoàn toàn không lọt vào tập ứng viên, hay đã lọt vào nhưng bị xếp ở phía sau? Hai trường hợp này cần xử lý ở những khâu khác nhau. Chỉ khi giữ lại các kết quả trung gian, mới có cơ hội biến "trả lời sai" thành một vấn đề có thể định vị được.
Có nguồn trích dẫn vẫn phải xem nguồn có chống đỡ kết luận hay không
Trích dẫn cho người đọc cơ hội quay về với tài liệu, nhưng không thể chỉ dựa vào sự tồn tại của trích dẫn mà khẳng định câu trả lời đáng tin. Cần tiếp tục kiểm tra: đoạn tài liệu này có còn hiệu lực không, có tương ứng với câu nói này không, có bao gồm những điều kiện giới hạn trong đó không.
Bài 4: Trích dẫn, tính thời sự và đánh giá bàn riêng về việc truy hồi bằng chứng và mức độ trung thực của phần sinh câu trả lời; còn Bài 5: Từ nguyên mẫu đến môi trường sản xuất mở rộng sự chú ý sang độ trễ, chi phí, chẩn đoán sự cố và cách xử lý khi bằng chứng không đủ.
Một bài tập học tập đáng thử là chuẩn bị vài nhóm câu hỏi xoay quanh cùng một tài liệu: nhóm mà phần nội dung chính trả lời trực tiếp, nhóm cần kết hợp thông tin từ nhiều chỗ, nhóm liên quan đến phiên bản cũ, và nhóm mà tài liệu hoàn toàn không trả lời. Lần lượt kiểm tra xem hệ thống đã lấy được bằng chứng gì, và dựa trên bằng chứng đó đã nói ra điều gì.
Những câu hỏi này là gợi ý học tập, không phải bài kiểm tra hệ thống đã hoàn thành trong bài viết này. Chúng nhắc chúng ta rằng giá trị của cơ sở tri thức cần được kiểm nghiệm trong những khác biệt thông tin có thật, không thể chỉ dựa vào vài lần trình diễn suôn sẻ mà phán đoán.
Có thể bắt đầu từ trang khóa học AI025, đi theo từng lần bàn giao từ tài liệu đến câu trả lời. Lần tới, khi đối diện một câu trả lời có kèm nguồn trích dẫn, điều đáng hỏi lại là: những nguồn này rốt cuộc chống đỡ cho những câu nào trong câu trả lời?
Bài viết được biên soạn dựa trên tài liệu khóa học hiện tại của EvoClass; các liên kết bài học trỏ tới tài liệu tiếng Anh. Phần hỏi đáp về cẩm nang trong bài là tình huống giả định phục vụ giảng dạy; bài viết không dựa vào đó để tuyên bố về độ chính xác, hiệu năng hay khả năng truy cập dữ liệu của một hệ thống đã triển khai. Khách truy cập có thể xem nội dung đang mở; quyền học tập đầy đủ theo thông báo trên trang.