ลองจินตนาการว่าคู่มือหลักสูตรเพิ่งได้รับการอัปเดต คุณนำทั้งฉบับเก่าและฉบับใหม่ใส่เข้าไปในฐานความรู้ แล้วถาม AI ว่า "การสมัครครั้งนี้ต้องยื่นเอกสารอะไรบ้าง" มันจัดทำรายการให้อย่างรวดเร็ว พร้อมแนบแหล่งอ้างอิงมาด้วย
แต่เมื่อคลิกลิงก์แหล่งอ้างอิง ปัญหาก็ปรากฏขึ้น ข้อความหนึ่งมาจากคู่มือฉบับเก่า อีกข้อความหนึ่งเป็นเพียงคำอธิบายขั้นตอนการสมัคร ซึ่งไม่ได้ระบุเอกสารทั้งหมด คำตอบดูครบถ้วน แต่หลักฐานกลับไม่ได้สนับสนุนคำตอบนั้นอย่างครบถ้วน
การสร้างคำตอบแบบเสริมด้วยการค้นคืน หรือที่มักเรียกสั้น ๆ ว่า RAG (Retrieval-Augmented Generation) คือการนำข้อมูลภายนอกเข้ามาไว้ในกระบวนการตอบคำถามของโมเดลภาษา AI025《ระบบ RAG ที่ใช้ได้จริง: จากฐานความรู้สู่การสร้างคำตอบแบบเสริมด้วยการค้นคืน》ของ EvoClass ขยายเส้นทางนี้ผ่านห้าบทเรียน สิ่งที่คอร์สให้ความสำคัญก็คือ ข้อมูลเดินทางจากเอกสารต้นฉบับไปสู่คำตอบที่ตรวจสอบได้อย่างไร
จุดขาดตอนแรกอาจซ่อนอยู่ก่อนที่ข้อมูลจะเข้าสู่ระบบ
ใน Lesson 1: พื้นฐาน RAG และการสร้างฐานความรู้ คอร์สเริ่มต้นด้วยการแยกความแตกต่างระหว่างพรอมป์ต์ การปรับแต่งโมเดล และ RAG พร้อมทั้งรวมการทำความสะอาดข้อมูล เมทาดาทา และการจัดการเวอร์ชันเข้าไว้ในการสร้างฐานความรู้
ขั้นตอนนี้อาจดูเหมือนเป็นงานเตรียมการ แต่แท้จริงแล้วมันเป็นตัวกำหนดว่าเราจะตรวจสอบอะไรได้ในภายหลัง เอกสารนี้เป็นเวอร์ชันใด ใช้กับใคร ข้อกำหนดมีผลบังคับใช้ตั้งแต่เมื่อใด ทั้งหมดนี้อาจส่งผลต่อคำตอบ หากข้อมูลเหล่านี้สูญหายไปตอนนำเข้า ต่อให้ขั้นตอนการสร้างคำตอบจะลื่นไหลเพียงใด ก็ยากที่จะเติมหลักฐานที่น่าเชื่อถือกลับคืนมา
ย้อนกลับไปที่คู่มือฉบับนั้น เราอาจเริ่มจากคำถามง่าย ๆ ก่อนว่า ระบบสามารถแยกได้หรือไม่ว่า "นี่คือไฟล์ใหม่" กับ "นี่คือข้อกำหนดที่ยังมีผลบังคับใช้อยู่ในปัจจุบัน" นั้นต่างกัน เวลาที่เผยแพร่กับเวลาที่บังคับใช้ไม่ได้เป็นสิ่งเดียวกันเสมอไป
ดังนั้นในการสร้างฐานความรู้ สิ่งที่ต้องคำนึงถึงจึงไม่ใช่เพียงการเก็บเนื้อหาหลักเข้าไป แต่รวมถึงการรักษาตัวตนและเงื่อนไขการใช้งานของเนื้อหานั้นด้วย
แบ่งละเอียดขึ้นไม่ได้แปลว่าค้นหาแม่นขึ้นเสมอไป
คู่มือเล่มหนามักต้องถูกแบ่งเป็นส่วนย่อยที่สามารถค้นคืนได้ หากแบ่งเล็กเกินไป อาจเหลือไว้แต่ชื่อเอกสารแต่สูญเสียกลุ่มเป้าหมายที่ระบุไว้ข้างหน้าไป หากแบ่งใหญ่เกินไป คำตอบก็อาจจมอยู่ท่ามกลางเนื้อหาที่ไม่เกี่ยวข้อง
Lesson 2: การแบ่งส่วน การฝังเวกเตอร์ และการทำดัชนี วางการแบ่งส่วนไว้ในบริบทของกระบวนการค้นคืน การจัดอันดับ บริบท และการอ้างอิง ขอบเขตของแต่ละส่วนย่อยส่งผลทั้งต่อ "จะหาเจอหรือไม่" และ "เมื่อหาเจอแล้วจะใช้งานได้ถูกต้องหรือไม่" ไปพร้อมกัน
ตัวอย่างเช่น หากเงื่อนไขข้อยกเว้นของข้อกำหนดหนึ่งเขียนไว้ในย่อหน้าถัดไป การเก็บไว้เพียงย่อหน้าแรกอาจทำให้ข้อกำหนดที่มีเงื่อนไขดูเหมือนใช้บังคับกับทุกคน ปัญหาลักษณะนี้ควรได้รับการค้นพบตั้งแต่ขั้นตอนจัดเตรียมข้อมูล ไม่จำเป็นต้องรอให้คำตอบสุดท้ายผิดพลาดเสียก่อนจึงค่อยสืบสาวกลับ
คอร์สยังแยกความคล้ายคลึงเชิงความหมายออกจากวัตถุประสงค์ของคำตอบด้วย การที่ข้อความสองท่อนพูดถึงหัวข้อเดียวกันไม่ได้หมายความว่าทั้งคู่มีหลักฐานชิ้นที่ผู้ใช้ต้องการ
เมื่อค้นพบข้อมูลที่เกี่ยวข้องแล้ว ยังต้องกลั่นกรองอีกขั้น
บางครั้งผู้ใช้ถามถึงแนวคิดหนึ่ง บางครั้งผู้ใช้ระบุหมายเลข ชื่อผลิตภัณฑ์ หรือข้อกำหนดที่เจาะจง คำถามสองประเภทนี้มีข้อกำหนดต่อการค้นคืนที่แตกต่างกัน
ใน Lesson 3: การค้นคืนแบบผสมและการจัดอันดับใหม่ คอร์สอภิปรายการใช้งานของการจับคู่คำสำคัญและการค้นคืนเชิงความหมายตามลำดับ พร้อมทั้งนำการจัดอันดับใหม่เข้ามาเพิ่มเติม
อาจเข้าใจได้ว่าเป็นการเลือกสองครั้ง ครั้งแรกคือพยายามค้นคืนผู้สมัครที่อาจมีประโยชน์ให้ได้มากที่สุด ครั้งที่สองคือตัดสินว่าส่วนย่อยใดมีข้อมูลที่จำเป็นต่อการตอบคำถามจริง การดูเพียงคะแนนความคล้ายคลึงมักไม่เพียงพอต่อการตัดสินครั้งที่สอง
เมื่อตรวจสอบระบบถามตอบจากคู่มือ เราอาจแยกบันทึกความล้มเหลวออกเป็นกรณี ๆ ว่า ข้อกำหนดที่มีผลบังคับใช้ไม่เคยเข้าสู่รายการผู้สมัครเลย หรือเข้าสู่รายการแล้วแต่กลับถูกจัดอันดับไว้ด้านหลัง สองกรณีนี้ต้องจัดการในขั้นตอนที่แตกต่างกัน การเก็บผลลัพธ์ระหว่างทางไว้จึงจะทำให้ "ตอบผิด" กลายเป็นปัญหาที่ระบุตำแหน่งได้
มีแหล่งอ้างอิงแล้ว ยังต้องดูว่าแหล่งอ้างอิงนั้นสนับสนุนข้อสรุปหรือไม่
การอ้างอิงเปิดโอกาสให้ผู้อ่านกลับไปยังต้นทางของข้อมูล แต่ไม่สามารถยืนยันได้ว่าคำตอบน่าเชื่อถือเพียงเพราะมีการอ้างอิงอยู่ สิ่งที่ต้องตรวจต่อคือ ข้อมูลชิ้นนี้ยังมีผลบังคับใช้หรือไม่ ตรงกับประโยคนี้หรือไม่ และครอบคลุมเงื่อนไขจำกัดที่ระบุไว้หรือไม่
Lesson 4: การอ้างอิง ความเป็นปัจจุบัน และการประเมิน อภิปรายการค้นคืนหลักฐานและความซื่อตรงของการสร้างคำตอบแยกจากกัน ส่วน Lesson 5: จากต้นแบบสู่การใช้งานจริง ขยายประเด็นไปสู่ความหน่วง ต้นทุน การวินิจฉัยข้อขัดข้อง และการรับมือเมื่อหลักฐานไม่เพียงพอ
ภารกิจการเรียนรู้หนึ่งที่น่าลองคือการเตรียมคำถามหลายประเภทโดยอิงจากเอกสารเดียวกัน ได้แก่ คำถามที่เนื้อหาหลักให้คำตอบโดยตรง คำถามที่ต้องผสานข้อมูลจากหลายจุด คำถามที่เกี่ยวข้องกับเวอร์ชันเก่า และคำถามที่เอกสารไม่ได้ตอบไว้เลย จากนั้นตรวจสอบทีละข้อว่าระบบได้รับหลักฐานอะไรมาบ้าง และกล่าวอ้างสิ่งใดโดยอิงจากหลักฐานนั้น
คำถามเหล่านี้เป็นข้อเสนอแนะเพื่อการเรียนรู้ ไม่ใช่การทดสอบระบบที่บทความนี้ได้ดำเนินการเสร็จสิ้นแล้ว คำถามเหล่านี้เตือนเราว่า คุณค่าของฐานความรู้ต้องได้รับการตรวจสอบท่ามกลางความแตกต่างของข้อมูลจริง ไม่สามารถตัดสินได้จากเพียงการสาธิตที่ราบรื่นไม่กี่ครั้ง
สามารถเริ่มต้นได้จาก หน้าเว็บคอร์ส AI025 แล้วไล่ดูการส่งต่อข้อมูลในแต่ละช่วงตั้งแต่ต้นทางจนถึงคำตอบ ครั้งหน้าที่ต้องเผชิญกับคำตอบที่มีแหล่งอ้างอิงกำกับ สิ่งที่ควรถามต่อคือ แหล่งอ้างอิงเหล่านี้สนับสนุนประโยคใดในคำตอบบ้าง
บทความนี้เรียบเรียงจากสื่อการสอนปัจจุบันของ EvoClass โดยลิงก์บทเรียนชี้ไปยังสื่อการสอนภาษาอังกฤษ ตัวอย่างถามตอบจากคู่มือในบทความเป็นเพียงสถานการณ์สมมติเพื่อการสอน บทความนี้ไม่ได้กล่าวอ้างถึงความแม่นยำ ประสิทธิภาพ หรือความสามารถในการเข้าถึงข้อมูลของระบบที่ติดตั้งใช้งานแล้ว ผู้เยี่ยมชมสามารถดูเนื้อหาที่เปิดให้เข้าถึงในปัจจุบัน ส่วนสิทธิ์การเรียนรู้แบบเต็มเป็นไปตามที่ระบุไว้ในหน้าเว็บ