WU | การเพิ่มประสิทธิภาพที่ชาญฉลาด
หลักสูตรขั้นสูงที่ครอบคลุมทฤษฎีและการประยุกต์ใช้เทคนิคการเพิ่มประสิทธิภาพอย่างชาญฉลาด ตั้งแต่วิธีการเชิงอนุพันธ์แบบดั้งเดิมไปจนถึงเมตาฮีวิสติกสมัยใหม่ การเพิ่มประสิทธิภาพหลายเป้าหมาย โมเดลที่อาศัยการประมาณผล และการประยุกต์ใช้การเรียนรู้ของเครื่องแบบเฟเดอเรต
บทเรียน
Lesson
ภาพรวมคอร์สเรียน
📚 สรุปเนื้อหา
หลักสูตรขั้นสูงที่สำรวจจุดตัดระหว่างการเพิ่มประสิทธิภาพเชิงคณิตศาสตร์คลาสสิก การคำนวณทางพันธุกรรม และการเรียนรู้ของเครื่องในยุคปัจจุบัน ครอบคลุมหัวข้อทั้งด้านการเพิ่มประสิทธิภาพแบบเดี่ยวและหลายเป้าหมาย กลยุทธ์ที่อิงจากข้อมูล และหัวข้อขั้นสูง เช่น การค้นหาสถาปัตยกรรมของเครือข่ายประสาทเทียมและการเรียนรู้แบบรวมศูนย์
ควบคุมการพัฒนาของความฉลาดผ่านการเพิ่มประสิทธิภาพที่อิงข้อมูลและหลายเป้าหมายขั้นสูง
🎯 เป้าหมายการเรียนรู้
- [นำไปใช้เทคนิคการเพิ่มประสิทธิภาพขั้นสูงกับปัญหาคณิตศาสตร์ที่ซับซ้อนและอิงข้อมูล]
- [ออกแบบและประเมินสถาปัตยกรรมที่ใช้การเลือกสรรทางพันธุกรรมและเครื่องเรียนรู้สำหรับสถานการณ์ที่มีหลายเป้าหมาย]
🔹 บทที่ 1: พื้นฐานของการเพิ่มประสิทธิภาพ
บทนำ: บทนี้ให้การแนะนำอย่างละเอียดเกี่ยวกับโครงสร้างพื้นฐานทางคณิตศาสตร์ของการเพิ่มประสิทธิภาพ ตั้งแต่วิธีการแบบอนุพันธ์คลาสสิก ไปจนถึงกลยุทธ์ที่ได้แรงบันดาลใจจากชีววิทยา บทนี้กำหนดนิยามอย่างเข้มงวดเกี่ยวกับตัวแปรตัดสินใจ ฟังก์ชันเป้าหมาย และข้อจำกัด พร้อมทั้งศึกษาประเภทของปัญหาการเพิ่มประสิทธิภาพ วัสดุจะเปลี่ยนจากวิธีการค้นหาเฉพาะจุด เช่น วิธีนิวตัน-ราฟสันและกราเดียนต์ดิสเซนต์ ไปสู่หลักการของวิวัฒนาการตามธรรมชาติและกลไกของอัลกอริธึมพันธุกรรม
ผลลัพธ์การเรียนรู้:
- นิยามและจำแนกปัญหาการเพิ่มประสิทธิภาพ: แยกแยะระหว่างการเพิ่มประสิทธิภาพแบบต่อเนื่อง แบบไม่ต่อเนื่อง แบบคอมบิเนเตอร์ และแบบเวกเตอร์เวกเตอร์ตามคุณสมบัติทางคณิตศาสตร์และข้อจำกัด
- ดำเนินการวิธีการแบบอนุพันธ์คลาสสิก: ใช้เทคนิควิธีนิวตัน-ราฟสันและกราเดียนต์ดิสเซนต์ (รวมถึงรูปแบบต่าง ๆ เช่น RPROP และโมเมนตัม) เพื่อหาจุดต่ำสุดท้องถิ่นของฟังก์ชันที่สามารถหาอนุพันธ์ได้
- แปลงแนวคิดการวิวัฒนาการทางชีวภาพเป็นตรรกะทางคอมพิวเตอร์: อธิบายความสัมพันธ์ระหว่างจีโนไทป์/เฟโนไทป์ การเลือกธรรมชาติ และโครงสร้างของอัลกอริธึมพันธุกรรม (EAs)
- จัดการกับปัญหาเชิงอัลกอริธึม: ระบุและบรรเทาปัญหาทั่วไปในการเพิ่มประสิทธิภาพ เช่น "ปัญหาแฮมมิงคลิฟ" ในรหัสไบนารี ปัญหา "การหายไปของอนุพันธ์" และต้นทุนการคำนวณการสลับเมทริกซ์ฮีสเซียน
🔹 บทที่ 2: อัลกอริธึมพันธุกรรม: การเข้ารหัส การเลือก และปฏิสัมพันธ์ทางพันธุกรรม
บทนำ: บทนี้ครอบคลุมกลไกพื้นฐานของอัลกอริธึมพันธุกรรมแบบมาตรฐาน (Canonical) และอัลกอริธึมพันธุกรรมแบบเลขจริง (RCGA) ศึกษาแนวทางการแทนค่าตัวแปร เช่น การเข้ารหัสไบนารี แก๊ร์ย และเลขจริง พร้อมกลไกการสืบพันธุ์ เช่น การตัดกันและการกลายพันธุ์ วัสดุยังแนะนำเทคนิคการแก้ปัญหาที่ซับซ้อนสำหรับการเพิ่มประสิทธิภาพเชิงคอมบิเนเตอร์ และการจัดการข้อจำกัดโดยใช้ฟังก์ชันลงโทษและวิธีการซ่อมแซม
ผลลัพธ์การเรียนรู้:
- วิเคราะห์รูปแบบการแทนค่าต่าง ๆ (การเข้ารหัสไบนารีเทียบกับการเข้ารหัสแก๊ร์ย) และผลกระทบต่อการค้นหาอย่างต่อเนื่องและ "ปัญหาแฮมมิงคลิฟ"
- คำนวณความน่าจะเป็นในการเลือก และถอดรหัสสายไบนารีให้กลายเป็นตัวแปรตัดสินใจแบบจำนวนเต็มหรือจำนวนจริง
- แยกแยะตัวดำเนินการตัดกันที่แตกต่างกันสำหรับอัลกอริธึมพันธุกรรมทั้งแบบไบนารี (แบบจุดน้ำหนักหลายจุด แบบสม่ำเสมอ) และแบบเลขจริง (BLX, SBX, แบบเส้นตรง)
- วางกลยุทธ์การจัดการข้อจำกัดและการเพิ่มประสิทธิภาพเชิงคอมบิเนเตอร์ในปัญหาที่อยู่ในระดับ NP-hard เช่น ปัญหาการเดินทางของพ่อค้า (TSP)
🔹 บทที่ 3: กลยุทธ์วิวัฒนาการและการปรับขนาดก้าว
บทนำ: บทนี้สำรวจเทคนิคขั้นสูงของการคำนวณวิวัฒนาการ โดยเน้นเฉพาะกลไกการจัดการข้อจำกัดและกลไกของกลยุทธ์วิวัฒนาการ (ES) วัสดุอธิบายการเปลี่ยนจากปัญหาการเพิ่มประสิทธิภาพแบบไบนารีไปสู่แบบต่อเนื่อง โดยเน้นความสำคัญของการปรับขนาดก้าว วิธีการสำคัญที่กล่าวถึง ได้แก่ กฎ 1/5 ความสำเร็จ และการปรับแมทริกซ์การกระจาย (CMA-ES)
ผลลัพธ์การเรียนรู้:
- ประเมินเทคนิคการจัดการข้อจำกัด รวมถึงวิธีการซ่อมแซมที่อิงจากอนุพันธ์สำหรับปัญหาแบบต่อเนื่อง และการจัดอันดับแบบสุ่มสำหรับโซลูชันที่ไม่เป็นไปตามเงื่อนไข
- ใช้ตัวดำเนินการของอัลกอริธึมพันธุกรรมแบบเลขจริง โดยเฉพาะการตัดกันแบบจำลองไบนารี (SBX) และการกลายพันธุ์พหุนาม
- วิเคราะห์โครงสร้างอัลกอริธึมของกลยุทธ์วิวัฒนาการ (ES) รวมถึง (1+1)-ES และรูปแบบที่ใช้ประชากร เช่น การเลือกแบบ (μ, λ) และ (μ + λ)
- อธิบายตรรกะทางคณิตศาสตร์ของการปรับขนาดก้าว โดยเปรียบเทียบกฎ 1/5 ความสำเร็จ ขนาดก้าวแบบทั่วโลก และกลยุทธ์ขนาดก้าวแบบเฉพาะบุคคล
🔹 บทที่ 4: โปรแกรมพันธุกรรมและการแทนค่าแบบต้นไม้
บทนำ: บทนี้ครอบคลุมโปรแกรมพันธุกรรม (GP) ซึ่งเป็นวิธีการแก้ปัญหาการเพิ่มประสิทธิภาพและปัญหาการเรียนรู้ของเครื่อง โดยการแทนฟังก์ชันทางคณิตศาสตร์และโค้ดด้วยโครงสร้างต้นไม้ นักเรียนจะสำรวจวิธีที่ GP วิวัฒนาโครงสร้างเหล่านี้ผ่านวิธีการเริ่มต้นเฉพาะเจาะจงและตัวดำเนินการพันธุกรรม บทนี้ยังครอบคลุมเทคนิคการจัดการข้อจำกัด เช่น ฟังก์ชันความเหมาะสมแบบลงโทษในสัญลักษณ์การถดถอย
ผลลัพธ์การเรียนรู้:
- แยกแยะระหว่างชุดฟังก์ชันพื้นฐานและชุดจุดสิ้นสุดในโครงสร้างแบบต้นไม้
- ดำเนินการกลยุทธ์การเริ่มต้น ได้แก่ วิธีแบบเต็ม (Full), วิธีเติบโต (Grow), และวิธีครึ่งหนึ่งแบบเร่ง (Ramped-half-and-half)
- วิเคราะห์กลไกการแลกเปลี่ยนและกลายพันธุ์แบบต้นไม้ รวมถึงผลกระทบต่อขนาดและโครงสร้างของประชากร
- ประเมินเทคนิคการจัดการข้อจำกัดในปัญหาการเพิ่มประสิทธิภาพแบบวิวัฒนาการ โดยเฉพาะการลงโทษแบบแข็ง แบบพลวัต และแบบปรับตัวได้
🔹 บทที่ 5: การเพิ่มประสิทธิภาพแบบดิฟเฟอเรนเชียลและตัวแปรของอนุภาคฝูงชน
บทนำ: บทนี้สำรวจเทคนิคการเพิ่มประสิทธิภาพแบบเมตาเฮวูริสติกขั้นสูง เริ่มต้นจากการจัดการข้อจำกัดโดยวิธีซ่อมแซมสำหรับทั้งปัญหาเชิงคอมบิเนเตอร์และต่อเนื่อง บทนี้ให้การวิเคราะห์ลึกเกี่ยวกับกลไกของการเพิ่มประสิทธิภาพแบบดิฟเฟอเรนเชียล (DE) และการเพิ่มประสิทธิภาพแบบอนุภาคฝูงชนแบบคลาสสิก (PSO) วัสดุขยายไปยังตัวแปรเฉพาะ เช่น อนุภาคฝูงชนแบบแข่งขัน (CSO) และอนุภาคฝูงชนแบบเรียนรู้จากสังคม (SL-PSO) เพื่อการเพิ่มประสิทธิภาพขนาดใหญ่
ผลลัพธ์การเรียนรู้:
- วิเคราะห์เทคนิคการจัดการข้อจำกัด โดยเฉพาะวิธีการซ่อมแซมสำหรับปัญหาเชิงคอมบิเนเตอร์ (การแทนที่ยีน) และปัญหาต่อเนื่อง (แบบอิงอนุพันธ์)
- ดำเนินการตัวดำเนินการทางคณิตศาสตร์ของการเพิ่มประสิทธิภาพแบบดิฟเฟอเรนเชียล ได้แก่ การกลายพันธุ์แบบผลต่างเวกเตอร์ การตัดกัน และการเลือก
- จัดทำสมการอัปเดตความเร็วและตำแหน่งสำหรับ PSO แบบคลาสสิก และตัวแปรต่าง ๆ (PSO แบบท้องถิ่น, ปัจจัยการจำกัด, และ CSO)
- แยกแยะโมเดลความฉลาดของฝูงชนต่าง ๆ ตามกลยุทธ์การเรียนรู้ (เช่น ค่าที่ดีที่สุดทั่วโลก เทียบกับการเรียนรู้จากตัวอย่าง)
🔹 บทที่ 6: การเพิ่มประสิทธิภาพหลายเป้าหมาย: การครอบคลุมพารีโต และวิธีการคลาสสิก
บทนำ: บทนี้ครอบคลุมการเปลี่ยนผ่านพื้นฐานจากปัญหาการเพิ่มประสิทธิภาพแบบเดี่ยว (SOO) สู่การเพิ่มประสิทธิภาพหลายเป้าหมาย (MOO) ย้ำว่าผลลัพธ์ของ MOO จะเป็นชุดของโซลูชันแลกเปลี่ยนแทนที่จะเป็นจุดต่ำสุดเดียว บทนี้ประเมินวิธีการคลาสสิก เช่น การรวมน้ำหนัก ต่อเทียบกับวิธีการแบ่งแยกเชิงวิวัฒนาการสมัยใหม่ เช่น MOEA/D และ RVEA
ผลลัพธ์การเรียนรู้:
- นิยามการครอบคลุมพารีโต ชุดโซลูชันพารีโต และแนวพารีโต ทางคณิตศาสตร์
- แยกแยะระหว่างแนวทางการเพิ่มประสิทธิภาพหลายเป้าหมายแบบ A priori, A posteriori และแบบโต้ตอบ
- ประเมินข้อจำกัดของวิธีการรวมน้ำหนักแบบคลาสสิก โดยเฉพาะอย่างยิ่งในกรณีที่แนวพารีโตมีลักษณะโค้งเว้า
- อธิบายกลไกของอัลกอริธึมที่อิงการแบ่งแยก รวมถึงการปรับน้ำหนักและการนำทางด้วยเวกเตอร์อ้างอิง
🔹 บทที่ 7: แนวทางการเพิ่มประสิทธิภาพหลายเป้าหมายที่อิงการครอบคลุม และตัวชี้วัดประสิทธิภาพ
บทนำ: บทนี้สำรวจแนวทางการเพิ่มประสิทธิภาพหลายเป้าหมายที่อิงการครอบคลุม โดยเน้นกลยุทธ์การเลือกที่เปลี่ยนจากวิธีการแบบเดี่ยวเป้าหมายไปสู่การเลือกที่อิงการครอบคลุมและความหลากหลาย บทนี้อธิบายเทคนิคการกำหนดค่าความเหมาะสมเฉพาะ เช่น การจัดอันดับและการแบ่งเขตเพื่อความหลากหลาย บทนี้ยังประเมินขั้นตอนเชิงกระบวนการและความซับซ้อนทางการคำนวณของอัลกอริธึมการจัดอันดับไม่ครอบคลุมหลักที่ใช้ในกรอบงาน NSGA-II
ผลลัพธ์การเรียนรู้:
- วิเคราะห์การเปลี่ยนจากกลยุทธ์การเลือกแบบเดี่ยวเป้าหมาย ไปสู่การจัดอันดับความเหมาะสมที่อิงการครอบคลุมและความหลากหลาย
- คำนวณลำดับโซลูชัน แผนที่ความเหมาะสม และจำนวนกลุ่มที่แยกออกโดยใช้ฟังก์ชันการแบ่งปัน
- เปรียบเทียบตรรกะการดำเนินงานและความซับซ้อนทางการคำนวณของอัลกอริธึมการจัดอันดับไม่ครอบคลุมแบบพื้นฐาน แบบเร็ว และแบบมีประสิทธิภาพ
- สรุปลำดับการดำเนินงานของอัลกอริธึมพันธุกรรมการจัดอันดับไม่ครอบคลุม (NSGA-II)
🔹 บทที่ 8: อัลกอริธึมการประมาณการแจกแจง และการจำแนกความสม่ำเสมอ
บทนำ: บทนี้สำรวจกลไกการเลือกขั้นสูงในปัญหาการเพิ่มประสิทธิภาพหลายเป้าหมาย โดยเน้นเฉพาะระยะห่างความหนาแน่นของ NSGA-II และตัวชี้วัดประสิทธิภาพเช่น IGD และไฮเปอร์โวลูม บทนี้เปลี่ยนผ่านไปสู่อัลกอริธึมการประมาณการแจกแจง (EDAs) ซึ่งแทนที่ตัวดำเนินการพันธุกรรมแบบดั้งเดิมด้วยโมเดลความน่าจะเป็น จากนั้นนำเสนอนวัตกรรม “การจำแนกความสม่ำเสมอ” (MR-MOO) ที่ใช้คุณสมบัติทางเรขาคณิตของชุดพารีโตเพื่อเพิ่มประสิทธิภาพการค้นหา
ผลลัพธ์การเรียนรู้:
- คำนวณและนำเสนอลักษณะการเลือกของ NSGA-II: กำหนดและคำนวณระยะห่างความหนาแน่น ใช้กฎการเลือกแบบทัวร์นาเมนต์ที่มีความหนาแน่น
- ประเมินประสิทธิภาพการเพิ่มประสิทธิภาพหลายเป้าหมาย: แยกแยะตัวชี้วัดประสิทธิภาพ เช่น ระยะทางจากรุ่น (GD), ระยะทางจากกลับมา (IGD), และไฮเปอร์โวลูม
- วิเคราะห์กลไกของ EDA: อธิบายการเปลี่ยนจากตัวดำเนินการค้นหาแบบสุ่มไปสู่การสร้างและสุ่มจากโมเดลความน่าจะเป็น (UMDA, UGM, MGM)
- จำแนกความสม่ำเสมอในปัญหาการเพิ่มประสิทธิภาพหลายเป้าหมาย: อธิบายคุณสมบัติของพื้นผิวมิติ (m-1) ของชุดพารีโต และวิธีการใช้การวิเคราะห์มิติลดลง (PCA) แบบท้องถิ่นและการแมปพื้นที่ซ่อนเร้นใน MR-MOO
🔹 บทที่ 9: การเรียนรู้ของเครื่อง: โครงข่ายประสาทเทียม การถ่ายโอนข้อมูล และการเลือกแบบโมเดล
บทนำ: บทนี้ครอบคลุมการเปลี่ยนผ่านจากปัญหาการเพิ่มประสิทธิภาพหลายเป้าหมายไปสู่สถาปัตยกรรมการเรียนรู้ของเครื่องขั้นสูงและการประเมินโมเดล บทนี้อธิบายกลไกของเครือข่ายประสาทเทียมแบบหลายชั้น (MLPs) รากฐานทางคณิตศาสตร์ของการถ่ายโอนข้อมูล (backpropagation) และเทคนิคการเพิ่มประสิทธิภาพแบบกราเดียนต์ดิสเซนต์ต่าง ๆ บทนี้ยังครอบคลุมประเด็นสำคัญในการเลือกโมเดล เช่น สมดุลระหว่างความเอนเอียงกับความแปรปรวน และวิธีการรวมกลุ่ม
ผลลัพธ์การเรียนรู้:
- ระบุแนวทางในการแก้ปัญหาการสูญเสียแรงกดดันในการเลือกในปัญหาการเพิ่มประสิทธิภาพหลายเป้าหมาย รวมถึงวิธีการอิงไฮเปอร์โวลูมและวิธีการแบ่งแยก
- แยกแยะระหว่างโมเดลเชิงสร้างสรรค์และโมเดลเชิงแยกประเภท และบทบาทของแต่ละประเภทในงานเรียนรู้ของเครื่อง
- ใช้กฎการฝึกแบบดัลต้าและถ่ายโอนข้อมูลโดยใช้กฎการหาอนุพันธ์เพื่ออัปเดตค่าพารามิเตอร์ของเครือข่ายประสาทเทียม
- ประเมินกลยุทธ์การบรรเทาการเรียนรู้เกิน (overfitting) โดยเฉพาะการปรับแต่ง (regularization), การหยุดเร็ว (early stopping) และเทคนิคการตรวจสอบข้ามต่าง ๆ
- วิเคราะห์วิธีการเรียนรู้แบบรวมกลุ่ม (Bagging, Boosting, Stacking) เพื่อจัดการสมดุลระหว่างความเอนเอียงกับความแปรปรวนและเพิ่มความหลากหลายของโมเดล
🔹 บทที่ 10: อัลกอริธึมเมมีติกและอิทธิพลของการเรียนรู้ตลอดชีวิต
บทนำ: บทนี้สำรวจอัลกอริธึมเมมีติก (MA) ซึ่งรวมการสำรวจพันธุกรรมแบบทั่วโลกกับการปรับปรุงแบบท้องถิ่นผ่านการเรียนรู้ตลอดชีวิต บทนี้วิเคราะห์ความแตกต่างเชิงกลไกระหว่างวิวัฒนาการแบบลาเมอร์กและแบบบาลด์วิน และการนำการค้นหาแบบท้องถิ่นมาใช้ในปัญหาการเพิ่มประสิทธิภาพหลายเป้าหมาย วัสดุยังครอบคลุมการใช้กลยุทธ์วิวัฒนาการเพื่อปรับปรุงโครงสร้างและพารามิเตอร์ของเครือข่ายประสาทเทียม
ผลลัพธ์การเรียนรู้:
- แยกแยะระหว่างอัลกอริธึมพันธุกรรมแบบมาตรฐานกับอัลกอริธึมเมมีติก ตามการมีส่วนร่วมของการเรียนรู้ตลอดชีวิตและการค้นหาแบบท้องถิ่น
- ต่างกันระหว่างแนวคิดลาเมอร์กและบาลด์วิน เกี่ยวกับการถ่ายทอดการเปลี่ยนแปลงของลักษณะภายนอกไปยังลูกหลาน
- ประเมินอิทธิพลของปรากฏการณ์บาลด์วินเทียบกับปรากฏการณ์การซ่อนเร้นต่ออัตราการวิวัฒนาการและแรงกดดันในการเลือก
- อธิบายวิธีการปรับปรุงเมทริกซ์การเชื่อมต่อและพารามิเตอร์น้ำหนักของเครือข่ายประสาทเทียมผ่านการฝึกแบบวิวัฒนาการและแบบอนุพันธ์
🔹 บทที่ 11: การเรียนรู้ของเครื่องแบบวิวัฒนาการ และการเรียนรู้หลายเป้าหมาย (MOML)
บทนำ: บทนี้สำรวจการเรียนรู้หลายเป้าหมาย (MOML) เป็นกรอบการทำงานในการสมดุลเป้าหมายที่ขัดแย้งกันในการออกแบบเครือข่ายประสาทเทียม เช่น ความแม่นยำเทียบกับความซับซ้อน ด้วยอัลกอริธึมเช่น NSGA-II วัสดุแสดงวิธีการปรับปรุงโครงสร้างและพารามิเตอร์ของเครือข่ายเพื่อให้ได้โมเดลที่อยู่ในแนวพารีโต วัสดุขยายหลักการนี้ไปสู่การประยุกต์ใช้จริง เช่น การดึงกฏ คลัสเตอร์แบบหลายเป้าหมาย และการดึงคุณลักษณะที่ทนทานต่อสัญญาณรบกวน
ผลลัพธ์การเรียนรู้:
- นิยามพื้นฐานทางคณิตศาสตร์ของการปรับแต่งแบบพารีโตใน MOML โดยเฉพาะการแลกเปลี่ยนระหว่างความผิดพลาดกับความซับซ้อนของโมเดล
- อธิบายกลไกของการแทนค่าเครือข่ายและการกลายพันธุ์ภายในกรอบวิวัฒนาการ
- วิเคราะห์แนวพารีโตที่ดีที่สุดเพื่อดึงกฏการตัดสินใจที่เข้าใจได้จากเครือข่ายประสาทเทียม
- อธิบายว่าการเพิ่มประสิทธิภาพหลายเป้าหมายถูกนำมาใช้กับการคลัสเตอร์และการดึงคุณลักษณะอย่างไร
🔹 บทที่ 12: การเพิ่มประสิทธิภาพแบบวิวัฒนาการที่อิงข้อมูล และการบริหารจัดการโมเดล
บทนำ: บทนี้ครอบคลุมแรงจูงใจและวิธีการของ "การเพิ่มประสิทธิภาพแบบวิวัฒนาการที่อิงข้อมูล" (DDEO) โดยเน้นสถานการณ์ที่ฟังก์ชันเป้าหมายมีต้นทุนการคำนวณสูง บทนี้อธิบายบทบาทสำคัญของการบริหารจัดการโมเดล และสำรวจกลยุทธ์ขั้นสูง เช่น แนวทางแบบบุคคล และแนวทางแบบรุ่น วิเคราะห์การใช้การเพิ่มประสิทธิภาพเบย์เซียนที่ใช้โมเดลจำลองเพื่อสมดุลระหว่างการค้นหาและการใช้ประโยชน์
ผลลัพธ์การเรียนรู้:
- ระบุแรงจูงใจหลักของการเพิ่มประสิทธิภาพที่อิงข้อมูล ได้แก่ ความซับซ้อนในการคำนวณ และต้นทุนของการจำลองทางกายภาพ
- จัดหมวดหมู่กลยุทธ์การบริหารจัดการโมเดล (แบบบุคคล, แบบรุ่น, และแบบประชากร) และเทคนิคการใช้งานเฉพาะ
- อธิบายกระบวนการทำงานของเบย์เซียนโอพิมิไซชัน และบทบาทของกระบวนการก้าวหน้า (GP) เป็นโมเดลจำลองแบบไม่พารามิเตอร์
🔹 บทที่ 13: การเพิ่มประสิทธิภาพเบย์เซียนและฟังก์ชันการได้มา
บทนำ: บทนี้ครอบคลุมการประยุกต์ใช้ขั้นสูงของการเพิ่มประสิทธิภาพเบย์เซียน (BO) ภายในกรอบวิวัฒนาการ โดยเน้นการสนับสนุนด้วยโมเดลจำลอง บทนี้อธิบายการเปลี่ยนจากโมเดลปกติแบบก้าวหน้า (GP) ไปเป็นชุดโมเดลเพื่อจัดการกับ "ภัยพิบัติของมิติสูง" วัสดุยังสำรวจกลยุทธ์เฉพาะสำหรับปัญหาหลายเป้าหมายที่มีต้นทุนไม่เท่ากัน (HE-MOPs) และการถ่ายทอดความรู้
ผลลัพธ์การเรียนรู้:
- นิยามและเปรียบเทียบฟังก์ชันการได้มาทั่วไป (LCB, EI, การสุ่มแบบทอมสัน) ที่ใช้สมดุลระหว่างการค้นหาและการใช้ประโยชน์
- ระบุข้อจำกัดด้านการคำนวณของกระบวนการก้าวหน้า และอธิบายกลยุทธ์การลดมิติและแทนที่โมเดลจำลอง
- วิเคราะห์วิธีการจัดการเป้าหมายที่มีต้นทุนไม่เท่ากันผ่านการถ่ายทอดความรู้แบบพารามิเตอร์และแบบตัวอย่าง
🔹 บทที่ 14: การค้นหาสถาปัตยกรรมของเครือข่ายประสาทเทียมแบบวิวัฒนาการ (E-NAS)
บทนำ: บทนี้สำรวจการอัตโนมัติของการออกแบบเครือข่ายประสาทเทียมผ่านอัลกอริธึมวิวัฒนาการ โดยเน้นการเปลี่ยนจากสถาปัตยกรรมที่ออกแบบด้วยมือไปสู่พื้นที่การค้นหาอัตโนมัติ บทนี้ครอบคลุมกระบวนการแบบ E-NAS ความร่วมมือของน้ำหนักในซูเปอร์เน็ต และเทคนิคขั้นสูง เช่น การประเมินที่อิงโมเดลจำลอง วัสดุยังขยายไปสู่แบบจำลองที่ได้แรงบันดาลใจจากชีววิทยา ได้แก่ ความยืดหยุ่นที่วิวัฒนา และการวิวัฒนาการร่วมกันของรูปร่าง
ผลลัพธ์การเรียนรู้:
- นิยามกระบวนการ E-NAS 5 ขั้นตอน และความแตกต่างระหว่างพื้นที่การค้นหาแบบใหญ่ (macro) และแบบเล็ก (micro)
- อธิบายแนวคิดการแบ่งปันน้ำหนักในซูเปอร์เน็ต และระบุปัญหาหลักของวิธีการแบบหนึ่งครั้ง (one-shot)
- อธิบายกลไกการสืบทอดโหนด รวมถึงวิธีการใช้ตัวดำเนินการตัดกันและกลายพันธุ์กับกราฟแบบไม่มีทิศทาง (DAG)
- ประเมินกลยุทธ์การลดต้นทุนการคำนวณ เช่น ตัวชี้วัดจำลอง โมเดลจำลอง และการฝึกที่สุ่มตัวอย่าง
🔹 บทที่ 15: การเรียนรู้ของเครื่องที่รักษาความเป็นส่วนตัวและแบบรวมศูนย์
บทนำ: บทนี้สำรวจการเปลี่ยนผ่านจากแบบเรียนรู้ของเครื่องแบบรวมศูนย์บนคลาวด์ไปสู่กรอบที่กระจายและรักษาความเป็นส่วนตัว บทนี้ครอบคลุมสถาปัตยกรรมพื้นฐานของเรียนรู้แบบรวมศูนย์ (แนวตั้งและแนวนอน) และเทคนิคเพื่อเพิ่มประสิทธิภาพการสื่อสาร บทนี้ยังพูดถึงการรวมอัลกอริธึมวิวัฒนาการเพื่อการค้นหาสถาปัตยกรรมเครือข่ายประสาทแบบรวมศูนย์ (NAS) และอัลกอริธึมวิวัฒนาการแบบปลอดภัยสำหรับการเรียนรู้รวมศูนย์
ผลลัพธ์การเรียนรู้:
- แยกแยะระหว่างการเรียนรู้แบบรวมศูนย์บนคลาวด์กับการเรียนรู้แบบกระจายบนอุปกรณ์เฉพาะด้านในแง่ความเป็นส่วนตัว ความปลอดภัย และความแม่นยำของโมเดล
- อธิบายกลไกของเทคนิคการรักษาความเป็นส่วนตัวพื้นฐาน เช่น การเข้ารหัสแบบดิฟเฟอเรนเชียล ระบบเข้ารหัสแบบโฮโมโมร์ฟิก และการคำนวณแบบหลายฝ่ายปลอดภัย
- วิเคราะห์ลำดับการทำงานของเรียนรู้แบบรวมศูนย์แนวตั้งและแนวนอน และอุปสรรคต่าง ๆ ที่เกิดจากข้อมูลที่ไม่เป็นอิสระ (non-IID)
- ประเมินวิธีการเพิ่มประสิทธิภาพการสื่อสาร เช่น การอัปเดตแบบไม่เป็นเวลาตามชั้น และการควอนติซีเซชันแบบสามค่า
- อธิบายการใช้งานการเพิ่มประสิทธิภาพเบย์เซียนแบบรวมศูนย์ และอัลกอริธึมวิวัฒนาการแบบปลอดภัยสำหรับการเรียนรู้รวมศูนย์โดยใช้การซ่อนแบบดิฟฟี-เฮลแมน