Numerical Analysis

📚 สรุปเนื้อหา

หนังสือเรียนที่ครอบคลุมทฤษฎีและแนวทางการประยุกต์ใช้เทคนิคการประมาณค่าทางตัวเลข ครอบคลุมหัวข้อพื้นฐานทางคณิตศาสตร์ การวิเคราะห์ความคลาดเคลื่อน การแก้สมการ การประมาณค่าแบบพหุนาม และการแก้สมการเชิงอนุพันธ์โดยวิธีตัวเลข

จัดการกับศิลปะและวิทยาศาสตร์ของเทคนิคการประมาณค่าทางตัวเลขสมัยใหม่

ผู้เขียน: ริชาร์ด แอล. บัรเดน, จี. ดอว์กัส เฟียร์ส

คำขอบคุณ: ได้รับการสนับสนุนจากมหาวิทยาลัยยองไวด์ และผู้มีส่วนร่วมหลายท่าน รวมถึงจอห์น คาร์โรลล์ (มหาวิทยาลัยเมืองดับลิน) และนักศึกษาช่วยงานหลายคน เช่น มาริโอ สราซิก

🎯 เป้าหมายการเรียนรู้

1. ประยุกต์ใช้ทฤษฎีค่ากลางและทฤษฎีของโรลล์ เพื่อยืนยันความเป็นไปได้และความเฉพาะเจาะจงของคำตอบ
2. สร้างพหุนามเทย์เลอร์ และใช้พจน์เศษเหลือเพื่อกำหนดขอบเขตความคลาดเคลื่อนอย่างเข้มงวดสำหรับการประมาณค่าทางตัวเลข
3. แยกแยะระหว่างการปัดเศษและการตัดทอนในระบบเลขฐานจุดลอยตัว และคำนวณความคลาดเคลื่อนสัมบูรณ์และสัมพัทธ์ในระบบจำนวนจริงแบบจุดลอยตัว
4. ประยุกต์ใช้วิธีแบ่งครึ่ง (Bisection), จุดคงที่ (Fixed-Point), นิวตัน (Newton), เซกเอนต์ (Secant), และตำแหน่งเท็จ (False Position) เพื่อประมาณรากของสมการ
5. วิเคราะห์ลำดับการเปลี่ยนแปลงและความคลาดเคลื่อนของวิธีการวนซ้ำต่างๆ
6. ใช้เทคนิคของแอตเคิน \Delta^2 และสเตฟเฟนเซ่น เพื่อเร่งความเร็วในการเปลี่ยนแปลงของลำดับเชิงเส้น
7. กล่าวและอธิบาย ทฤษฎีการประมาณค่าไวเออร์สตราส์ และผลกระทบต่อการประมาณค่าฟังก์ชัน
8. สร้างพหุนามประมาณค่าแบบ แลกรังจ์, นิวตัน-ไดเวดด์ดิฟเฟอเรนซ์, และ เฮอร์ไมต์ สำหรับชุดข้อมูลที่กำหนด
9. ประยุกต์ใช้ วิธีเนฟิลล์ เพื่อสร้างพหุนามประมาณค่าแบบวนซ้ำ
10. การนำเสนอมูลค่าและประยุกต์ใช้สูตรการหาอนุพันธ์เชิงตัวเลข (สามจุด) และการประเมินความคลาดเคลื่อน

🔹 บทเรียนที่ 1: พื้นฐานทางคณิตศาสตร์และการวิเคราะห์ความคลาดเคลื่อน

ภาพรวม: บทเรียนนี้สร้างพื้นฐานที่เชื่อมโยงระหว่างทฤษฎีแคลคูลัสกับการคำนวณเชิงตัวเลขอย่างแท้จริง โดยทบทวนทฤษฎีสำคัญทางแคลคูลัสที่ใช้ในการประเมินความคลาดเคลื่อน เช่น ทฤษฎีเทย์เลอร์ และทฤษฎีค่าเฉลี่ย ก่อนจะเปลี่ยนไปสู่ข้อจำกัดของการคำนวณด้วยคอมพิวเตอร์ นักเรียนจะได้เรียนรู้การวัดความคลาดเคลื่อน ระบุสาเหตุของการสูญเสียความแม่นยำ (เช่น การตัดทอนหลักเลขสำคัญ) และประเมินประสิทธิภาพของอัลกอริทึมโดยใช้สัญลักษณ์โอใหญ่ (Big Oh)

ผลลัพธ์การเรียนรู้:

• ประยุกต์ใช้ทฤษฎีค่ากลางและทฤษฎีของโรลล์ เพื่อยืนยันความเป็นไปได้และความเฉพาะเจาะจงของคำตอบ
• สร้างพหุนามเทย์เลอร์ และใช้พจน์เศษเหลือเพื่อกำหนดขอบเขตความคลาดเคลื่อนอย่างเข้มงวดสำหรับการประมาณค่าทางตัวเลข
• แยกแยะระหว่างการปัดเศษและการตัดทอนในระบบเลขฐานจุดลอยตัว และคำนวณความคลาดเคลื่อนสัมบูรณ์และสัมพัทธ์ในระบบจำนวนจริงแบบจุดลอยตัว

🔹 บทเรียนที่ 2: การแก้สมการในตัวแปรเดียว

ภาพรวม: บทเรียนนี้สำรวจเทคนิคเชิงตัวเลขในการหาค่าศูนย์ของฟังก์ชัน f(x) = 0 ซึ่งเป็นปัญหาพื้นฐานในการคำนวณทางวิทยาศาสตร์ ครอบคลุมชุดวิธีตั้งแต่วิธีแบ่งครึ่งที่มั่นคงแต่ช้า ไปจนถึงวิธีนิวตันที่มีความเร็วสูงและวิธีอื่นๆ ที่เกี่ยวข้อง (เซกเอนต์ ตำแหน่งเท็จ) นอกจากนี้ยังกล่าวถึงหัวข้อขั้นสูง เช่น การวิเคราะห์ความคลาดเคลื่อนสำหรับการเปลี่ยนแปลงเชิงวนซ้ำ เทคนิคการจัดการกับรากซ้ำ และอัลกอริทึมเฉพาะสำหรับพหุนาม เช่น วิธีมูลเลอร์ และวิธีฮอร์เนอร์

ผลลัพธ์การเรียนรู้:

• ประยุกต์ใช้วิธีแบ่งครึ่ง จุดคงที่ นิวตัน เซกเอนต์ และตำแหน่งเท็จ เพื่อประมาณราก
• วิเคราะห์ลำดับการเปลี่ยนแปลงและความคลาดเคลื่อนของวิธีการวนซ้ำต่างๆ
• ใช้เทคนิคของแอตเคิน \Delta^2 และสเตฟเฟนเซ่น เพื่อเร่งความเร็วในการเปลี่ยนแปลงของลำดับเชิงเส้น

🔹 บทเรียนที่ 3: การประมาณค่าแบบพหุนามและการประมาณค่าโดยพหุนาม

ภาพรวม: บทเรียนนี้สำรวจวิธีการประมาณฟังก์ชันต่อเนื่องโดยใช้พหุนามพีชคณิต ตั้งแต่พื้นฐานทฤษฎีของทฤษฎีการประมาณค่าไวเออร์สตราส์ ไปจนถึงรูปแบบลากรังจ์และนิวตันของการประมาณค่า วิธีเนฟิลล์แบบวนซ้ำ และพหุนามเฮอร์ไมต์ บทเรียนจบลงด้วยการประมาณค่าแบบสปายน์ระดับสาม และเส้นโค้งพารามิเตอร์ แสดงให้เห็นว่าพหุนามที่แบ่งเป็นส่วนย่อยสามารถหลีกเลี่ยงปัญหาการสั่นสะเทือนที่เกิดจากการใช้พหุนามดีกรีสูงทั้งหมดในงานปฏิบัติ เช่น การประมาณเส้นโค้ง

ผลลัพธ์การเรียนรู้:

• กล่าวและอธิบาย ทฤษฎีการประมาณค่าไวเออร์สตราส์ และผลกระทบต่อการประมาณค่าฟังก์ชัน
• สร้างพหุนามประมาณค่าแบบ แลกรังจ์, นิวตัน-ไดเวดด์ดิฟเฟอเรนซ์, และ เฮอร์ไมต์ สำหรับชุดข้อมูลที่กำหนด
• ประยุกต์ใช้ วิธีเนฟิลล์ เพื่อสร้างพหุนามประมาณค่าแบบวนซ้ำ

🔹 บทเรียนที่ 4: การหาอนุพันธ์และอินทิเกรตเชิงตัวเลข

ภาพรวม: บทเรียนนี้ครอบคลุมการประมาณค่าอนุพันธ์และอินทิเกรต ซึ่งจำเป็นต่อการแก้ปัญหาทางคณิตศาสตร์ที่ไม่สามารถหาคำตอบเชิงวิเคราะห์ได้ นักเรียนจะสำรวจการหาอนุพันธ์ที่มีความแม่นยำสูงโดยใช้สูตรสามจุด และการขยายผลริชาร์ดสัน (Richardson's Extrapolation) ผ่านเทคนิคการอินทิเกรตนิวตัน-โคตส์ (กฎกล่องและซิมปร์สัน) และเรียนรู้วิธีการอินทิเกรตขั้นสูง เช่น โรมเบิร์ก แบบปรับขนาด และควอดราเจอร์แบบเกาส์เชียน สุดท้าย บทเรียนครอบคลุมการจัดการอินทิเกรตสองชั้นและอินทิเกรตไม่เหมาะสม

ผลลัพธ์การเรียนรู้:

• การนำเสนอมูลค่าและประยุกต์ใช้สูตรการหาอนุพันธ์เชิงตัวเลข (สามจุด) และการประเมินความคลาดเคลื่อน
• การนำไปใช้การขยายผลริชาร์ดสันเพื่อเพิ่มลำดับความแม่นยำของการประมาณค่าเชิงตัวเลข
• การประยุกต์ใช้กฎการอินทิเกรตแบบประกอบและควอดราเจอร์แบบปรับขนาดเพื่อจัดการกับการเปลี่ยนแปลงของฟังก์ชันที่ซับซ้อน

🔹 บทเรียนที่ 5: ปัญหาค่าเริ่มต้นสำหรับสมการเชิงอนุพันธ์ธรรมดา

ภาพรวม: บทเรียนนี้ครอบคลุมการประมาณค่าทางตัวเลขของคำตอบสำหรับปัญหาค่าเริ่มต้น (IVPs) เริ่มต้นจากพื้นฐานทฤษฎีของความเป็นปัญหาที่ดี (well-posedness) และเงื่อนไขลิปชิทส์ แล้วก้าวไปสู่วิธีพื้นฐานเช่น วิธียูเลอร์ ไปจนถึงเทคนิคขั้นสูง เช่น รุงเก-คุตตา วิธีหลายขั้นตอน การขยายผล และการวิเคราะห์เสถียรภาพ สุดท้าย บทเรียนจัดการกับสถานการณ์เฉพาะ เช่น ระบบสมการเชิงอนุพันธ์ และความท้าทายพิเศษที่เกิดจากสมการที่แข็งแรง (stiff equations)

ผลลัพธ์การเรียนรู้:

• ตรวจสอบว่าปัญหาค่าเริ่มต้นเป็นปัญหาที่ดีหรือไม่ โดยใช้เงื่อนไขลิปชิทส์ และทฤษฎีความเป็นไปได้และเอกลักษณ์
• ดำเนินการและวิเคราะห์ความคลาดเคลื่อนของวิธีแบบขั้นตอนเดียว (ยูเลอร์ ไทล์เลอร์ รุงเก-คุตตา) และวิธีหลายขั้นตอน (อดัมส์-แบชฟอร์ธ อดัมส์-มูลตัน)
• ประยุกต์ใช้เทคนิคแบบปรับขนาด (รุงเก-คุตตา-เฟลเบิร์ก ขนาดขั้นตอนแปรผัน) และการขยายผล เพื่อแก้สมการเชิงอนุพันธ์ภายใต้ข้อจำกัดความคลาดเคลื่อนที่กำหนด

🔹 บทเรียนที่ 6: วิธีตรงในการแก้ระบบสมการเชิงเส้น

ภาพรวม: บทเรียนนี้ครอบคลุมแนวทางเชิงอัลกอริทึมที่เป็นระบบในการแก้ระบบสมการเชิงเส้น ตั้งแต่การกำจัดกาอุสพื้นฐานไปจนถึงเทคนิคการแยกตัวประกอบเมทริกซ์ขั้นสูง นักเรียนจะสำรวจกลยุทธ์ในการรักษาเสถียรภาพเชิงตัวเลขโดยการใช้การเปลี่ยนแถว การวิเคราะห์คุณสมบัติเชิงพีชคณิตของเมทริกซ์ (การหาเมทริกซ์ผกผัน ดีเทอร์มิแนนต์) และนำเสนอบรรยากาศการแยกตัวประกอบเฉพาะ (เช่น LU, LDL^t, โชเลสกี, และคราวต์) เพื่อการคำนวณอย่างมีประสิทธิภาพในบริบทวิศวกรรมและวิทยาศาสตร์

ผลลัพธ์การเรียนรู้:

• ดำเนินการกำจัดกาอุสพร้อมการแทนค่าย้อนกลับ และประเมินความซับซ้อนของการดำเนินการ
• นำเสนอบรรยากาศการเปลี่ยนแถวแบบบางส่วนและแบบปรับขนาดเพื่อลดความคลาดเคลื่อนจากการปัดเศษ
• คำนวณเมทริกซ์ผกผันและดีเทอร์มิแนนต์โดยใช้การดำเนินการแถวและค่าตัวประกอบ

🔹 บทเรียนที่ 7: เทคนิคการวนซ้ำในพีชคณิตเมทริกซ์

ภาพรวม: บทเรียนนี้ครอบคลุมการเปลี่ยนผ่านจากวิธีตรงไปสู่วิธีการวนซ้ำในการแก้ระบบสมการเชิงเส้นขนาดใหญ่ โฟกัสที่การวัดขนาดของเวกเตอร์และเมทริกซ์ผ่านมาตรฐาน (norms) การกำหนดเกณฑ์การเปลี่ยนแปลงโดยใช้รัศมีสเปกตรัม และการนำเสนอบรรยากาศการวนซ้ำพื้นฐาน เช่น จาคอบี กาอุส-ไซเดล และซูเซสซีฟโอเวอร์รีแลกเซชัน (SOR) นอกจากนี้ยังกล่าวถึงเสถียรภาพเชิงตัวเลขผ่านการปรับปรุงการวนซ้ำ ขอบเขตความคลาดเคลื่อน และวิธีคอนจูเกตเกรเดียนที่มีประสิทธิภาพสูง โดยได้รับการปรับปรุงด้วยการป้องกัน (preconditioning)

ผลลัพธ์การเรียนรู้:

• คำนวณมาตรฐานเวกเตอร์และเมทริกซ์ (l_2 และ l_\infty) และกำหนดรัศมีสเปกตรัมของเมทริกซ์เพื่อประเมินการเปลี่ยนแปลง
• นำเสนอบรรยากาศและเปรียบเทียบวิธีการวนซ้ำจาคอบี กาอุส-ไซเดล และ SOR สำหรับการแก้สมการ A\mathbf{x} = \mathbf{b}
• ประมาณขอบเขตความคลาดเคลื่อนโดยใช้ตัวเลขเงื่อนไข และประยุกต์การปรับปรุงการวนซ้ำเพื่อเพิ่มความแม่นยำของคำตอบประมาณ

🔹 บทเรียนที่ 8: ทฤษฎีการประมาณค่า

ภาพรวม: บทเรียนนี้สำรวจวิธีการประมาณค่าฟังก์ชันและชุดข้อมูลเมื่อการแทนที่แบบแม่นยำไม่สามารถทำได้หรือไม่สะดวกทางการคำนวณ เราเน้นการลดความคลาดเคลื่อนผ่าน การประมาณค่าด้วยผลรวมกำลังสองแบบไม่ต่อเนื่อง (Discrete Least Squares) โดยอาศัยประสิทธิภาพของ พหุนามเชิงตั้งฉากและพหุนามเชบีเชฟ และขยายเทคนิคเหล่านี้ไปสู่ การประมาณค่าเชิงตรรกะและตรีโกณมิติ จนถึงอัลกอริทึมประสิทธิภาพสูงอย่าง การแปลงฟูริเยร์แบบเร็ว (Fast Fourier Transform - FFT)

ผลลัพธ์การเรียนรู้:

• สร้างและแก้สมการปกติสำหรับการประมาณค่าด้วยผลรวมกำลังสองเชิงเส้นและพหุนามแบบไม่ต่อเนื่อง
• สร้างฐานพหุนามเชิงตั้งฉากโดยใช้กระบวนการกรัม-สค์มิดต์ เพื่อหลีกเลี่ยงระบบที่มีความไม่เหมาะสม
• ประยุกต์ใช้พหุนามเชบีเชฟเพื่อลดความคลาดเคลื่อนสูงสุดในการประมาณค่า และทำการประหยัดพหุนาม

🔹 บทเรียนที่ 9: การประมาณค่าค่าเฉพาะ

ภาพรวม: บทเรียนนี้เน้นเทคนิคเชิงตัวเลขในการประมาณค่าเฉพาะ (eigenvalues) โดยผ่านขั้นตอนที่เกินกว่าการหาค่ารากเชิงสัญลักษณ์ของพหุนามลักษณะที่มักใช้เวลาคำนวณมากหรือไม่สามารถหาค่าได้สำหรับเมทริกซ์ขนาดใหญ่ นักเรียนจะเรียนรู้การกำหนดตำแหน่งค่าเฉพาะโดยใช้ทฤษฎีวงกลมเกอร์ซกอริน การประยุกต์วิธีการวนซ้ำ เช่น วิธีพลัง (Power) และวิธีพลังกลับ (Inverse Power) เพื่อหาค่าเฉพาะหลักและค่าเฉพาะที่เลื่อน ตลอดจนใช้การเปลี่ยนโครงสร้าง (เช่น เมธอดโฮว์สเฮอร์ และอัลกอริทึม QR) และการแยกมูลค่าเชิงเดียว (SVD) สำหรับการวิเคราะห์เมทริกซ์อย่างครอบคลุม

ผลลัพธ์การเรียนรู้:

• กำหนดตำแหน่งค่าเฉพาะในระนาบเชิงซ้อนโดยใช้ทฤษฎีวงกลมเกอร์ซกอริน
• นำเสนอบรรยากาศวิธีพลังและวิธีพลังกลับพร้อมการเร่งด้วยแอตเคิน เพื่อหาค่าเฉพาะหลักและค่าเฉพาะที่เลื่อน
• ลดเมทริกซ์สมมาตรให้อยู่ในรูปแบบตริไดอะกอนัลโดยใช้วิธีโฮว์สเฮอร์ และหาค่าเฉพาะทั้งหมดโดยใช้อัลกอริทึม QR

🔹 บทเรียนที่ 10: การแก้ระบบสมการไม่เชิงเส้นโดยวิธีเชิงตัวเลข

ภาพรวม: บทเรียนนี้ครอบคลุมการเปลี่ยนจากปัญหาการหาค่ารากตัวแปรเดียวไปสู่การแก้ระบบสมการไม่เชิงเส้น โดยเป้าหมายหลักคือการหาเวกเตอร์ \mathbf{x} ที่ทำให้ \mathbf{F}(\mathbf{x}) = \mathbf{0} เราสำรวจการวนซ้ำแบบจุดคงที่สำหรับหลายตัวแปร วิธีนิวตันที่ใช้เมทริกซ์เจคอเบียน การประมาณค่าแบบควอซี-นิวตันที่มีประสิทธิภาพสูง (โดยเฉพาะบรอยเดน) และเทคนิคที่มีความทนทาน เช่น การลดลงที่มากที่สุด (Steepest Descent) และโฮโมโทปี/การต่อเนื่อง เพื่อหาค่าประมาณเริ่มต้นหรือจัดการกับระบบที่วิธีมาตรฐานล้มเหลว

ผลลัพธ์การเรียนรู้:

• นิยามและประยุกต์ใช้การวนซ้ำแบบจุดคงที่สำหรับฟังก์ชันหลายตัวแปร และกำหนดเกณฑ์การเปลี่ยนแปลงโดยใช้ทฤษฎี 10.6
• สร้างเมทริกซ์เจคอเบียนสำหรับระบบไม่เชิงเส้น และดำเนินการวิธีนิวตันเพื่อให้เกิดการเปลี่ยนแปลงแบบพีระมิด
• ดำเนินการวิธีบรอยเดนโดยใช้สูตรเชอร์แมน-มอร์ริสัน เพื่ออัปเดตเมทริกซ์ผกผันของเจคอเบียนอย่างมีประสิทธิภาพ

🔹 บทเรียนที่ 11: ปัญหาค่าขอบสำหรับสมการเชิงอนุพันธ์ธรรมดา

ภาพรวม: บทเรียนนี้ครอบคลุมการแก้ปัญหาค่าขอบ (BVP) ลำดับที่สองที่มีเงื่อนไขกำหนดที่จุดต่างกัน แตกต่างจากปัญหาค่าเริ่มต้น นักเรียนจะเรียนรู้การแปลงปัญหาค่าขอบให้กลายเป็นระบบที่แก้ได้โดยใช้วิธียิงเชิงเส้นและไม่เชิงเส้น วิธีการประมาณเชิงตัวเลขโดยใช้เมธอดไฟไนต์ดิฟเฟอเรนซ์ และเทคนิคเชิงตัวแปรผ่านวิธีไรซ์-ริตซ์ วิธีเหล่านี้จำเป็นต่อการแก้ปัญหาในโลกแห่งความจริง เช่น วิศวกรรมโครงสร้าง (การงอของคาน) และฟิสิกส์ (ศักย์ไฟฟ้าสถิต)

ผลลัพธ์การเรียนรู้:

• ประยุกต์ใช้ทฤษฎี 11.1 เพื่อกำหนดความเป็นไปได้และความเฉพาะเจาะจงของคำตอบสำหรับปัญหาค่าขอบ
• แปลงปัญหาค่าขอบลำดับที่สองให้เป็นคู่ของปัญหาค่าเริ่มต้น (IVPs) โดยใช้วิธียิงเชิงเส้น
• ดำเนินการวิธีนิวตันเพื่อแก้ปัญหาค่าขอบแบบไม่เชิงเส้นแบบวนซ้ำ

🔹 บทเรียนที่ 12: การแก้สมการเชิงอนุพันธ์ย่อยโดยวิธีเชิงตัวเลข

ภาพรวม: บทเรียนนี้ครอบคลุมการประมาณค่าทางตัวเลขของคำตอบสำหรับสามประเภทหลักของสมการเชิงอนุพันธ์ย่อย (PDE): เอลลิปติก ปาราโบลิก และไฮเปอร์โบลิก โดยใช้เมธอดไฟไนต์ดิฟเฟอเรนซ์ นักเรียนจะเรียนรู้การแปลงโดเมนต่อเนื่องเป็นกริดเครือข่าย และแปลงตัวดำเนินการเชิงอนุพันธ์ให้กลายเป็นระบบสมการพีชคณิต ประเด็นสำคัญ ได้แก่ เสถียรภาพของวิธีที่ขึ้นอยู่กับเวลา (ไฟน์ดิฟเฟอเรนซ์หน้า ตรงกับครังก์-นิโคลสัน) และการแก้ระบบคงที่โดยวิธีวนซ้ำ (พอสสันและลาปลาส)

ผลลัพธ์การเรียนรู้:

• แปลงโดเมนพื้นที่และเวลาโดยใช้กริดไฟไนต์ดิฟเฟอเรนซ์สำหรับชนิดของ PDE ต่างๆ
• ประยุกต์ใช้วิธีไฟน์ดิฟเฟอเรนซ์หน้า หลัง และครังก์-นิโคลสัน เพื่อแก้สมการความร้อนปาราโบลิก โดยประเมินข้อจำกัดด้านเสถียรภาพ
• สร้างและแก้ระบบเชิงเส้นที่ได้จากสมการเอลลิปติก (พอสสัน/ลาปลาส) และสมการคลื่นไฮเปอร์โบลิก