Quay lại Khóa học
SCI1005

Tối ưu hóa Thông minh

Một khóa học nâng cao bao gồm lý thuyết và ứng dụng các kỹ thuật tối ưu hóa thông minh, từ các phương pháp gradient cổ điển đến các meta-heuristic hiện đại, tối ưu hóa đa mục tiêu, mô hình hỗ trợ thay thế, và các ứng dụng học máy phân tán.

5.0 Đánh giá
300 Học viên
Bắt đầu học

Tổng quan khóa học

📚 Tóm tắt nội dung

Một khóa học nâng cao bao gồm lý thuyết và ứng dụng các kỹ thuật tối ưu hóa thông minh, từ các phương pháp gradient cổ điển đến các meta-heuristic tiến hóa hiện đại, tối ưu đa mục tiêu, mô hình hỗ trợ thay thế (surrogate-assisted), và các ứng dụng học máy phân tán.

Chinh phục các meta-heuristic tiến hóa nâng cao và tối ưu hóa thông minh dựa trên dữ liệu cho các hệ thống kỹ thuật phức tạp.

🎯 Mục tiêu học tập

  1. Hiểu nền tảng toán học và phân loại các bài toán tối ưu, từ liên tục và lồi đến các khuôn khổ tổ hợp phức tạp.
  2. Phát triển kỹ năng áp dụng tính toán tiến hóa, tối ưu đa mục tiêu và mô hình hỗ trợ thay thế vào các thách thức thực tế trong kỹ thuật và học máy.

🔹 Bài 1: Cơ sở của tối ưu hóa (I)

Tổng quan: Bài học này giới thiệu nền tảng toán học và phân loại các bài toán tối ưu, tập trung vào việc xác định các biến quyết định, hàm mục tiêu và ràng buộc. Nó khám phá cách phân loại các bài toán tối ưu và những thách thức thực tiễn trong việc xây dựng mô hình cho các hệ thống phức tạp như thiết kế kỹ thuật và học máy.

Kết quả học tập:

  • Định nghĩa các thành phần toán học của một bài toán tối ưu, bao gồm biến quyết định, hàm mục tiêu và ràng buộc.
  • Phân loại các bài toán tối ưu bằng một phân loại đa chiều dựa trên loại biến, ràng buộc và mục tiêu.
  • Phân biệt cực tiểu cục bộ và cực tiểu toàn cục, đồng thời nhận diện các đặc điểm riêng biệt của tối ưu lồi.
  • Biến đổi các tình huống thực tế thành các khung tối ưu chính thức.

🔹 Bài 2: Phương pháp Newton-Raphson và Gradient Descent

Tổng quan: Bài học này trình bày sự chuyển tiếp từ tối ưu hóa giải tích sang các phương pháp số học lặp để tìm cực trị của các hàm phi tuyến. Nó chi tiết về cơ chế, ưu điểm và hạn chế của phương pháp Newton-Raphson, các xấp xỉ Quasi-Newton, và các phương pháp dựa trên gradient khác như RPROP.

Kết quả học tập:

  • Xác định cực đại và cực tiểu cục bộ bằng cách tìm nơi đạo hàm của hàm bằng không.
  • So sánh hiệu quả và yêu cầu giữa phương pháp Newton-Raphson và Gradient Descent trong không gian một biến và nhiều biến.
  • Giải thích các vấn đề "biến mất" (vanishing) và "bùng nổ" (exploding) gradient và tác động của chúng đến sự phân kỳ trong tối ưu hóa.
  • Mô tả mục đích của các phương pháp Quasi-Newton và RPROP trong việc giảm tải tính toán và cải thiện độ ổn định tối ưu hóa.

🔹 Bài 3: Các thuật toán di truyền và xử lý ràng buộc

Tổng quan: Bài học này khám phá các heuristics tìm kiếm ngẫu nhiên dựa trên quần thể được gọi là Các thuật toán tiến hóa (EAs). Nó chi tiết về nền tảng sinh học của các thuật toán di truyền (GAs), các phương thức biểu diễn khác nhau, và cơ chế chọn lọc, lai ghép và đột biến, đồng thời đề cập đến các kỹ thuật xử lý ràng buộc chuyên biệt.

Kết quả học tập:

  • So sánh các phương pháp dựa trên gradient với các heuristics tìm kiếm dựa trên quần thể để xác định khi nào EAs phù hợp hơn.
  • Giải thích mối tương ứng giữa tiến hóa sinh học và các thuật ngữ tối ưu hóa tính toán.
  • Triển khai các toán tử GA khác nhau, bao gồm lai ghép n điểm, đột biến đảo bit và chọn lọc đấu trường.
  • Áp dụng các kỹ thuật xử lý ràng buộc như hàm fitness bị phạt và các phương pháp sửa lỗi dựa trên gradient.

🔹 Bài 4: Chiến lược tiến hóa và lập trình di truyền

Tổng quan: Bài học này trình bày các kỹ thuật tính toán tiến hóa nâng cao, chuyển từ các thuật toán di truyền mã hóa thực sang Chiến lược tiến hóa (ES) và Lập trình di truyền (GP). Nó chi tiết về các toán tử cụ thể như Crossover nhị phân mô phỏng, điều chỉnh bước nhảy trong ES, và các cấu trúc cây để phát triển các hàm toán học.

Kết quả học tập:

  • Phân tích cơ chế của các thuật toán di truyền mã hóa thực, đặc biệt là Crossover nhị phân mô phỏng và Đột biến đa thức.
  • Đánh giá các biến thể của Chiến lược tiến hóa, bao gồm (1+1)-ES, (\mu, \lambda), và các chiến lược chọn lọc (\mu + \lambda).
  • Xây dựng các mô hình Lập trình di truyền sử dụng biểu diễn cây, bao gồm tập các hàm nguyên thủy và tập các nút kết thúc.
  • Xác định các phương pháp khởi tạo phù hợp cho GP, chẳng hạn như phương pháp Full, Grow, và Ramped-half-and-half.

🔹 Bài 5: Tối ưu hóa vi phân và Tối ưu hóa đàn kiến

Tổng quan: Bài học này trình bày các kỹ thuật tối ưu hóa meta-heuristic nâng cao, tập trung vào Tối ưu hóa vi phân (DE) và Tối ưu hóa đàn kiến (PSO). Nó chi tiết về nền tảng toán học của phép biến đổi vector trong DE và các hành vi xã hội sinh học dẫn dắt chuyển động của các hạt trong PSO.

Kết quả học tập:

  • Phân tích các kỹ thuật xử lý ràng buộc, bao gồm hàm fitness bị phạt, phương pháp sửa lỗi và xếp hạng ngẫu nhiên.
  • Thiết lập các bước biến đổi, lai ghép và chọn lọc trong thuật toán Tối ưu hóa vi phân.
  • Giải thích cơ chế của Tối ưu hóa đàn kiến chuẩn, đặc biệt là vai trò của cực tốt cá nhân, cực tốt toàn cục và trọng số quán tính.
  • Đánh giá các biến thể PSO như Local PSO, PSO với Hệ số co rút, và các thuật toán đàn kiến dựa trên cạnh tranh (CSO).

🔹 Bài 6: Tối ưu hóa đa mục tiêu: Các tiếp cận dựa trên phân rã

Tổng quan: Bài học này khám phá các định nghĩa cơ bản về tối ưu Pareto và sự chiếm ưu thế, các phương pháp tổng hợp cổ điển, và các thuật toán tiến hóa dựa trên phân rã tiên tiến. Nó chi tiết cách chuyển đổi các bài toán tối ưu đa mục tiêu thành các bài toán con đơn mục tiêu bằng các phương pháp như MOEA/D.

Kết quả học tập:

  • Định nghĩa và nhận diện Sự chiếm ưu thế Pareto, Tập tối ưu Pareto và Mặt Pareto trong không gian quyết định và không gian mục tiêu.
  • So sánh và đối chiếu các tiếp cận A priori, A posteriori và Tương tác trong tối ưu hóa đa mục tiêu.
  • Giải thích cơ chế phân rã trong tối ưu hóa đa mục tiêu (MOO) để chuyển đổi các bài toán đa mục tiêu thành các bài toán con đơn mục tiêu.
  • Phân tích lợi ích của Tổng hợp trọng số động (DWA) và MOEA/D trong xử lý các mặt Pareto lồi và lõm.

🔹 Bài 7: Tối ưu hóa đa mục tiêu: Các tiếp cận dựa trên chiếm ưu thế

Tổng quan: Bài học này tập trung vào các kỹ thuật nâng cao cho các thuật toán tiến hóa tối ưu đa mục tiêu (MOEAs), chi tiết về MOEA hướng bởi vectơ tham chiếu (RVEA) và gán điểm ưu tiên dựa trên chiếm ưu thế. Nó khám phá việc duy trì đa dạng qua kỹ thuật niching và cung cấp phân tích so sánh các thuật toán sắp xếp không chiếm ưu thế như NSGA-II.

Kết quả học tập:

  • Triển khai quy trình RVEA, bao gồm việc tạo ra các vectơ tham chiếu và tính toán Khoảng cách bị phạt góc (APD).
  • Tính toán điểm ưu tiên dựa trên chiếm ưu thế và đa dạng bằng cách gán thứ bậc và hàm chia sẻ.
  • Phân tích các bước thực hiện và độ phức tạp tính toán của các thuật toán sắp xếp không chiếm ưu thế cơ bản, nhanh và hiệu quả.
  • Trình bày quy trình làm việc của Thuật toán di truyền Sắp xếp Không chiếm ưu thế II (NSGA-II).

🔹 Bài 8: Chỉ số hiệu suất và lựa chọn nâng cao

Tổng quan: Bài học này trình bày cơ chế hoạt động của thuật toán NSGA-II, bao gồm khoảng cách đệm và lựa chọn môi trường, đồng thời khám phá các chỉ số đánh giá hiệu suất. Nó còn chi tiết các phương pháp lựa chọn nâng cao thông qua các thuật toán Ước lượng Phân bố (EDAs) và mô hình hóa tính đều đặn trong các bài toán liên tục.

Kết quả học tập:

  • Tính toán và áp dụng khoảng cách đệm và lựa chọn dựa trên thứ hạng trong khung NSGA-II.
  • Đánh giá hiệu quả của các chỉ số hiệu suất khác nhau như GD, IGD, Thể tích, và Khoảng cách.
  • Phân biệt giữa các toán tử di truyền truyền thống và các phương pháp dựa trên mô hình như các thuật toán Ước lượng Phân bố (EDAs).
  • Giải thích cách mô hình hóa tính đều đặn trong tập Pareto bằng cách sử dụng ánh xạ không gian tiềm ẩn và PCA địa phương.

🔹 Bài 9: Các thuật toán Ước lượng Phân bố và Mạng nơ-ron

Tổng quan: Tài liệu này khám phá các chiến lược vượt qua sự suy giảm áp lực chọn lọc trong tối ưu hóa chiều cao và cung cấp một phân loại toàn diện các mô hình học máy. Nó chi tiết về nền tảng toán học đào tạo mạng nơ-ron, bao gồm lan truyền ngược và các biến thể của Gradient Descent.

Kết quả học tập:

  • Nhận diện và áp dụng các biện pháp khắc phục sự suy giảm áp lực chọn lọc trong Tối ưu hóa Nhiều mục tiêu.
  • Phân loại các mô hình học máy thành hai loại Generative và Discriminative và phân biệt các kiểu học khác nhau.
  • Giải thích nền tảng toán học của quá trình đào tạo mạng nơ-ron, bao gồm luật Delta và lan truyền ngược.
  • Đánh giá các biến thể Gradient Descent và các thủ thuật dùng để giảm thiểu vấn đề hội tụ.

🔹 Bài 10: Lựa chọn mô hình và tối ưu hóa cấu trúc tiến hóa

Tổng quan: Bài học này khám phá các thách thức trong việc huấn luyện mạng nơ-ron sâu, đặc biệt là vấn đề đạo hàm biến mất và lựa chọn mô hình để ngăn ngừa hiện tượng quá khớp. Nó chi tiết các kỹ thuật kiểm tra, chiến lược học tập nhóm và tích hợp tính toán tiến hóa với học tập cục bộ.

Kết quả học tập:

  • Nhận diện và giảm thiểu hiện tượng quá khớp bằng cách cân bằng sai số và phương sai, dừng sớm, và kỹ thuật kiểm tra chéo.
  • Phân biệt các phương pháp học tập nhóm Bagging, Boosting và Stacking.
  • So sánh các cơ chế di truyền Lamarckian và Baldwinian trong các mô hình học tiến hóa.
  • Thiết kế các khung tối ưu hóa cấu trúc cho ma trận kết nối và kiến trúc mạng nơ-ron.

🔹 Bài 11: Học máy đa mục tiêu và Tối ưu hóa dựa trên dữ liệu

Tổng quan: Bài học này khám phá việc tích hợp các thuật toán tiến hóa đa mục tiêu vào học máy và tối ưu hóa dựa trên dữ liệu. Nó chi tiết cách các tiếp cận dựa trên Pareto tối ưu hóa cấu trúc mạng nơ-ron và phân cụm, đồng thời giới thiệu các chiến lược quản lý mô hình hỗ trợ thay thế cho các đánh giá tốn kém.

Kết quả học tập:

  • Phân tích các thỏa hiệp giữa độ chính xác mô hình và độ phức tạp bằng cách sử dụng regularization dựa trên Pareto.
  • Đánh giá các khung tối ưu hóa đa mục tiêu cho phân cụm và trích xuất đặc trưng.
  • Xác định các chiến lược quản lý mô hình phù hợp (cá nhân, quần thể hoặc thế hệ) cho tối ưu hóa hỗ trợ thay thế.

🔹 Bài 12: Quản lý mô hình cơ bản và Tối ưu hóa Bayesian

Tổng quan: Bài học này khám phá việc tích hợp các mô hình siêu (surrogates) vào tối ưu hóa tiến hóa dựa trên dữ liệu để xử lý các đánh giá tốn kém về tính toán. Nó chi tiết các chiến lược quản lý mô hình và đi sâu vào Tối ưu hóa Bayesian (BO) sử dụng Quá trình Gaussian.

Kết quả học tập:

  • Định nghĩa quản lý mô hình và giải thích nhu cầu thiết yếu để tránh cực tiểu giả trong quá trình tối ưu hóa.
  • So sánh các chiến lược quản lý mô hình dựa trên cá nhân, thế hệ và quần thể.
  • Thực hiện quy trình làm việc của Tối ưu hóa Bayesian, từ việc chọn tiền đề đến sử dụng các hàm thu hút.
  • Phân tích khung toán học của Quá trình Gaussian và các yêu cầu về kernel.
  • Nhận diện các thách thức tính toán trong BO và đề xuất các chiến lược giảm nhẹ như giảm chiều.

🔹 Bài 13: Tối ưu hóa đa mục tiêu hỗ trợ mô hình và Chuyển giao tri thức

Tổng quan: Bài học này khám phá các chiến lược nâng cao cho Tối ưu hóa đa mục tiêu hỗ trợ mô hình (SA-MOO), tập trung vào RVEA và phiên bản của nó hỗ trợ Kriging. Nó chi tiết các phương pháp xử lý các bài toán đa mục tiêu tốn kém khác nhau (HE-MOPs) và giới thiệu ba khung chuyển giao tri thức chính.

Kết quả học tập:

  • Phân tích cơ chế của các thuật toán tiến hóa hướng bởi vectơ tham chiếu và việc sử dụng Khoảng cách bị phạt góc.
  • Đánh giá các chiến lược quản lý mô hình hỗ trợ, bao gồm việc sử dụng tập hợp mô hình và mô hình Kriging.
  • Phân biệt các phương pháp chuyển giao tri thức dựa trên tham số, dựa trên ví dụ và kết hợp miền.
  • Áp dụng các nguyên tắc tối ưu hóa đa mục tiêu vào các trường hợp sử dụng kỹ thuật thực tế.

🔹 Bài 14: Học máy tiến hóa và Tìm kiếm Kiến trúc Mạng nơ-ron

Tổng quan: Bài học này khám phá sự giao thoa giữa tính toán tiến hóa và học máy, tập trung vào Học máy tự động (AutoML) và Tìm kiếm Kiến trúc Mạng nơ-ron (NAS). Nó bao gồm việc tối ưu hóa tự động các siêu tham số và quá trình đồng tiến hóa của hệ thống điều khiển và hình thái trong robot lấy cảm hứng từ sinh học.

Kết quả học tập:

  • Định nghĩa năm bước chính của Tìm kiếm Kiến trúc Mạng nơ-ron Tiến hóa (E-NAS).
  • Phân biệt không gian tìm kiếm vĩ mô và vi mô và vai trò của Supernet trong việc giảm chi phí tính toán.
  • Nhận diện các chiến lược cải thiện hiệu quả tính toán trong NAS, bao gồm thừa kế nút và mô hình hỗ trợ.
  • Giải thích nguyên lý đồng tiến hóa não-thân và vai trò của Mạng điều hòa Gen trong quá trình phát triển.

🔹 Bài 15: Học máy bảo vệ quyền riêng tư và Học máy phân tán

Tổng quan: Bài học này khám phá sự chuyển dịch từ học tập tập trung dựa trên đám mây sang các khung phân tán, bảo vệ quyền riêng tư. Nó chi tiết về cơ chế của Học máy phân tán và xem xét các giải pháp kỹ thuật nhằm tăng hiệu quả truyền thông và bảo mật, như Bảo mật vi phân và Mã hóa đồng nhất.

Kết quả học tập:

  • Phân biệt giữa học tập tập trung trên đám mây và học tập phân tán tại thiết bị.
  • Giải thích cơ chế cốt lõi của các kỹ thuật tính toán bảo vệ quyền riêng tư, bao gồm Bảo mật vi phân và Mã hóa đồng nhất.
  • Phân tích luồng hoạt động của Học máy phân tán ngang và Học máy phân tán dọc và các thách thức với dữ liệu không IID.
  • Đánh giá các chiến lược tăng hiệu quả truyền thông, chẳng hạn như Cập nhật bất đồng bộ theo lớp.
  • Mô tả triển khai các Thuật toán Tiến hóa Bayesian Bảo mật trong Học máy phân tán.