EvoClass

Học thông minh hơn

Quay lại Khóa học
SCI1005 Undergraduate

WU | Tối ưu hóa Thông minh

Một khóa học nâng cao bao gồm lý thuyết và ứng dụng các kỹ thuật tối ưu hóa thông minh, từ các phương pháp gradient cổ điển đến các siêu giải thuật tiến hóa hiện đại, tối ưu hóa đa mục tiêu, mô hình hỗ trợ thay thế, và các ứng dụng học máy phân tán.

5.0
45h
300 học viên
0 lượt thích
Trí tuệ nhân tạo
Bắt đầu học

Bài học

Tổng quan khóa học

📚 Tóm tắt nội dung

Một khóa học nâng cao khám phá điểm giao thoa giữa tối ưu hóa toán học cổ điển, tính toán tiến hóa và học máy hiện đại. Khóa học bao gồm tối ưu hóa một mục tiêu và đa mục tiêu, các chiến lược dựa trên dữ liệu, và các chủ đề nâng cao như Tìm kiếm Kiến trúc Mạng nơ-ron và Học tập Phân tán.

Chinh phục sự tiến hóa của trí tuệ thông qua tối ưu hóa dữ liệu tiên tiến và đa mục tiêu.

🎯 Mục tiêu học tập

  1. [Áp dụng các kỹ thuật tối ưu hóa nâng cao vào các bài toán toán học phức tạp dựa trên dữ liệu.]
  2. [Thiết kế và đánh giá các kiến trúc tiến hóa và học máy trong các tình huống tối ưu hóa đa mục tiêu.]

🔹 Bài 1: Cơ sở của Tối ưu hóa

Tổng quan: Bài học này cung cấp cái nhìn toàn diện về nền tảng toán học của tối ưu hóa, từ các phương pháp gradient cổ điển đến các chiến lược sinh học-inspired tiến hóa. Nó thiết lập các định nghĩa nghiêm ngặt về biến quyết định, hàm mục tiêu và ràng buộc, đồng thời khám phá phân loại các bài toán tối ưu hóa. Nội dung chuyển từ các phương pháp tìm kiếm cục bộ như Newton-Raphson và Gradient Descent sang nguyên lý tiến hóa tự nhiên và cơ chế của Các Thuật toán Di truyền (GA).

Kết quả học tập:

  • Định nghĩa và Phân loại các Bài toán Tối ưu hóa: Phân biệt giữa tối ưu hóa liên tục, rời rạc, tổ hợp và lồi dựa trên các đặc điểm toán học và ràng buộc.
  • Thực hiện các Phương pháp Gradient Cổ điển: Áp dụng phương pháp Newton-Raphson và Gradient Descent (bao gồm các biến thể như RPROP và Momentum) để tìm cực trị cục bộ của các hàm khả vi.
  • Chuyển đổi Tiến hóa Sinh học thành Logic Tính toán: Giải thích mối quan hệ giữa kiểu gen/kiểu hình, chọn lọc tự nhiên và cấu trúc của Các Thuật toán Tiến hóa (EA).
  • Xử lý các Thách thức Thuật toán: Nhận diện và giảm thiểu các vấn đề phổ biến trong tối ưu hóa, như "vách Hamming" trong mã nhị phân, "vấn đề gradient biến mất" và chi phí tính toán của việc đảo ngược ma trận Hessian.

🔹 Bài 2: Các Thuật toán Di truyền: Mã hóa, Chọn lọc và Toán tử Di truyền

Tổng quan: Bài học này đi sâu vào cơ chế cơ bản của Các Thuật toán Di truyền Chuẩn (Canonical) và Các Thuật toán Di truyền Mã thực (RCGAs). Nó nghiên cứu cách biểu diễn biến bao gồm mã nhị phân, mã Gray và mã thực, cùng với các cơ chế sinh sản như giao phối và đột biến. Tài liệu cũng giới thiệu các kỹ thuật giải quyết vấn đề phức tạp cho tối ưu hóa tổ hợp và xử lý ràng buộc thông qua hàm phạt và phương pháp sửa lỗi.

Kết quả học tập:

  • Phân tích các phương án biểu diễn khác nhau (mã nhị phân so với mã Gray) và tác động của chúng đối với tính nhân quả tìm kiếm và "vách Hamming".
  • Tính xác suất chọn lọc và giải mã chuỗi nhị phân thành các biến quyết định nguyên hoặc thực.
  • Phân biệt giữa các toán tử giao phối khác nhau cho cả thuật toán di truyền nhị phân (n-điểm, đều) và mã thực (BLX, SBX, tuyến tính).
  • Đề xuất chiến lược xử lý ràng buộc và tối ưu hóa tổ hợp trong các bài toán NP-kho (như Bài toán Người bán hàng du lịch - TSP).

🔹 Bài 3: Chiến lược Tiến hóa và Điều chỉnh Kích thước Bước

Tổng quan: Bài học này khám phá các kỹ thuật tính toán tiến hóa nâng cao, cụ thể là tập trung vào cơ chế xử lý ràng buộc và cơ chế của Các Chiến lược Tiến hóa (ES). Nó mô tả quá trình chuyển từ tối ưu hóa nhị phân sang tối ưu hóa liên tục, nhấn mạnh tầm quan trọng của điều chỉnh kích thước bước. Các phương pháp chính được thảo luận bao gồm quy tắc 1/5 thành công và Điều chỉnh Ma trận Hiệp phương sai (CMA-ES).

Kết quả học tập:

  • Đánh giá các kỹ thuật xử lý ràng buộc, bao gồm các phương pháp sửa lỗi dựa trên gradient cho bài toán liên tục và xếp hạng ngẫu nhiên cho các nghiệm không thỏa mãn.
  • Áp dụng các toán tử của Thuật toán Di truyền Mã thực, cụ thể là Giao phối Nhị phân Mô phỏng (SBX) và Đột biến Đa thức.
  • Phân tích cấu trúc thuật toán của Các Chiến lược Tiến hóa (ES), bao gồm (1+1)-ES và các biến thể dựa trên quần thể sử dụng lựa chọn (μ, λ) và (μ + λ).
  • Giải thích logic toán học phía sau điều chỉnh kích thước bước, so sánh quy tắc 1/5 thành công, kích thước bước toàn cục và chiến lược kích thước bước riêng biệt.

🔹 Bài 4: Lập trình Di truyền và Biểu diễn Dạng Cây

Tổng quan: Bài học này đề cập đến Lập trình Di truyền (GP) như một phương pháp giải quyết các bài toán tối ưu hóa và học máy bằng cách biểu diễn các hàm toán học và mã lệnh dưới dạng cấu trúc cây. Học viên khám phá cách GP tiến hóa các cấu trúc này thông qua các phương pháp khởi tạo cụ thể và các toán tử di truyền. Bài học cũng đề cập đến các kỹ thuật xử lý ràng buộc như hàm đánh giá phạt trong hồi quy biểu tượng.

Kết quả học tập:

  • Phân biệt giữa tập hàm nguyên thủy và tập kết thúc trong biểu diễn dạng cây.
  • Thực hiện các chiến lược khởi tạo, bao gồm phương pháp Full, Grow và Ramped-half-and-half.
  • Phân tích cơ chế tái tổ hợp và đột biến dạng cây, bao gồm tác động của chúng đến kích thước và cấu trúc quần thể.
  • Đánh giá các kỹ thuật xử lý ràng buộc trong tối ưu hóa tiến hóa, cụ thể là các hình phạt cứng, động và thích nghi.

🔹 Bài 5: Tối ưu hóa Vi phân và Các Biến thể Của Tối ưu hóa Bầy đàn

Tổng quan: Bài học này khám phá các kỹ thuật tối ưu hóa siêu heuristic nâng cao, bắt đầu từ các phương pháp xử lý ràng buộc dựa trên sửa lỗi cho cả bài toán tổ hợp và liên tục. Nó đi sâu vào cơ chế hoạt động của Tối ưu hóa Vi phân (DE) và Tối ưu hóa Bầy đàn Chuẩn (PSO). Nội dung mở rộng sang các biến thể chuyên biệt như PSO Dựa trên Cạnh tranh (CSO) và PSO Học tập Xã hội (SL-PSO) dành cho tối ưu hóa quy mô lớn.

Kết quả học tập:

  • Phân tích các kỹ thuật xử lý ràng buộc, cụ thể là các phương pháp sửa lỗi cho tối ưu hóa tổ hợp (thay thế gen) và liên tục (dựa trên gradient).
  • Thực hiện các toán tử toán học của Tối ưu hóa Vi phân, bao gồm đột biến hiệu số vector, giao phối và lựa chọn.
  • Xây dựng phương trình cập nhật vận tốc và vị trí cho PSO Chuẩn và các biến thể (PSO Địa phương, Hệ số Co rút, CSO).
  • Phân biệt giữa các mô hình trí tuệ bầy đàn dựa trên chiến lược học tập của chúng (ví dụ: tốt nhất toàn cục so với học tập xã hội từ người hướng dẫn).

🔹 Bài 6: Tối ưu hóa Đa mục tiêu: Quyền lực Pareto và Các Phương pháp Cổ điển

Tổng quan: Bài học này khám phá sự chuyển tiếp cơ bản từ Tối ưu hóa Một mục tiêu (SOO) sang Tối ưu hóa Đa mục tiêu (MOO). Nó nhấn mạnh rằng MOO dẫn đến một tập hợp các giải pháp thương lượng chứ không phải một cực trị duy nhất. Bài học đánh giá các phương pháp cổ điển như Tổng hợp Trọng số so với các tiếp cận hiện đại dựa trên phân giải tiến hóa như MOEA/D và RVEA.

Kết quả học tập:

  • Định nghĩa quyền lực Pareto, tập hợp tối ưu Pareto và mặt trước Pareto một cách toán học.
  • Phân biệt giữa các tiếp cận A priori, A posteriori và Tương tác trong tối ưu hóa đa mục tiêu.
  • Đánh giá hạn chế của tổng hợp trọng số cổ điển, đặc biệt là đối với các mặt trước Pareto lõm.
  • Giải thích cơ chế của các thuật toán dựa trên phân giải, bao gồm điều chỉnh trọng số và hướng dẫn bởi vector tham chiếu.

🔹 Bài 7: Các Tiếp cận MOO Dựa trên Quyền lực và Chỉ số Hiệu năng

Tổng quan: Bài học này khám phá các tiếp cận dựa trên quyền lực trong Tối ưu hóa Đa mục tiêu (MOO), tập trung vào chiến lược chọn lọc chuyển từ phương pháp đơn mục tiêu sang chọn lọc dựa trên quyền lực và đa dạng. Nó chi tiết các kỹ thuật gán điểm phù hợp cụ thể, bao gồm ánh xạ thứ hạng và niching để duy trì đa dạng. Bài học cũng đánh giá các bước thủ tục và độ phức tạp tính toán của các thuật toán sắp xếp phi chiếm ưu thế chính được áp dụng trong khung NSGA-II.

Kết quả học tập:

  • Phân tích quá trình chuyển từ chọn lọc đơn mục tiêu sang gán điểm phù hợp dựa trên quyền lực và đa dạng.
  • Tính toán thứ hạng giải pháp, ánh xạ điểm phù hợp và đếm niche sử dụng hàm chia sẻ.
  • So sánh logic thủ tục và độ phức tạp tính toán của các thuật toán Sắp xếp Phi chiếm ưu thế Cơ bản, Nhanh và Hiệu quả.
  • Trình bày luồng thực hiện của Thuật toán Di truyền Sắp xếp Phi chiếm ưu thế (NSGA-II).

🔹 Bài 8: Các Thuật toán Ước lượng Phân bố và Mô hình Hóa Tính Đều đặn

Tổng quan: Bài học này khám phá các cơ chế chọn lọc nâng cao trong Tối ưu hóa Đa mục tiêu, cụ thể là tập trung vào khoảng cách chèn của NSGA-II và các chỉ số hiệu năng như IGD và Thể tích. Nó chuyển sang Các Thuật toán Ước lượng Phân bố (EDAs), nơi thay thế các toán tử di truyền truyền thống bằng các mô hình xác suất. Cuối cùng, tài liệu giới thiệu "Mô hình Hóa Tính Đều đặn" (MR-MOO), tận dụng các thuộc tính hình học của tập Pareto để cải thiện hiệu quả tìm kiếm.

Kết quả học tập:

  • Tính toán và Triển khai Chọn lọc NSGA-II: Định nghĩa và tính toán khoảng cách chèn, áp dụng quy tắc chọn lọc vòng xoáy dày đặc.
  • Đánh giá Hiệu năng MOO: Phân biệt giữa các chỉ số hiệu năng như Khoảng cách Thế hệ (GD), Khoảng cách Thế hệ Ngược (IGD) và Thể tích.
  • Phân tích Cơ chế EDAs: Giải thích sự chuyển dịch từ các toán tử tìm kiếm ngẫu nhiên sang xây dựng và lấy mẫu từ các mô hình xác suất (UMDA, UGM, MGM).
  • Mô hình Hóa Tính Đều đặn trong các Bài toán Tối ưu Đa mục tiêu (MOPs): Mô tả đặc tính bề mặt (m-1)-chiều của tập Pareto và cách sử dụng PCA cục bộ và ánh xạ không gian tiềm ẩn trong MR-MOO.

🔹 Bài 9: Học máy: Mạng nơ-ron, Truyền ngược và Lựa chọn Mô hình

Tổng quan: Bài học này đề cập đến sự chuyển tiếp từ tối ưu hóa nhiều mục tiêu sang các kiến trúc học máy nâng cao và đánh giá mô hình. Nó chi tiết cơ chế của các Mạng nơ-ron Nhiều lớp (MLPs), nền tảng toán học của truyền ngược, và các kỹ thuật tối ưu hóa Gradient descent khác nhau. Ngoài ra, nó xử lý các vấn đề then chốt trong lựa chọn mô hình như sự cân bằng giữa sai số hệ thống và độ lệch, và các phương pháp tập hợp.

Kết quả học tập:

  • Xác định các biện pháp khắc phục suy giảm áp lực chọn lọc trong Tối ưu hóa Nhiều mục tiêu, bao gồm phương pháp dựa trên thể tích siêu khối và phương pháp phân giải.
  • Phân biệt giữa mô hình Tạo sinh và Mô hình Phân biệt, cùng vai trò tương ứng của chúng trong học máy.
  • Áp dụng quy tắc đào tạo Delta và truyền ngược sử dụng các quy tắc đạo hàm để cập nhật trọng số mạng nơ-ron.
  • Đánh giá các chiến lược giảm thiểu hiện tượng quá khớp, cụ thể là quy chuẩn hóa, dừng sớm và các kỹ thuật kiểm tra chéo khác nhau.
  • Phân tích các phương pháp học tập tập hợp (Bagging, Boosting, Stacking) để quản lý sự cân bằng giữa sai số hệ thống và độ lệch, đồng thời cải thiện đa dạng mô hình.

🔹 Bài 10: Các Thuật toán Memetic và Ảnh hưởng của Học tập Suốt đời

Tổng quan: Bài học này khám phá Các Thuật toán Memetic (MA), tích hợp khám phá toàn cục theo di truyền với tinh chỉnh địa phương nhờ học tập suốt đời. Nó nghiên cứu sự khác biệt cơ học giữa tiến hóa Lamarckian và Baldwinian, và ứng dụng tìm kiếm địa phương trong tối ưu hóa đa mục tiêu. Tài liệu cũng đề cập đến việc sử dụng các chiến lược tiến hóa để tối ưu hóa cấu trúc và tham số mạng nơ-ron.

Kết quả học tập:

  • Phân biệt giữa các Thuật toán Tiến hóa chuẩn và Các Thuật toán Memetic dựa trên việc tích hợp học tập suốt đời và tìm kiếm địa phương.
  • Đối chiếu các mô hình Lamarckian và Baldwinian về việc truyền đạt các thay đổi kiểu hình đã thu được tới thế hệ sau.
  • Đánh giá ảnh hưởng của Hiệu ứng Baldwin so với Hiệu ứng Giấu kín lên tốc độ tiến hóa và áp lực chọn lọc.
  • Mô tả phương pháp tối ưu hóa ma trận kết nối và tham số trọng số mạng nơ-ron (NN) thông qua huấn luyện tiến hóa và gradient.

🔹 Bài 11: Học máy Tiến hóa và MOML

Tổng quan: Bài học này khám phá Học máy Đa mục tiêu (MOML) như một khuôn khổ để cân bằng các mục tiêu cạnh tranh trong thiết kế mạng nơ-ron, chẳng hạn như độ chính xác so với độ phức tạp. Sử dụng các thuật toán như NSGA-II, tài liệu minh họa cách tối ưu hóa cấu trúc và tham số mạng để thu được các mô hình Pareto-tối ưu. Nội dung mở rộng những nguyên lý này sang các ứng dụng thực tiễn bao gồm trích xuất luật, phân cụm đa mục tiêu và trích xuất đặc trưng bền vững trước nhiễu.

Kết quả học tập:

  • Định nghĩa cơ sở toán học cho việc điều chỉnh dựa trên Pareto trong MOML, cụ thể là sự đánh đổi giữa sai số và độ phức tạp mô hình.
  • Giải thích cơ chế biểu diễn mạng và đột biến trong một khung tiến hóa.
  • Phân tích các mặt trước Pareto tối ưu để trích xuất các quy tắc quyết định dễ hiểu từ mạng nơ-ron.
  • Mô tả cách áp dụng tối ưu hóa đa mục tiêu vào phân cụm và trích xuất đặc trưng.

🔹 Bài 12: Tối ưu hóa Tiến hóa Dựa trên Dữ liệu và Quản lý Mô hình

Tổng quan: Bài học này đề cập đến động lực và phương pháp luận của Tối ưu hóa Tiến hóa Dựa trên Dữ liệu (DDEO), tập trung vào các tình huống mà hàm mục tiêu tính toán tốn kém. Nó chi tiết vai trò then chốt của Quản lý Mô hình và khám phá các chiến lược nâng cao như tiếp cận dựa trên cá thể và dựa trên thế hệ. Các phương pháp tối ưu hóa Bayesian sử dụng mô hình giả lập được xem xét để cân bằng khám phá và khai thác.

Kết quả học tập:

  • Xác định các động lực cốt lõi của tối ưu hóa dựa trên dữ liệu, bao gồm tính chất tính toán nặng và chi phí của các mô phỏng vật lý.
  • Phân loại các chiến lược quản lý mô hình (dựa trên cá thể, dựa trên thế hệ, và dựa trên quần thể) và các kỹ thuật triển khai cụ thể.
  • Giải thích quy trình làm việc của Tối ưu hóa Bayesian và vai trò của Quá trình Gaussian (GP) như mô hình giả lập phi tham số.

🔹 Bài 13: Tối ưu hóa Bayesian và Hàm Chiếm lĩnh

Tổng quan: Bài học này đề cập đến ứng dụng nâng cao của Tối ưu hóa Bayesian (BO) trong các khung tiến hóa, tập trung vào tối ưu hóa hỗ trợ mô hình giả lập. Nó chi tiết quá trình chuyển từ mô hình Gaussian Process (GP) chuẩn sang các tập hợp nhằm giải quyết "Vấn nạn Chiều cao". Tài liệu còn khám phá các chiến lược chuyên biệt cho các Bài toán Đa mục tiêu Có Chi phí Không đều (HE-MOPs) và chuyển giao tri thức.

Kết quả học tập:

  • Định nghĩa và so sánh các hàm chiếm lĩnh phổ biến (LCB, EI, Thompson Sampling) dùng để cân bằng khám phá và khai thác.
  • Xác định các giới hạn tính toán của Quá trình Gaussian và giải thích các chiến lược giảm chiều và thay thế mô hình giả lập.
  • Phân tích các phương pháp xử lý các mục tiêu có chi phí không đều thông qua chuyển giao tri thức theo tham số và theo trường hợp.

🔹 Bài 14: Tìm kiếm Kiến trúc Mạng nơ-ron Tiến hóa (E-NAS)

Tổng quan: Bài học này khám phá tự động hóa thiết kế mạng nơ-ron thông qua các thuật toán tiến hóa, tập trung vào sự chuyển đổi từ các kiến trúc được thiết kế thủ công sang không gian tìm kiếm tự động. Nó bao gồm quy trình E-NAS, chia sẻ trọng số trong các siêu mạng, và các kỹ thuật nâng cao như đánh giá hỗ trợ mô hình giả lập. Tài liệu cũng mở rộng sang các mô hình sinh học-inspired, bao gồm tính linh hoạt được tiến hóa và sự đồng tiến hóa hình thái.

Kết quả học tập:

  • Định nghĩa quy trình E-NAS năm bước và sự khác biệt giữa không gian tìm kiếm vĩ mô và vi mô.
  • Giải thích khái niệm chia sẻ trọng số trong siêu mạng và xác định các thách thức chính của các phương pháp một lần (one-shot).
  • Mô tả cơ chế thừa kế nút, bao gồm cách áp dụng toán tử giao phối và đột biến đối với các Đồ thị Hữu hướng Không vòng (DAGs).
  • Đánh giá các chiến lược giảm chi phí tính toán, như các chỉ số thay thế, mô hình giả lập và huấn luyện lấy mẫu.

🔹 Bài 15: Học máy Bảo mật và Học tập Phân tán

Tổng quan: Bài học này khám phá sự chuyển dịch từ học máy tập trung trên đám mây sang các khung phân tán, bảo vệ quyền riêng tư. Nó đề cập đến các kiến trúc cơ bản của Học tập Phân tán (Horizontal và Vertical) và các kỹ thuật tăng cường hiệu quả truyền thông. Bài học cũng thảo luận về việc tích hợp các thuật toán tiến hóa cho Tìm kiếm Kiến trúc Mạng nơ-ron Phân tán (NAS) và Các Thuật toán Tiến hóa An toàn Phân tán.

Kết quả học tập:

  • Phân biệt giữa học máy tập trung trên đám mây và học máy phân tán trên thiết bị về mặt quyền riêng tư, an ninh và độ chính xác mô hình.
  • Giải thích cơ chế của các kỹ thuật bảo vệ quyền riêng tư cốt lõi, bao gồm Bảo mật Vi phân, Mã hóa Đồng cấu và Tính toán Đa bên An toàn.
  • Phân tích dòng hoạt động của Học tập Phân tán Ngang và Dọc và các thách thức tương ứng với dữ liệu không IID.
  • Đánh giá các phương pháp tăng hiệu quả truyền thông, như Cập nhật Theo Lớp Bất đồng bộ và Biến đổi Tam phân.
  • Mô tả việc triển khai Tối ưu hóa Bayesian Phân tán và Các Thuật toán Tiến hóa An toàn Phân tán sử dụng bộ che chắn Diffie-Hellman.