WU | 지능형 최적화
고급 과정으로, 전통적인 기울기 방법부터 현대의 진화적 메타휴리스틱, 다목적 최적화, 대체 모델, 연합 기계 학습 응용에 이르는 지능형 최적화 기법의 이론과 적용을 다룹니다.
수업
Lesson
강좌 개요
📚 콘텐츠 요약
고전적 수학 최적화, 진화 계산 및 현대적인 머신러닝의 융합을 탐구하는 고급 과정. 단일 목적 및 다중 목적 최적화, 데이터 기반 전략, 신경망 아키텍처 탐색(Neural Architecture Search)과 연합 학습(Federated Learning) 같은 고급 주제를 다룬다.
데이터 중심 및 다중 목적 최적화를 통해 지능의 진화를 마스터하라.
🎯 학습 목표
- [복잡한 데이터 기반 수학 문제에 고급 최적화 기법을 적용한다.]
- [다중 목적 상황을 위한 진화적 및 머신러닝 아키텍처를 설계하고 평가한다.]
🔹 수업 1: 최적화의 기본 원리
개요: 이 수업은 최적화의 수학적 기초에 대한 종합적인 소개를 제공하며, 고전적인 기울기 기반 기법에서 생물학적으로 영감을 받은 진화 전략까지 다룬다. 결정 변수, 목적 함수, 제약 조건의 엄밀한 정의를 설정하면서 최적화 문제의 분류 체계를 탐구한다. 뉴턴-랍슨과 경사 하강법과 같은 국소 탐색 방법에서 자연 진화의 원리와 유전 알고리즘(GA)의 메커니즘으로 넘어간다.
학습 성과:
- 최적화 문제를 정의하고 분류한다: 수학적 성질과 제약 조건에 따라 연속형, 이산형, 조합형, 볼록 최적화를 구분한다.
- 고전적 기울기 기반 방법을 실행한다: 뉴턴-랍슨 방법과 경사 하강법(변형된 RPROP 및 모멘텀 포함)을 미분 가능한 함수의 국소 최적해를 찾는 데 적용한다.
- 생물학적 진화를 계산 논리로 변환한다: 형질형/유전자형, 자연 선택과 진화 알고리즘(EA)의 구조 간의 관계를 설명한다.
- 알고리즘적 도전 과제를 해결한다: 이진 코드에서의 "햄밍 절벽", "기울기 소실 문제", 헤시안 역행렬 계산의 계산 비용과 같은 일반적인 문제를 식별하고 완화한다.
🔹 수업 2: 유전 알고리즘: 인코딩, 선택 및 유전 연산자
개요: 이 수업은 표준형과 실수형 유전 알고리즘(RCGAs)의 핵심 메커니즘을 다룬다. 이진, 그레이, 실수 인코딩 등 다양한 변수 표현 방식과 교차 및 변이 등의 재생 메커니즘을 탐구한다. 또한 패널티 함수와 수리 방법을 통한 제약 조건 처리 및 조합 최적화 문제 해결 기술을 소개한다.
학습 성과:
- 이진 인코딩과 그레이 인코딩의 차이점을 분석하고, 탐색의 인과성과 "햄밍 절벽"에 미치는 영향을 이해한다.
- 선택 확률을 계산하고, 이진 문자열을 정수 또는 실수 결정 변수로 디코딩한다.
- 이진형(다점, 균일)과 실수형(블랙스킨-엑스포지션, 선형) 유전 알고리즘에 대해 다양한 교차 연산자를 구분한다.
- 이진 여행자 문제(TSP)와 같은 NP-완전 문제에서 제약 조건과 조합 최적화를 다루기 위한 전략을 제시한다.
🔹 수업 3: 진화 전략과 스텝 크기 적응
개요: 이 수업은 고급 진화 계산 기법, 특히 제약 조건 처리 메커니즘과 진화 전략(ES)의 메커니즘에 초점을 맞춘다. 이진에서 연속 최적화로의 전환을 강조하며, 스텝 크기 적응의 중요성을 설명한다. 주요 방법으로는 1/5 성공률 규칙과 공분산 행렬 적응(CMA-ES)이 다뤄진다.
학습 성과:
- 제약 조건 처리 기법을 평가한다: 연속 문제에 대한 기울기 기반 수리 방법과 불가능 해에 대한 확률적 순위 기법을 설명한다.
- 실수형 유전 알고리즘 연산자(특히 시뮬레이션 이진 교차, 다항 변이)를 적용한다.
- 진화 전략(ES)의 알고리즘 구조를 분석한다: (1+1)-ES와 (μ, λ), (μ + λ) 선택을 사용하는 집단 기반 변형을 포함한다.
- 스텝 크기 적응의 수학적 논리를 설명한다: 1/5 성공률, 전역 스텝 크기, 개별 스텝 크기 전략을 비교한다.
🔹 수업 4: 유전 프로그래밍과 트리 기반 표현
개요: 이 수업은 수학적 함수와 코드를 트리 구조로 표현함으로써 최적화 및 머신러닝 문제를 해결하는 유전 프로그래밍(GP)에 대해 다룬다. 학생들은 초기화 방법과 유전 연산자를 통해 이러한 구조를 어떻게 진화시키는지 탐구한다. 또한 기호 회귀 내에서 패널티 적합도 함수를 활용한 제약 조건 처리 기술을 다룬다.
학습 성과:
- 트리 기반 표현에서 원시 함수 세트와 종단 세트의 차이를 구분한다.
- 초기화 전략을 실행한다: 플러드, 그로우, 램프드-하프-앤프레드 방법을 포함한다.
- 트리 기반 재조합과 변이의 메커니즘을 분석하고, 인구 크기와 구조에 미치는 영향을 평가한다.
- 진화 최적화에서 제약 조건을 다루기 위한 기법을 평가한다: 강제, 동적, 적응형 패널티를 포함한다.
🔹 수업 5: 차분 진화와 입자 군집 최적화의 변종
개요: 이 수업은 고급 메타휴리스틱 최적화 기법을 탐구한다. 조합 및 연속 문제에 대한 수리 기반 제약 조건 처리부터 시작하여, 차분 진화(DE)와 표준 입자 군집 최적화(CPSO)의 메커니즘을 깊이 있게 분석한다. 대규모 최적화를 위한 특수 변종인 경쟁 기반 입자 군집 최적화(CSO)와 사회 학습 입자 군집 최적화(SL-PSO)까지 확장된다.
학습 성과:
- 제약 조건 처리 기법을 분석한다: 조합 문제에 대한 유전자 교체 및 연속 문제에 대한 기울기 기반 수리 방법을 포함한다.
- 차분 진화의 수학적 연산자(벡터 차분 변이, 교차, 선택)를 실행한다.
- 표준 입자 군집 최적화 및 변종(국부적 PSO, 구속 인자, CSO)의 속도 및 위치 갱신 방정식을 구성한다.
- 학습 전략(예: 글로벌 최적값 대비 사회 학습)에 따라 다양한 군집 지능 모델을 구분한다.
🔹 수업 6: 다목적 최적화: 파레토 지배와 고전적 방법
개요: 이 수업은 단일 목적 최적화(SOO)에서 다목적 최적화(MOO)로의 핵심 전환을 다룬다. MOO는 단일 최적해가 아닌 상충되는 해의 집합을 결과로 낳는다는 점을 강조한다. 이 수업은 가중 평균화 같은 고전적 방법과, 모어아디/알렉스 같은 현대적 진화 분해 접근법을 평가한다.
학습 성과:
- 파레토 지배, 파레토 최적 집합, 파레토 프론트를 수학적으로 정의한다.
- 사전, 사후, 상호작용적 접근 방식을 다목적 최적화에서 구분한다.
- 고전적 가중 평균화의 한계를 평가한다. 특히 오목한 파레토 프론트에서의 문제를 다룬다.
- 분해 기반 알고리즘의 메커니즘을 설명한다: 가중치 적응과 참조 벡터 안내를 포함한다.
🔹 수업 7: 지배 기반 다목적 최적화 접근법과 성능 지표
개요: 이 수업은 다목적 최적화(MOO)에서 지배 기반 접근법을 탐구하며, 단일 목적 방법에서 지배 및 다양성 기반 선택으로의 전환 전략을 다룬다. 특정 적합도 할당 기법, 예를 들어 순위 매핑과 다양성 유지 기법(닉싱)을 설명한다. 또한 NSGA-II 프레임워크에 적용되는 주요 비지배 정렬 알고리즘의 절차적 단계와 계산 복잡도를 평가한다.
학습 성과:
- 단일 목적 선택에서 지배 기반 및 다양성 기반 적합도 할당으로의 전환을 분석한다.
- 공유 함수를 사용하여 해의 순위, 적합도 매핑, 니치 수를 계산한다.
- 기본, 빠른, 효율적인 비지배 정렬 알고리즘의 절차적 논리와 계산 복잡도를 비교한다.
- 비지배 정렬 유전 알고리즘(NSGA-II)의 실행 흐름을 서술한다.
🔹 수업 8: 분포 추정 알고리즘과 규칙성 모델링
개요: 이 수업은 다목적 최적화에서 고급 선택 메커니즘을 탐구한다. 특히 NSGA-II의 농도 거리와 성능 지표인 IGD 및 하이퍼볼륨을 다룬다. 이후 분포 추정 알고리즘(EDAs)으로 넘어가며, 전통적인 유전 연산자를 확률 모델로 대체한다. 마지막으로, 파레토 집합의 기하학적 성질을 활용해 탐색 효율을 향상시키는 "규칙성 모델링"(MR-MOO)을 소개한다.
학습 성과:
- NSGA-II 선택을 계산하고 구현한다: 농도 거리를 정의하고 계산하며, 농도 토너먼트 선택 규칙을 적용한다.
- 다목적 최적화 성능을 평가한다: 세대 거리(GD), 반대 세대 거리(IGD), 하이퍼볼륨 같은 성능 지표를 구분한다.
- EDA 메커니즘을 분석한다: 무작위 탐색 연산자에서 확률 모델 구축 및 샘플링으로의 전환(UMDA, UGM, MGM 포함)을 설명한다.
- 다목적 최적화 문제에서 규칙성을 모델링한다: 파레토 집합의 (m-1)차원 매니폴드 성질을 설명하고, 지역적 주성분 분석과 잠재 공간 매핑이 MR-MOO에서 어떻게 사용되는지 설명한다.
🔹 수업 9: 머신러닝: 신경망, 역전파, 모델 선택
개요: 이 수업은 다목적 최적화에서 고급 머신러닝 아키텍처와 모델 평가로의 전환을 다룬다. 다층 퍼셉트론(MLP)의 메커니즘, 역전파의 수학적 기초, 다양한 경사 하강 최적화 기법을 설명한다. 또한 모델 선택에서 중요한 문제인 편향-분산 트레이드오프와 앙세블 방법을 다룬다.
학습 성과:
- 다목적 최적화에서 선택 압력 감소를 해결하기 위한 조치를 식별한다: 하이퍼볼륨 기반 및 분해 기반 방법을 포함한다.
- 생성적 모델과 판별적 모델을 구분하고, 머신러닝에서 각각의 역할을 설명한다.
- 델타 학습 규칙과 미분 규칙을 사용하여 역전파를 적용하고 신경망 가중치를 업데이트한다.
- 오버피팅을 완화하기 위한 전략을 평가한다: 정규화, 조기 중단, 다양한 교차 검증 기법을 포함한다.
- 앙세블 학습 방법(백킹, 부스팅, 스택킹)을 분석하여 편향-분산 트레이드오프를 관리하고 모델 다양성을 향상시킨다.
🔹 수업 10: 기억 알고리즘과 생애주기 학습의 영향
개요: 이 수업은 전역 유전 탐색과 생애주기 학습을 통한 국소 형질적 정교화를 통합한 기억 알고리즘(MA)을 탐구한다. 라마르크주의와 밴달리안 진화의 기계적 차이를 분석하고, 다목적 최적화에서 국소 탐색의 적용을 살펴본다. 또한 진화 전략을 활용하여 신경망 구조와 파라미터를 최적화하는 방법을 다룬다.
학습 성과:
- 생애주기 학습과 국소 탐색의 포함 여부에 따라 표준 진화 알고리즘과 기억 알고리즘을 구분한다.
- 라마르크주의와 밴달리안 패러다임이 후손에게 획득된 형질 변화를 전달하는 방식의 차이를 대조한다.
- 밴달리안 효과와 숨김 효과가 진화 속도와 선택 압력에 미치는 영향을 평가한다.
- 진화적 및 기울기 기반 학습을 통해 신경망 연결 행렬과 가중치 파라미터를 최적화하는 방법을 설명한다.
🔹 수업 11: 진화적 머신러닝과 다목적 머신러닝(MOML)
개요: 이 수업은 다목적 머신러닝(MOML)을 신경망 설계에서 경쟁적 목적을 균형잡는 프레임워크로 탐구한다. 정확도 대 비용이라는 목표의 상충을 다룬다. NSGA-II 같은 알고리즘을 사용하여 네트워크 구조와 파라미터를 최적화하고, 파레토 최적 모델을 도출한다. 내용은 규칙 추출, 다목적 클러스터링, 노이즈 내성 특징 추출과 같은 실제 응용으로 확장된다.
학습 성과:
- MOML에서 파레토 기반 정규화의 수학적 기반을 정의한다: 오차와 모델 복잡도 사이의 트레이드오프를 포함한다.
- 진화 프레임워크 내에서 네트워크 표현과 변이의 메커니즘을 설명한다.
- 파레토 최적 프론트를 분석하여 신경망에서 해석 가능한 의사결정 규칙을 추출한다.
- 다목적 최적화가 클러스터링과 특징 추출에 어떻게 적용되는지 설명한다.
🔹 수업 12: 데이터 기반 진화적 최적화와 모델 관리
개요: 이 수업은 계산 비용이 큰 목적 함수가 존재하는 상황에서 데이터 기반 진화적 최적화(DDEO)의 동기와 방법론을 다룬다. 모델 관리의 핵심 역할을 설명하며, 개인 기반 및 세대 기반 접근 방식과 같은 고급 전략을 탐색한다. 베이지안 최적화를 사용한 대체 모델을 활용하여 탐색과 탐색의 균형을 맞춘다.
학습 성과:
- 데이터 기반 최적화의 핵심 동기를 식별한다: 계산 집약성과 물리적 시뮬레이션의 비용.
- 모델 관리 전략(개인 기반, 세대 기반, 집단 기반)을 분류하고, 각각의 구체적 구현 기술을 설명한다.
- 베이지안 최적화의 워크플로우를 설명하고, 비모수적 대체 모델로서 가우시안 프로세스(GP)의 역할을 설명한다.
🔹 수업 13: 베이지안 최적화와 취득 함수
개요: 이 수업은 진화적 프레임워크 내에서 베이지안 최적화(BO)의 고급 응용을 다룬다. 특히 대체 모델 지원 최적화에 초점을 맞춘다. 표준 가우시안 프로세스(GP) 모델에서 차원 축소를 해결하기 위해 앙상블으로 전환하는 과정을 설명한다. 또한 비동질하게 비싼 다목적 문제(HE-MOP)와 지식 전달을 위한 특수 전략을 탐색한다.
학습 성과:
- 탐색과 탐색의 균형을 맞추는 데 사용되는 일반적인 취득 함수(LCB, EI, 톰슨 샘플링)를 정의하고 비교한다.
- 가우시안 프로세스의 계산적 제약 조건을 식별하고, 차원 축소 및 대체 모델 전략을 설명한다.
- 파라미터 기반 및 인스턴스 기반 지식 전달을 통해 비동질적으로 비싼 목적 함수를 처리하는 방법을 분석한다.
🔹 수업 14: 진화적 신경망 아키텍처 탐색 (E-NAS)
개요: 이 수업은 진화 알고리즘을 활용하여 신경망 설계를 자동화하는 것을 탐구한다. 수작업 설계에서 자동화된 탐색 공간으로의 전환을 중심으로 한다. E-NAS 파이프라인, 슈퍼넷에서의 가중치 공유, 그리고 대체 평가 기술 같은 고급 기법을 다룬다. 또한 생물학적으로 영감을 받은 모델, 예를 들어 진화된 유연성과 형태의 공진화로 확장된다.
학습 성과:
- 다섯 단계로 구성된 E-NAS 프로세스를 정의하고, 매크로 및 마이크로 탐색 공간의 차이를 설명한다.
- 슈퍼넷에서의 가중치 공유 개념을 설명하고, 일회성 방법의 주요 도전 과제를 식별한다.
- 노드 상속의 메커니즘을 설명한다: 교차 및 변이 연산자가 방향성 비순환 그래프(DAG)에 어떻게 적용되는지 설명한다.
- 대체 메트릭, 대체 모델, 샘플링된 학습을 통한 계산 비용 감소 전략을 평가한다.
🔹 수업 15: 개인정보 보호 및 연합 머신러닝
개요: 이 수업은 중앙 집중형 클라우드 기반 머신러닝에서 분산되고 개인정보 보호가 보장된 프레임워크로의 전환을 탐구한다. 수평적 및 수직적 연합 학습의 기본 아키텍처를 설명하고, 통신 효율성을 높이는 기술을 다룬다. 또한 연합 신경망 아키텍처 탐색(NAS)과 안전한 연합 진화 알고리즘을 위한 진화 알고리즘의 통합을 논의한다.
학습 성과:
- 개인정보, 보안, 모델 정확도 측면에서 중앙 집중형 클라우드 학습과 분산형 장치 내 학습의 차이를 구분한다.
- 핵심 개인정보 보호 기술의 메커니즘을 설명한다: 차분적 개인정보 보호, 동형 암호화, 안전한 다자간 계산.
- 수평적 및 수직적 연합 학습의 운영 흐름을 분석하고, 비독립 동일 분포(Non-IID) 데이터에서의 각각의 도전 과제를 설명한다.
- 통신 효율성을 높이는 방법을 평가한다: 계층별 비동기 업데이트, 삼항 양자화 등을 포함한다.
- 디피-헬먼 마스킹을 사용하여 연합 베이지안 최적화 및 안전한 연합 진화 알고리즘의 구현을 설명한다.