PyTorch로 시작하는 응용 딥러닝 (제로 투 마스터리)

📚 콘텐츠 요약

이 과정은 머신러닝 연구 분야에서 가장 인기 있는 프레임워크인 PyTorch를 사용하여 딥러닝에 대한 종합적인 소개를 제공합니다. 텐서의 기초부터 시작해, 전체 머신러닝 워크플로우, 컴퓨터 비전, 모듈식 소프트웨어 공학, 전이 학습, 모델 배포까지 다룹니다. 커리큘럼은 "코드 중심"으로, 실습과 실험을 강조하여 학생들이 이론을 이해할 뿐만 아니라, 견고한 딥러닝 시스템을 구축하고 최적화하며 배포할 수 있도록 합니다.

핵심 목표의 간략한 요약은, 기초 수학부터 생산 준비 완료된 컴퓨터 비전 응용까지 포괄하는 전체 PyTorch 에코시스템을 마스터하는 것입니다.

🎯 학습 목표

1. 기초적인 텐서 연산부터 모델 학습, 평가, 지속성까지, 전체 PyTorch 머신러닝 워크플로우를 구현합니다.
2. 복잡한 분류 및 컴퓨터 비전 작업을 위한 인공 신경망(ANN)과 합성곱 신경망(CNN) 등 딥러닝 아키텍처를 설계하고 배포합니다.
3. 표준화된 엔지니어링 관행과 디렉터리 구조를 채택하여 실험 코드를 생산 가능한 모듈식 소프트웨어로 전환합니다.
4. 전이 학습과 체계적인 실험 추적(TensorBoard)과 같은 고급 기술을 활용하여 자체 데이터셋에서 최첨단 결과를 달성합니다.
5. 훈련된 모델을 인터랙티브 웹 애플리케이션에 배포하고, 최신 PyTorch 2.0 기능을 활용하여 추론 속도를 가속화합니다.

---

🔹 수업 1: PyTorch 기본 개념

개요: 이 기초 수업에서는 PyTorch와 그 핵심 데이터 구조인 텐서를 소개합니다. 먼저 현대 딥러닝 연구에서 PyTorch가 선호되는 이유를 설명하며, 동적 계산 그래프의 장점을 강조합니다. 주요 기술적 초점은 텐서 조작을 숙달하는 것입니다. 학생들은 다양한 방법(예: torch.zeros(), torch.rand())을 사용하여 0차 스칼라부터 고차원 행렬까지의 텐서를 초기화하는 법을 배웁니다. 중요한 연산으로는 원소 단위 산술(덧셈, 곱셈)과 행렬 곱셈(torch.matmul)과 같은 특수 선형 대수 연산을 다룹니다. 또한 인덱싱, 슬라이싱, 재형성(.view(), .reshape()), 중복 차원 제거(.squeeze()) 등의 구조적 관리 기법도 다룹니다. 마지막으로 .to()를 통해 다른 장치(CPU vs GPU)를 활용하는 중요한 개념을 다루며, 이후 수업에서 가속화된 계산을 준비합니다.

학습 성과:

• 딥러닝과 PyTorch에서 텐서가 기본 데이터 구조로서의 역할을 설명할 수 있습니다.
• 내장 메서드를 사용해 다양한 차원(스칼라, 벡터, 행렬)의 PyTorch 텐서를 생성하고 초기화할 수 있습니다.
• 표준 텐서 산술 및 행렬 곱셈과 같은 특수 연산을 수행할 수 있습니다.
• 인덱싱, 슬라이싱, 재형성, 축소 기법을 사용하여 텐서의 구조를 조작할 수 있습니다.
• 계산 가속을 위해 텐서를 CPU와 GPU 간에 효율적으로 이동할 수 있습니다.

---

🔹 수업 2: PyTorch 워크플로우

개요: 이 수업에서는 기본적인 선형 회귀 모델을 직접 구현함으로써 반복 가능한 필수적인 PyTorch 워크플로우를 설정합니다. 먼저 데이터 준비를 시작하며, 합성 데이터를 생성하고 훈련 세트와 검증 세트로 나누는 것을 중심으로 하되, 데이터 타입과 장치 일치성(CPU/GPU)의 중요성을 강조합니다. 다음으로, torch.nn.Module에서 올바르게 상속받고 forward() 패스를 구현함으로써 모델 아키텍처를 정의합니다. 워크플로우의 핵심은 적절한 손실 함수(예: 회귀용 nn.L1Loss)와 옵티마이저(확률적 경사 하강법 또는 SGD) 선택입니다. 그런 다음, 정밀하게 훈련 루프(전방 전파, 손실 계산, 기울기 초기화, 역전파, 옵티마이저 단계)와 성능 측정을 위한 테스트/평가 루프를 구성합니다. 마지막으로, torch.save()를 사용해 훈련된 모델의 상태 사전을 저장하고, 이후 추론이나 재사용을 위해 다시 불러오는 방식으로 전체 엔드투엔드 ML 사이클을 완성합니다.

학습 성과:

• PyTorch 엔드투엔드 머신러닝 워크플로우의 여섯 가지 기초 단계를 구조화하고 구현할 수 있습니다.
• torch.nn.Module에서 상속받는 클래스를 정의함으로써 단순한 선형 모델을 구축할 수 있습니다.
• 기본 회귀 작업에 적절한 손실 함수(nn.L1Loss)와 옵티마이저(torch.optim.SGD)를 적용할 수 있습니다.
• 역전파와 경사 하강법을 포함한 훈련 루프와 별도의 평가 루프를 정의하고 실행할 수 있습니다.
• 모델 지속성을 위해 PyTorch 유틸리티를 사용해 모델 상태 사전을 저장하고 로드하는 기능을 구현할 수 있습니다.

---

🔹 수업 3: 신경망 분류

개요: 이 수업에서는 선형 회귀를 넘어서 비선형 분류 문제를 해결하기 위해 PyTorch 워크플로우를 적용합니다. 먼저 이진 분류와 다중 클래스 분류의 차이를 설명하고, 이진 분류에는 시그모이드, 다중 클래스 분류에는 소프트맥스 활성화 함수를 사용해 최종 출력 레이어를 구성하는 방법을 보여줍니다. 비선형성의 중요한 개념을 숨겨진 레이어에 리유닉티(ReLU) 활성화 함수를 통합함으로써 도입하여, 네트워크가 복잡한 결정 경계를 학습할 수 있게 합니다. 학생들은 분류 작업에 적절한 손실 함수인 BCEWithLogitsLoss와 CrossEntropyLoss를 구현합니다. 실습 부분에서는 복잡한 합성 데이터셋(예: 'moons' 데이터셋)을 생성하고 훈련한 후, 결과 결정 경계를 시각적으로 플롯하여 네트워크가 비선형 데이터 포인트를 효과적으로 분리할 수 있음을 확인합니다. 이를 통해 기초 딥러닝 모델 아키텍처에 대한 완전한 숙련을 확보합니다.

학습 성과:

• 이진 및 다중 클래스 분류 작업에 대해 PyTorch 모델을 구분하고 구현할 수 있습니다.
• 복잡한 결정 경계를 가능하게 하는 비선형 활성화 함수(ReLU, 시그모이드, 소프트맥스)의 필요성을 설명할 수 있습니다.
• 적절한 손실 함수(BCEWithLogitsLoss, CrossEntropyLoss)를 적용하고 분류 정확도 지표를 계산할 수 있습니다.
• 비선형 데이터셋에 대해 전체 PyTorch 분류 워크플로우를 구현할 수 있습니다.
• 모델이 학습한 결정 경계를 시각화하고, 데이터 포인트 분류 능력을 해석할 수 있습니다.

---

🔹 수업 4: CNN을 이용한 컴퓨터 비전

개요: 이 세션은 구조화된 데이터 처리에서 고차원 이미지 데이터 처리로의 중요한 전환을 나타냅니다. 특수한 딥러닝 아키텍처가 필요합니다. 먼저 이미지를 다차원 PyTorch 텐서로 표현하는 방식을 명확히 하고, 표준 형식 표기법(N, C, H, W: 배치 크기, 채널 수, 높이, 너비)에 집중합니다. 이론적 핵심은 합성곱 신경망(CNN)을 소개하며, 합성곱 레이어(nn.Conv2d)가 지역 공간적 특징을 효율적으로 추출하는 방식과, 풀링 레이어(nn.MaxPool2d)가 중요한 정보를 유지하면서 차원을 감소시키는 방식을 설명합니다. 코드 중심 접근법을 통해, 작고 완전한 작은 규모의 CNN 아키텍처(예: TinyVGG의 복제본)를 처음부터 구축하고 훈련하여 기능적인 컴퓨터 비전 모델의 실습 예를 제공합니다. 마지막으로, 이전에 사용했던 선형 네트워크와의 근본적인 차이를 비교하여, 왜 CNN이 이미지의 패턴 인식에 뛰어나다는 직관을 굳건히 합니다.

학습 성과:

• 이미지 데이터를 PyTorch에서 (N, C, H, W) 텐서 형식으로 설명하고 활용할 수 있습니다.
• PyTorch 모델 내에서 합성곱(nn.Conv2d) 및 풀링(nn.MaxPool2d) 레이어를 구현할 수 있습니다.
• 분류 작업을 위한 완전한 작고 작은 규모의 CNN 아키텍처(예: TinyVGG의 복제본)를 구축하고 훈련할 수 있습니다.
• 선형 레이어와 CNN 간의 특징 추출 및 가중치 공유 기능의 근본적인 차이를 설명할 수 있습니다.

---

🔹 수업 5: 사용자 정의 데이터셋

개요: 이 중요한 세션은 구조화된 장난감 예제(예: MNIST)와 복잡하고 비구조화된 현실 세계의 이미지 데이터 사이의 격차를 메우며, 실질적인 "FoodVision" 컴퓨터 비전 프로젝트의 기반을 마련합니다. 먼저, PyTorch에서 사용할 수 있는 올바른 디렉터리 구조를 배우며, 파일 경로에서 자동으로 데이터를 로드하고 레이블을 추론하는 매우 효율적인 torchvision.datasets.ImageFolder 클래스를 활용합니다. 특히, 사용자 정의 torch.utils.data.Dataset 클래스의 개념을 숙지하여, 임의의 데이터 형식에 대해 데이터 로딩 로직, 전처리, 레이블 처리를 완전히 제어할 수 있게 합니다. 그런 다음, 효율적인 데이터 배치, 섞기, 다중 스레드 로딩을 관리하기 위해 DataLoader를 소개합니다. 마지막으로, 데이터 증강 기술과 PyTorch Transforms를 다루며, 제한된 데이터셋의 효과적 크기를 확장하고 모델의 일반화 및 강건성을 향상시키는 데 필수적인 기술을 다룹니다.

학습 성과:

• 실제 세계의 이미지 데이터를 PyTorch 유틸리티가 기대하는 디렉터리 형식으로 구조화할 수 있습니다.
• 디스크에서 사용자 정의 이미지 데이터셋을 효율적으로 로드하기 위해 torchvision.datasets.ImageFolder를 활용할 수 있습니다.
• 고유하거나 복잡한 데이터 로딩 요구사항을 처리하기 위해 사용자 정의 torch.utils.data.Dataset 클래스를 구현할 수 있습니다.
• 전처리(크기 조정, 텐서 변환) 및 데이터 증강(회전, 뒤집기)을 위한 다양한 torchvision.transforms를 적용할 수 있습니다.
• Dataset을 DataLoader와 통합하여 배치 처리, 섞기, 최적화된 병렬 데이터 로딩을 관리할 수 있습니다.

---

🔹 수업 6: 모듈화하기 (소프트웨어 공학)

개요: 이 세션은 실험적인 Jupyter 노트북 코드에서 지속 가능한 생산 준비 소프트웨어 공학 관행으로 전환하는 데 있어 매우 중요합니다. 기존의 거대한 노트북 코드를 구조화되고 재사용 가능한 파이썬 스크립트로 리팩토링하는 필수 단계를 다룹니다. 핵심 개념은 표준화된 PyTorch 프로젝트 구조를 설정하고, 각각의 책임을 전담 모듈로 분리하는 것입니다. 구축해야 할 주요 모듈에는 데이터 설정을 담당하는 data_setup.py(데이터 로딩, 전처리, DataLoaders), model_builder.py(nn.Module에서 상속하는 모델 정의 포함), 그리고 훈련 및 테스트 루프를 관리하는 engine.py가 있습니다. 마지막으로, 학생들은 명령줄에서 표준 파이썬 실행을 통해 하이퍼파라미터 정의 및 장치 선택을 포함한 전체 훈련 워크플로우를 초기화하고 실행하는 방법을 배웁니다. 이는 배포 및 대규모 실험에 필수적입니다.

학습 성과:

• 실험적 노트북 코드와 조직화된 모듈식 파이썬 스크립트 아키텍처의 차이를 설명할 수 있습니다.
• 확장성과 협업을 위한 표준화된 PyTorch 프로젝트 디렉터리 구조를 구현할 수 있습니다.
• 기존의 모델 훈련 로직을 독립적이고 재사용 가능한 모듈들(예: data_setup.py, model_builder.py, engine.py)로 리팩토링할 수 있습니다.
• 전체 훈련 프로세스를 명령줄에서 실행하기 위한 메인 실행 스크립트를 설정할 수 있습니다.
• 모듈식 코드의 실용적 이점(테스트, 버전 관리, 생산 배포 준비성)을 설명할 수 있습니다.

---

🔹 수업 7: 전이 학습

개요: 전이 학습은 거대한 데이터셋(예: ImageNet)에서 훈련된 모델로부터 얻은 지식을 활용하여 작은 전문화된 문제에 효율적으로 적용하는 강력한 기술입니다. 이 세션에서는 핵심 이론을 소개하며, 사전 훈련된 가중치(특히 torchvision.models를 통해 가져올 수 있는 ResNet 또는 EfficientNet과 같은 모델)가 적은 데이터와 계산 시간으로 최첨단 결과를 달성하는 데 필수적이라는 점을 강조합니다. 실습 구현은 특징 추출(Feature Extraction)에 초점을 맞춥니다. 학생들은 모델을 로드하고, PyTorch의 requires_grad=False를 사용해 합성곱 기반 레이어의 매개변수를 고정한 후, 새로운 목표 도메인(예: 진행 중인 'FoodVision' 프로젝트)에 맞춰 최종 분류 헤드만 전략적으로 교체하고 훈련하는 방법을 배웁니다. 또한 이 방법을 전체 네트워크를 재훈련하는 더 계산량이 많은 피팅(Fine-tuning) 방법과 대조합니다.

학습 성과:

• 전이 학습의 이론적 장점과 필요한 일반적인 상황을 설명할 수 있습니다.
• PyTorch torchvision.models 유틸리티를 사용해 일반적인 사전 훈련된 모델 아키텍처를 로드하고 검사할 수 있습니다.
• 기반 합성곱 레이어의 매개변수를 고정함으로써 특징 추출을 성공적으로 구현할 수 있습니다.
• 사전 훈련된 모델의 분류기 헤드를 새로운 사용자 정의 분류 작업에 맞게 수정할 수 있습니다.
• 특징 추출(고정)과 피팅(고정 해제) 전략 간의 차이를 구별할 수 있습니다.

---

🔹 수업 8: 실험 추적 (마일스톤 프로젝트 1)

개요: 단일 모델 훈련에서부터 심층적인 비교(예: 일반적인 CNN과 전이 학습 모델 비교)로 진전됨에 따라, 수동 로깅은 부족해집니다. 이 수업은 체계적인 실험 추적의 필수적인 관행을 설정합니다. 우리는 PyTorch의 내장 솔루션인 torch.utils.tensorboard.SummaryWriter를 소개하고 구현하여 성능 데이터를 로그 및 관리합니다. 학생들은 훈련 루프에 필요한 스칼라 메트릭(예: 에포크별 훈련 및 검증 손실, 정확도, 학습률)을 기록하도록 코드를 인스트루먼트하는 방법을 배웁니다. 주요 목적은 TensorBoard 인터페이스를 시작하고 사용하여 여러 실행 결과를 측면 비교할 수 있도록 하여, 하이퍼파라미터 변경, 아키텍처 결정, 최적화 전략에 대한 객관적인 분석을 가능하게 하며, 재현성과 모델 개선 속도를 보장합니다.

학습 성과:

• 딥러닝의 재현성과 효율성을 보장하기 위해 체계적인 실험 추적이 필요한 이유를 설명할 수 있습니다.
• torch.utils.tensorboard.SummaryWriter 클래스를 사용하여 훈련 루프 내에서 스칼라 메트릭(손실, 정확도)을 로그할 수 있습니다.
• TensorBoard 인터페이스를 시작하고 탐색하여 메트릭 곡선을 시각화하고 서로 다른 실험 실행의 성능을 비교할 수 있습니다.
• 하이퍼파라미터 설정(예: 배치 크기, 학습률) 변화와 모델 아키텍처의 영향을 체계적으로 비교하기 위해 추적 기술을 적용할 수 있습니다.

---

🔹 수업 9: 논문 재현 (마일스톤 프로젝트 2)

개요: 이 수업은 과정의 정점이며, 학생들에게 이론적인 딥러닝 연구를 기능적인 코드로 전환하는 도전을 제시합니다. 과거의 과학적 논문에서 현대적인 아키텍처를 재현합니다. 먼저, 일반적인 ML 논문의 구조를 설명하며, 특히 '방법론' 섹션에서 아키텍처 세부 사항과 수학적 표현을 어떻게 추출하는지에 초점을 맞춥니다. 핵심 기술 작업은 복잡한 수학적 방정식(예: 주목적 메커니즘 또는 새로운 레이어 유형)을 직접 파이토치 모듈로 매핑하는 것입니다. 예: 비전 트랜스포머(ViT)와 같은 현대적 예제를 사례로 삼아 구현합니다. 복잡한 다성분 모델을 위한 체계적인 디버깅 전략에 대한 강조가 있으며, 형태 호환성, 가중치 초기화, 기울기 흐름 검증과 같은 도전 과제를 해결함으로써, 학생들이 최첨단 모델을 처음부터 성공적으로 구현할 수 있도록 합니다.

학습 성과:

• 머신러닝 연구 논문에서 제시된 아키텍처 설명과 수학적 기호를 분해하고 분석할 수 있습니다.
• 복잡한 알고리즘 단계와 공식(예: 자기 주목적 메커니즘)을 사용자 정의 nn.Module 클래스를 사용하여 파이토치의 자연스러운 코드로 직접 번역할 수 있습니다.
• 현대적이고 복잡한 딥러닝 아키텍처(예: 비전 트랜스포머)의 모든 필요 구성 요소를 처음부터 완전히 구현하고 통합할 수 있습니다.
• 최첨단 모델을 재현할 때 발생하는 형태 오류, 장치 불일치, 로직 결함과 같은 문제를 해결하기 위해 고급 디버깅 전략을 적용할 수 있습니다.

---

🔹 수업 10: 모델 배포 및 PyTorch 2.0

개요: 이 최종 수업은 훈련된 파이토치 모델을 연구 환경에서 공공 접근 가능한 인터랙티브 웹 애플리케이션으로 전환하는 데 초점을 맞춥니다. 먼저, 생산 환경에서 효율적인 로딩과 추론을 위한 모델 준비의 중요한 단계를 배웁니다. 핵심 실습 활동은 빠른 프로토타이핑 도구(예: Gradio 또는 Streamlit)를 사용해 기능적인 웹 데모를 구축하는 것입니다. 사용자는 데이터를 입력하고 즉시 예측을 받을 수 있습니다. 그런 다음, 이러한 애플리케이션을 호스팅하는 실용적인 전략을 다루며, Hugging Face Spaces와 같은 플랫폼을 활용합니다. 마지막으로, 프레임워크의 미래를 살펴보고, 특히 파이토치 2.0에서 도입된 성능 향상 및 컴파일 기능에 대해 탐구합니다. 'torch.compile'과 같은 혁신 기능이 훈련과 배포 모두에서 의미 있는 속도 향상을 제공한다는 것을 보여줍니다.

학습 성과:

• 생산 환경에서 효율적인 로딩과 추론을 위한 훈련된 파이토치 모델 아티팩트를 준비할 수 있습니다.
• Gradio 또는 Streamlit을 사용하여 기능적이고 인터랙티브한 웹 데모 인터페이스를 개발할 수 있습니다.
• 개발된 머신러닝 애플리케이션을 공공 플랫폼(예: Hugging Face Spaces)에 호스팅할 수 있습니다.
• 파이토치 2.0의 'torch.compile' 기능의 핵심 개념과 작동 원리를 설명할 수 있습니다.
• 이전의 모듈식 코드 관행과 배포 지식을 통합하여 최종 엔드투엔드 프로젝트를 만들 수 있습니다.