대규모 언어 모델 심층 탐구
이 과정은 대규모 언어 모델(LLM)의 발전 역사, 핵심 기술 아키텍처, 학습 패러다임(사전학습, 파인튜닝 및 정렬), 다중모달 확장, 프롬프트 엔지니어링, 사고의 사슬 추론, 에이전트, 그리고 모델 안전성과 개인정보 보호와 같은 최신 주제에 대한 종합적이고 심층적인 소개를 제공합니다.
강좌 개요
📚 콘텐츠 개요
이 과정은 대규모 언어 모델(LLM)의 진화, 핵심 기술적 아키텍처, 훈련 방식(사전 훈련, 미세 조정, 정렬), 다중 모달 확장, 프롬프트 엔지니어링, 사고 체인(Chain of Thought, CoT), 에이전트, 그리고 모델 안전성과 개인정보 보호와 같은 최전선 주제에 대한 포괄적이고 심층적인 소개를 제공합니다.
전체 스택 대규모 모델의 기술적 진화와 안전성 정렬에 대한 깊이 있는 분석: 사전 훈련에서 일반 에이전트까지.
🎯 학습 목표
- 모델 아키텍처 구분하기: 인코더만 사용하는, 디코더만 사용하는, 인코더-디코더 아키텍처의 구조적 차이와 활용 사례를 식별한다.
- LLM 훈련 파이프라인 설명하기: 자기 지도적 사전 훈련에서부터 감독 미세 조정(SFT) 및 인간 피드백을 통한 강화 학습(RLHF)으로의 전환 과정을 설명한다.
- 모델 규모 및 행동 분석하기: 규모 법칙, 등장 능력(문맥 내 학습, 사고 체인), 환각 현상 등의 개념을 설명한다.
- 인코더만 사용하는(BERT), 디코더만 사용하는(GPT), 인코더-디코더(T5) 아키텍처 간의 구조적 차이를 분석한다.
- 세 단계 훈련 과정 설명하기: 사전 훈련(베이스 모델), 지시 미세 조정(SFT), 정렬(RLHF/PPO).
- GPT, Llama, Qwen, DeepSeek 등 주류 LLM들의 성능, 규모 법칙, 아키텍처 혁신을 비교한다.
- 구조화된 데이터 추출 및 분류를 위한 제로샷 및 패시샷 프롬프트 전략을 구현한다.
- 창의적 출력과 결정론적 출력 사이의 균형을 위해 모델 하이퍼파라미터(온도, Top P, 패널티)를 조정한다.
- 수동, 자동, 제로샷("단계적으로 생각해 봅시다") 방법을 활용하여 효과적인 사고 체인(CoT) 프롬프트를 구성한다.
- CoT 유형 분석 및 비교하기: 자기 일관성, 사고 프로그램(PoT), 사고 트리(ToT), 사고 그래프(GoT) 아키텍처의 차이점을 구분한다.
수업 共 8 课时 · 预计 24.0h
수업
Lesson
This lesson explores the paradigm shift from task-specific AI to general-purpose Large Language Models, highlighting how scaling laws and the Transformer architecture enable emergent reasoning capabilities. Students will learn how the self-attention mechanism allows models to process data in parallel and why decoder-only architectures have become the standard for modern generative AI.
This lesson explores the evolution of Transformer architectures, highlighting why the industry has shifted toward Decoder-only models due to their superior scaling laws and generative capabilities. It also examines the foundational training pipeline, covering the transition from pre-training and Chinchilla optimality to modern instruction tuning and alignment techniques.
This lesson explores the evolution of prompting strategies, ranging from zero-shot instructions to few-shot demonstrations and Chain-of-Thought reasoning for complex logic. Students will learn how to improve model performance and reliability by using structural constraints, logical decomposition, and precise formatting to ensure outputs are suitable for programmatic use.
This lesson explores the evolution of reasoning in large language models, moving from linear Chain-of-Thought to advanced structured architectures like Tree-of-Thought and Graph-of-Thought. Students will learn how these frameworks, alongside techniques like Program of Thought and knowledge editing, enable models to perform deliberate planning, verification, and complex mathematical problem-solving.
This lesson explores the challenges of AI safety, focusing on the training paradox between model helpfulness and harmlessness, as well as the mechanics of adversarial jailbreak attacks. It also introduces statistical watermarking techniques, such as the KGW framework, which use vocabulary partitioning and logit bias to embed detectable, invisible signatures into AI-generated content.
This lesson explores the fundamental conflict in AI alignment between maintaining model helpfulness and ensuring harmlessness, highlighting how jailbreak attacks exploit this tension through role-playing and cognitive coercion. Students will learn how these vulnerabilities function and examine technical strategies, such as intent analysis and robust system prompting, to defend against prompt-based bypass attempts.
This lesson explores the evolution of Multi-modal Large Language Models (MLLMs) from vision-centric systems to integrated architectures capable of processing diverse sensory inputs like audio and 3D data. Students will learn how specialized encoders and projection bridges align non-textual signals into a unified semantic space, enabling the model to effectively reason across multiple modalities.
This lesson explores the development of autonomous GUI agents that use a tripartite architecture—planning, decision-making, and reflection—to interact with software interfaces. It further examines how Reinforcement Learning and RLHF enable these agents to adapt to dynamic environments while maintaining safety and reliability against potential risks.