Introduzione all'apprendimento profondo
L'apprendimento profondo è un sottobanco dell'apprendimento automatico che si concentra sullo studio di rappresentazioni gerarchiche e complesse delle caratteristiche da dati grezzi utilizzando reti neurali artificiali. Il corso copre i principi fondamentali, la matematica alla base, i concetti di ottimizzazione (discesa del gradiente, retropropagazione), i moduli di rete (strati lineari, convoluzionali, di pooling) e le architetture comuni (CNN, RNN). Vengono mostrate applicazioni in ambito visione artificiale, elaborazione del linguaggio naturale e apprendimento per rinforzo. Gli studenti utilizzeranno la libreria di deep learning PyTorch per l'implementazione e concluderanno il corso con un progetto finale su uno scenario del mondo reale.
Panoramica del corso
📚 Riepilogo del contenuto
L'apprendimento profondo è un sottodominio dell'apprendimento automatico che si concentra sullo studio di rappresentazioni di caratteristiche complesse e gerarchiche da dati grezzi utilizzando reti neurali artificiali. Il corso copre i principi fondamentali, la matematica alla base, concetti di ottimizzazione (discesa del gradiente, retropropagazione), moduli di rete (strati lineari, convoluzionali, di pooling) e architetture comuni (CNN, RNN). Vengono illustrati applicazioni in ambito visione artificiale, elaborazione del linguaggio naturale e apprendimento per rinforzo. Gli studenti utilizzeranno la libreria deep learning PyTorch per l'implementazione e completeranno un progetto finale su uno scenario del mondo reale.
Breve riepilogo degli obiettivi fondamentali: padroneggiare la teoria dell'apprendimento profondo, implementare modelli con PyTorch, comprendere architetture specializzate (CNN, RNN, Transformer) e applicare questi concetti a visione artificiale, NLP e decisioni sequenziali.
🎯 Obiettivi di apprendimento
- Spiegare le basi matematiche e le tecniche di ottimizzazione fondamentali (Discesa del Gradiente, Retropropagazione) necessarie per addestrare reti neurali profonde.
- Utilizzare il framework deep learning PyTorch per implementare, addestrare e debuggare in modo efficiente architetture moderne di rete, sfruttando l'accelerazione CUDA e tecniche efficaci di gestione dei dati.
- Progettare e analizzare architetture specializzate, inclusi Reti Neurali Convolutionali (CNN) per dati immagine e il modello Transformer per dipendenze sequenziali.
- Applicare tecniche di apprendimento profondo per risolvere problemi pratici nei domini applicativi principali: Visione Artificiale, Elaborazione del Linguaggio Naturale e Apprendimento per Rinforzo.
- Valutare modelli in termini di robustezza, interpretabilità e equità etica, confrontando i punti di forza di vari paradigmi avanzati (es. Modelli Generativi, Apprendimento Semi-Supervisionato).
Lezioni 共 10 课时 · 预计 30.0h
Lezioni
Lesson
AI003: Deep Learning Fundamentals and Optimization (Lesson 1) introduces deep learning as a high-dimensional function approximation task built upon linear algebra and multivariate calculus. Students will learn how to implement and optimize neural networks by mastering the core training cycle of forward passes, backpropagation, and weight updates using vectorized matrix operations.
This lesson introduces PyTorch Tensors as the fundamental multi-dimensional data structures used for hardware-accelerated computation and model parameters. It further explores the dynamic computation graph and the autograd engine, which allow for flexible, real-time gradient tracking and automatic differentiation during neural network training.
EvoClass-AI003: From Fully Connected to Convolutional (Lesson 3) explores the limitations of dense layers in image processing, such as parameter explosion and the loss of spatial locality. It introduces Convolutional Neural Networks (CNNs) as a solution, focusing on the use of receptive fields, weight sharing, and the mathematical definition of the 2D convolution operation.
EvoClass-AI003: Overview and Architectural Evolution (Lesson 4) explores the evolution of deep CNNs by analyzing how VGG, GoogLeNet, and ResNet addressed challenges in depth, computational efficiency, and gradient stability. Students will learn how these seminal architectures utilize techniques like small kernel stacking, bottleneck layers, and skip connections to optimize performance in ultra-deep networks.
EvoClass-AI003: Recurrent Neural Networks and Sequence Modeling (Lesson 5) explores the transition from static data models to sequential data by introducing Recurrent Neural Networks (RNNs). Students will learn how RNNs utilize shared parameters and hidden states to maintain temporal memory, while also examining the challenges of gradient instability in long-sequence processing.
EvoClass-AI003: From Recurrence to Attention (Lesson 6) explores how attention mechanisms overcome the scalability and information bottleneck limitations of traditional RNNs by enabling direct, parallelized dependency modeling. The lesson details the transition from fixed-size context vectors to dynamic, weighted contextual sums using the Query, Key, and Value tensor framework.
EvoClass-AI003: From Sparse Vectors to Semantic Space (Lecture 7). This lesson explores the limitations of sparse representations like One-Hot Encoding, which suffer from extreme dimensionality and a lack of semantic meaning, and introduces dense word embeddings as a solution that captures linguistic relationships through continuous, low-dimensional vector spaces.
This lesson introduces generative modeling as a shift from discriminative tasks to learning the underlying data distribution $P(x)$ through explicit density models like Variational Autoencoders (VAEs) and implicit models like GANs. It specifically explores the VAE framework, detailing how variational inference and the ELBO objective enable the creation of structured, continuous latent spaces for effective data synthesis and representation learning.
This lesson introduces Deep Reinforcement Learning (DRL) as a framework where agents learn optimal policies through trial-and-error interactions within a Markov Decision Process (MDP). Students will explore how agents use scalar reward signals, discount factors, and the Markov property to make sequential decisions and maximize long-term cumulative returns.
This lesson explores the labeling spectrum in machine learning, contrasting the high-cost requirements of supervised learning with the structural discovery of unsupervised learning and the hybrid efficiency of semi-supervised learning. It further examines deep unsupervised learning through autoencoders, which utilize an encoder-decoder architecture to compress data into meaningful latent representations.