Pengantar Deep Learning
Deep learning adalah bidang bawah dari machine learning yang berfokus pada pembelajaran representasi fitur kompleks dan hierarkis dari data mentah menggunakan jaringan saraf tiruan. Mata kuliah ini mencakup prinsip dasar, matematika di baliknya, konsep optimasi (gradient descent, backpropagation), modul jaringan (layer linear, konvolusi, pooling), serta arsitektur umum (CNNs, RNNs). Aplikasi yang ditunjukkan meliputi visi komputer, pemrosesan bahasa alami, dan pembelajaran penguatan. Mahasiswa akan menggunakan perpustakaan deep learning PyTorch untuk implementasi dan menyelesaikan proyek akhir pada skenario dunia nyata.
Pelajaran
Gambaran Umum Kursus
📚 Ringkasan Konten
Deep learning adalah bidang bawah dari machine learning yang berfokus pada pembelajaran representasi fitur hierarkis yang kompleks dari data mentah menggunakan jaringan saraf tiruan. Mata kuliah ini membahas prinsip dasar, matematika di baliknya, konsep optimasi (gradient descent, backpropagation), modul jaringan (layer linear, konvolusi, pooling), serta arsitektur umum (CNNs, RNNs). Aplikasi yang ditampilkan mencakup visi komputer, pemrosesan bahasa alami, dan pembelajaran penguatan. Mahasiswa akan menggunakan perpustakaan deep learning PyTorch untuk implementasi dan menyelesaikan proyek akhir pada skenario dunia nyata.
Ringkasan singkat tujuan utama: Kuasai teori deep learning, implementasikan model menggunakan PyTorch, pahami arsitektur khusus (CNNs, RNNs, Transformers), dan terapkan konsep-konsep ini dalam visi komputer, NLP, dan pengambilan keputusan berurutan.
🎯 Tujuan Pembelajaran
- Jelaskan dasar matematika dan teknik optimasi inti (Gradient Descent, Backpropagation) yang diperlukan untuk melatih jaringan saraf dalam.
- Gunakan kerangka kerja deep learning PyTorch untuk mengimplementasikan, melatih, dan mendiagnosis arsitektur jaringan modern secara efisien dengan akselerasi CUDA dan teknik penanganan data yang efisien.
- Rancang dan analisis arsitektur khusus, termasuk Convolutional Neural Networks (CNNs) untuk data gambar dan model Transformer untuk ketergantungan urutan.
- Terapkan teknik deep learning untuk memecahkan masalah praktis di domain aplikasi utama: Visi Komputer, Pemrosesan Bahasa Alami, dan Pembelajaran Penguatan.
- Evaluasi model berdasarkan ketahanan, interpretabilitas, dan keadilan etis, membandingkan keunggulan berbagai paradigma maju (misalnya Model Generatif, Pembelajaran Semi-Supervised).
Pelajaran
Gambaran Umum: Pelajaran dasar ini memperkenalkan blok bangunan utama dari deep learning. Kita mulai dengan mengamati klasifikasi linear, khususnya fungsi Softmax dan penggunaan fungsi loss Cross-Entropy untuk mengukur kesalahan. Berlanjut dari sini, kita mendefinisikan struktur jaringan feedforward dasar (Multi-Layer Perceptron), menjelaskan peran bobot, bias, dan fungsi aktivasi non-linear (misalnya ReLU). Fokus utama bergeser ke proses optimasi yang diperlukan untuk melatih model yang sangat parameterized. Kita akan memperkenalkan Gradient Descent (GD) sebagai algoritma optimasi utama, membandingkan kebutuhan komputasi dengan Stochastic Gradient Descent (SGD) dan Mini-batch GD. Secara krusial, pelajaran berakhir dengan penjelasan rinci tentang algoritma backpropagation, menunjukkan bagaimana aturan rantai dari kalkulus diterapkan secara efisien melalui graf komputasi untuk menghitung gradien yang diperlukan untuk pembaruan bobot di semua layer. Hasil Pembelajaran:
- Definisikan struktur jaringan feedforward dasar dan jelaskan perlunya fungsi aktivasi non-linear (misalnya ReLU).
- Rumuskan fungsi loss klasifikasi (misalnya Softmax dan Cross-Entropy) dan pahami bagaimana mereka mengukur kesalahan model.
- Jelaskan mekanisme Gradient Descent (GD) dan bedakan antara varian-varian (SGD, Mini-batch GD) dalam hal konvergensi dan efisiensi komputasi.
- Turunkan algoritma backpropagation menggunakan aturan rantai dan tunjukkan implementasinya melalui graf komputasi untuk menghitung gradien.
- Identifikasi prasyarat matematika penting (aljabar linear dan kalkulus multivariat) yang diperlukan untuk memahami optimasi jaringan saraf.
Gambaran Umum: Pelajaran ini beralih dari konsep teoretis ke implementasi deep learning siap produksi menggunakan PyTorch, perpustakaan inti dari mata kuliah ini. Kita mulai dengan dasar-dasar PyTorch, menjelaskan struktur Tensor, memanfaatkan CUDA untuk akselerasi GPU, dan memahami diferensiasi otomatis melalui graf komputasi dinamis. Fokus kritis akan diberikan pada penanganan data yang efisien: memperkenalkan kelas PyTorch Dataset untuk abstraksi data dan DataLoader untuk mengelola dataset besar, memungkinkan batching, pengacakan, dan muat data multi-proses. Akhirnya, kita akan membahas pertimbangan praktis untuk skalabilitas pelatihan, mencakup optimasi manajemen memori, teknik seperti akumulasi gradien, serta memperkenalkan konsep dasar latihan distribusi (misalnya Paralelisme Data) yang diperlukan saat bekerja dengan model yang melebihi kapasitas GPU tunggal. Hasil Pembelajaran:
- Implementasikan operasi dasar deep learning menggunakan Tensors PyTorch dan gunakan fitur diferensiasi otomatisnya untuk perhitungan gradien.
- Rancang dan implementasikan pipeline data yang efisien menggunakan abstraksi PyTorch Dataset dan DataLoader untuk menangani input data berskala besar dan batched.
- Konfigurasi model dan data untuk pelatihan pada GPU yang didukung CUDA untuk mempercepat signifikan proses pelatihan dan inferensi.
- Jelaskan peran teknik optimasi memori, seperti akumulasi gradien, dan pahami dasar konseptual latihan distribusi untuk skalabilitas.
Gambaran Umum: Pelajaran ini memperkenalkan Jaringan Saraf Konvolusi (CNN), fondasi dari visi komputer modern. Kita akan mengeksplorasi secara mendalam modul dasar: Layer Konvolusi dan Layer Pooling. Untuk Layer Konvolusi, kita akan membahas operasi matematika, termasuk peran kernel (filter), stride, dan padding, serta membahas konsep kunci seperti konektivitas lokal dan pembagian parameter yang membuat CNN efisien untuk data gambar berdimensi tinggi. Kita akan membedakan antara Max Pooling dan Average Pooling serta menjelaskan peran pentingnya dalam downsampling dan menciptakan invariansi translasi. Akhirnya, kita akan menyintesis lapisan-lapisan ini menjadi arsitektur CNN dasar yang lengkap, menggambarkan transisi urutan umum dari data pixel mentah melalui tumpukan ekstraksi fitur hierarkis hingga layer fully connected untuk klasifikasi akhir, menggunakan model klasik seperti LeNet-5 sebagai contoh representatif. Hasil Pembelajaran:
- Jelaskan operasi matematika konvolusi 2D, termasuk bagaimana ukuran filter, stride, dan padding memengaruhi dimensi peta fitur output.
- Jelaskan konsep konektivitas lokal dan pembagian parameter serta bagaimana keduanya berkontribusi terhadap efisiensi dan efektivitas CNN dibandingkan jaringan fully connected untuk data gambar.
- Bedakan antara Max Pooling dan Average Pooling, serta jelaskan tujuan utama dari layer pooling dalam downsampling peta fitur dan mencapai invariansi translasi.
- Rancang dan analisis arsitektur CNN dasar yang terdiri dari layer-layer konvolusi, aktivasi (ReLU), pooling, dan fully connected yang diselingi secara berurutan.
Gambaran Umum: Pelajaran ini melampaui CNN dasar (seperti AlexNet) untuk mengeksplorasi arsitektur deep learning canggih dan sangat berpengaruh yang digunakan dalam tugas visi komputer mutakhir. Kita akan menganalisis prinsip desain dan inovasi di balik model-model kunci, termasuk kedalaman yang ringkas dari jaringan VGG, agregasi fitur multi-skala dari Inception (GoogLeNet), dan penggunaan krusial koneksi residual dalam ResNet untuk mengatasi masalah gradient menghilang pada jaringan yang sangat dalam. Setengah kedua pelajaran berfokus pada topik vital yaitu interpretabilitas model dan AI yang dapat dijelaskan (XAI). Mahasiswa akan belajar teknik visualisasi, seperti memeriksa aktivasi peta fitur, dan menyelami metode berbasis gradien untuk lokalisasi. Secara khusus, kita akan membahas mekanisme dan implementasi Mapping Aktivasi Kelas (CAM) dan generalisasi berbasis gradien-nya, Grad-CAM, yang secara visual menjelaskan keputusan jaringan dengan menyoroti wilayah penting dalam citra input. Hasil Pembelajaran:
- Bandingkan dan kontras inovasi arsitektural utama (misalnya koneksi residual, modul inception) dari model-model VGG, GoogLeNet, dan ResNet.
- Jelaskan peran dan tantangan dalam meningkatkan kedalaman jaringan, khususnya menghadapi masalah degradasi dan bagaimana ResNet mengatasinya.
- Jelaskan metode dasar untuk visualisasi fitur, termasuk memeriksa aktivasi layer antara dan filter yang dipelajari.
- Gambarkan mekanisme teoretis Mapping Aktivasi Kelas (CAM) dan Grad-CAM untuk menghasilkan penjelasan visual berdasarkan aliran gradien.
- Terapkan teknik interpretabilitas untuk menganalisis dan mendiagnosis proses pengambilan keputusan dari CNN maju dalam tugas klasifikasi.
Gambaran Umum: Pelajaran ini memperkenalkan tantangan dalam memodelkan data terstruktur, khususnya urutan (misalnya teks, deret waktu), yang melanggar asumsi independensi yang umum pada jaringan feedforward. Kita akan mendefinisikan tugas pemodelan urutan, seperti penerjemahan mesin, pengenalan suara, dan prediksi deret waktu, menekankan perlunya mekanisme untuk mempertahankan informasi status. Fokus utama akan pada arsitektur Jaringan Saraf Rekuren (RNN) tradisional. Konsep kunci yang dibahas mencakup mekanisme bobot bersama, pembukaan graf komputasi sepanjang langkah waktu, perhitungan pembaruan state tersembunyi (h_t), dan penanganan urutan input berpanjang variabel. Kita juga akan meninjau batasan utama RNN dasar, yaitu kegagalan menangkap hubungan jangka panjang karena masalah gradient menghilang dan mengembang yang terjadi selama backpropagation melalui waktu (BPTT). Hasil Pembelajaran:
- Definisikan data terstruktur (urutan) dan jelaskan mengapa Jaringan Feedforward Standar (FNN) tidak memadai untuk memodelkan ketergantungan urutan.
- Deskripsikan arsitektur dasar Jaringan Saraf Rekuren (RNN), mengidentifikasi komponen seperti state tersembunyi dan matriks bobot bersama.
- Ilustrasikan proses 'membuka' graf komputasi RNN sepanjang langkah waktu dan diskusikan bagaimana urutan input berpanjang variabel ditangani.
- Jelaskan mekanisme Backpropagation Through Time (BPTT) dan analisis masalah gradient menghilang dan mengembang yang melekat dalam melatih RNN tradisional.
Gambaran Umum: Pelajaran ini memberikan telaah mendalam tentang perubahan paradigma yang dihadirkan oleh makalah "Attention Is All You Need", yang memindahkan pemodelan urutan di luar Jaringan Saraf Rekuren (RNN) dengan menghilangkan rekurensi dan hanya mengandalkan perhatian. Kita akan membangun dasar matematika Mekanisme Perhatian, khususnya Scaled Dot-Product Attention menggunakan vektor Query (Q), Key (K), dan Value (V). Kuliah kemudian mengembangkan konsep ini menjadi Mekanisme Multi-Head Attention, menjelaskan perannya dalam menangkap berbagai ketergantungan kontekstual. Fokus utama akan pada arsitektur Transformer secara lengkap, menganalisis struktur tumpukan Encoder dan Decoder, termasuk elemen penting seperti Koneksi Residual, Normalisasi Layer, dan Enkoding Posisional yang esensial untuk mempertahankan informasi urutan. Akhirnya, kita mempelajari bagaimana Transformer memungkinkan paralelisasi signifikan dan dampak revolusionernya terhadap bidang seperti Penerjemahan Mesin Neuron dan model bahasa pra-latih. Hasil Pembelajaran:
- Definisikan tujuan mekanisme perhatian dan jelaskan bagaimana mereka menyelesaikan keterbatasan (misalnya ketergantungan jangka panjang, bottleneck pemrosesan berurutan) dari Jaringan Saraf Rekuren.
- Jelaskan operasi matematika Scaled Dot-Product Attention, secara akurat mengidentifikasi peran vektor Query, Key, dan Value.
- Deskripsikan struktur keseluruhan model Transformer, membedakan antara tumpukan Encoder dan Decoder serta menjelaskan fungsi Multi-Head Attention dan Jaringan Feed-Forward.
- Jelaskan keharusan dan implementasi matematika Enkoding Posisional dalam arsitektur Transformer yang tidak sensitif terhadap permutasi.
- Analisis manfaat komputasi (paralelisasi) dan aplikabilitas luas arsitektur Transformer dalam tugas deep learning modern, merujuk model seperti BERT dan GPT.
Gambaran Umum: Kuliah ini menyelami aspek-aspek dasar dan terapan deep learning untuk Pemrosesan Bahasa Alami (NLP). Kita mulai dengan mengatasi kebutuhan krusial akan representasi kata yang efektif, beralih dari metode jarang ke representasi kata padat yang dipelajari. Mekanisme inti Word2Vec (Skip-gram dan CBOW) akan dijelaskan, menyoroti bagaimana konteks menghasilkan representasi vektor kaya yang menangkap makna semantik. Kemudian kita menerapkan konsep dasar ini ke dua tugas NLP utama: Penerjemahan Mesin Berbasis Neural (NMT), menggunakan arsitektur encoder-decoder berurutan dan peran krusial Mekanisme Perhatian dalam menangani ketergantungan panjang dan alokasi; serta Pengenalan Suara Otomatis (ASR), mengeksplorasi bagaimana model dalam menangani urutan temporal data akustik untuk menghasilkan keluaran teks. Diskusi akan menekankan bagaimana embedding dan arsitektur deep learning berurutan membentuk tulang punggung sistem NLP komersial modern. Hasil Pembelajaran:
- Jelaskan keterbatasan representasi kata jarang (misalnya one-hot encoding) dan justifikasikan kebutuhan akan embedding vektor kata padat.
- Deskripsikan prinsip dasar dan arsitektur model seperti Word2Vec (Skip-gram/CBOW) yang digunakan untuk mempelajari representasi tersebar.
- Gambarkan komponen utama (Encoder, Decoder, Attention) dari sistem penerjemahan mesin berbasis neural modern, membandingkannya dengan metode tradisional.
- Analisis tantangan yang melekat pada tugas berurutan seperti NMT dan Pengenalan Suara Otomatis (ASR), khususnya mengenai panjang input/output yang bervariasi.
- Identifikasi bagaimana arsitektur neural disesuaikan untuk menangani input audio dalam konteks Pengenalan Suara Otomatis.
Gambaran Umum: Pelajaran ini memperkenalkan dua model generatif deep learning modern utama: Variational Autoencoders (VAEs) dan Generative Adversarial Networks (GANs). Kita mulai dengan VAE, mendetailkan arsitektur—encoder yang memetakan data ke distribusi laten terparameterisasi dan decoder yang menghasilkan sampel. Penekanan kuat akan diberikan pada matematika di baliknya, khususnya fungsi objektif Evidence Lower Bound (ELBO), membongkar peran loss rekonstruksi dan istilah KL divergence untuk regularisasi. Trik Reparameterisasi yang krusial untuk memungkinkan aliran gradien melalui proses sampling akan dijelaskan secara menyeluruh. Kemudian kita beralih ke GAN, mendefinisikan permainan adversarial zero-sum antara generator (G) dan discriminator (D). Kuliah mencakup fungsi nilai minimax teoretis, mengeksplorasi bagaimana discriminator optimal memaksimalkan objektif, dan membahas tantangan praktis utama seperti mode collapse dan ketidakstabilan pelatihan. Akhirnya, kita memberikan perbandingan kualitatif, membandingkan ruang laten yang dapat dijelaskan VAE dengan kualitas sampel umum GAN yang lebih baik. Hasil Pembelajaran:
- Bedakan antara modeling diskriminatif dan generatif serta jelaskan tujuan matematika dalam mempelajari distribusi data kompleks.
- Jelaskan arsitektur Variational Autoencoder (VAE) dan turunkan fungsi objektif Evidence Lower Bound (ELBO).
- Analisis keharusan dan fungsi Trik Reparameterisasi dalam pelatihan VAE untuk memastikan backpropagation yang efektif.
- Deskripsikan proses pelatihan Generative Adversarial Network (GAN) sebagai permainan minimax antara Generator dan Discriminator.
- Bandingkan dan kontras VAE dan GAN berdasarkan kualitas sampel, interpretabilitas ruang laten, dan tantangan pelatihan umum seperti mode collapse.
Gambaran Umum: Pelajaran ini memperkenalkan Pembelajaran Penguatan Mendalam (DRL) dengan menetapkan kerangka dasar pengambilan keputusan, yaitu Proses Keputusan Markov (MDP). Kita akan mendefinisikan lingkaran agen-environment, ruang keadaan dan tindakan, serta tujuan memaksimalkan hasil diskonto yang diharapkan. Konsep inti RL tradisional akan dibahas, termasuk Fungsi Nilai dan Persamaan Optimalitas Bellman. Pelajaran kemudian beralih ke DRL, mengeksplorasi tantangan ruang keadaan besar dan bagaimana Deep Q-Networks (DQN) mengatasinya dengan menggunakan jaringan saraf untuk pendekatan fungsi Q. Kita akan mendetailkan teknik stabilitas yang penting bagi DQN, seperti pengalaman replay dan jaringan target. Akhirnya, kita membandingkan pendekatan berbasis nilai dengan teknik Policy Gradient, menjelaskan intuisi matematis di balik algoritma REINFORCE untuk optimasi langsung kebijakan dan menyiapkan panggung untuk arsitektur Actor-Critic yang lebih lanjut. Hasil Pembelajaran:
- Formalisasikan masalah pengambilan keputusan berurutan menggunakan kerangka Proses Keputusan Markov (MDP), termasuk definisi keadaan, tindakan, hadiah, dan fungsi nilai.
- Jelaskan transisi dari Q-learning tabel ke Deep Q-Networks (DQN) dan identifikasi teknik krusial (experience replay, target networks) yang digunakan untuk menstabilkan pelatihan DRL.
- Bedakan secara mendasar antara pendekatan berbasis nilai (seperti DQN) dan pendekatan berbasis kebijakan (seperti REINFORCE).
- Deskripsikan fungsi objektif dan intuisi matematis di balik Teorema Gradient Kebijakan serta implementasinya dalam algoritma REINFORCE.
- Bandingkan aplikasi pendekatan berbasis nilai versus berbasis kebijakan dalam skenario DRL modern.
Gambaran Umum: Pelajaran ini memperkenalkan paradigma deep learning lanjutan yang diperlukan untuk penggunaan yang tangguh dan membahas implikasi sosial penting. Kita pertama kali mengeksplorasi dasar teoretis dan aplikasi praktis Pembelajaran Tak Terawasi (Unsupervised Deep Learning), fokus pada model seperti Autoencoder dan Model Generatif saat digunakan untuk pembelajaran representasi dan deteksi anomali. Selanjutnya, kita menyelami teknik Pembelajaran Semi-Supervised (SSL), seperti pseudo-labeling dan regularisasi konsistensi (misalnya \Pi-Model, MixMatch), yang sangat penting untuk memanfaatkan banyak data tanpa label bersama dengan contoh yang sedikit dilabeli. Bagian utama kedua pelajaran secara kritis meninjau AI Etis, menjelaskan bagaimana kurasi data dan pilihan arsitektur menimbulkan Bias Algoritmik. Kita mendefinisikan dan menganalisis metrik Keadilan kunci (misalnya Perbedaan Kesempatan yang Sama, Paritas Demografi) dan mendiskusikan strategi mitigasi yang efektif, menekankan pentingnya interpretabilitas model (XAI) dan akuntabilitas dalam sistem deep learning berdampak tinggi. Hasil Pembelajaran:
- Bedakan antara pembelajaran tak terawasi, semi-supervised, dan pembelajaran terawasi standar serta identifikasi skenario dunia nyata yang sesuai untuk masing-masing paradigma.
- Deskripsikan fungsi dan arsitektur model tak terawasi kunci, seperti Autoencoder dan penggunaannya dalam reduksi dimensi atau pembelajaran representasi.
- Jelaskan metodologi teknik semi-supervised modern, termasuk konsep pseudo-labeling dan regularisasi konsistensi.
- Identifikasi dan kategorikan sumber utama bias algoritmik yang muncul selama siklus hidup deep learning (akuisisi data, pemodelan, peluncuran).
- Definisikan dan bandingkan metrik keadilan algoritmik umum (misalnya Equalized Odds) dan diskusikan trade-off yang melekat dalam strategi mitigasi bias.