Python 中的生成式 AI 基礎

📚 內容概要

一本全面介紹生成式人工智慧與大型語言模型（LLM）理解與實作的指南。本課程涵蓋從理論基礎到以 Python 為主的實際開發轉變，包括生成對抗網路（GAN）、擴散模型、變壓器（Transformer）、微調以及生產部署。

透過 Python 掌握現代 LLM 與生成技術的核心原理與實際應用。

作者： Carlos Rodriguez

致謝： 特別感謝作者的妻子 Jill、父母，以及技術審核者 Morgan Boyce、Eric Rui 與 Samira Shaikh（序言作者）。

🎯 學習目標

1. 區分傳統（判別式）機器學習架構與生成式 AI 模型之間的差異。
2. 辨識生成式 AI 的基礎架構，包含 GAN、擴散模型與變壓器。
3. 解釋大型語言模型（LLM）在廣義人工智慧領域中的角色與演進。
4. 区分 GAN、擴散模型與變壓器的獨特特性與架構範式。
5. 分析每種模型類型的進展與限制，包括模式崩潰或採樣速度等特定問題。
6. 實作 Stable Diffusion 流程並使用 CLIP 基於的邏輯值與機率評估生成輸出。
7. 追溯自然語言處理（NLP）從早期計數方法與遞迴神經網路（RNN）到現代分佈表示與遷移學習的演進歷程。
8. 解釋多頭注意力（MHA）、自我注意力、遮蔽（Masking）與前饋網路（FFN）的技術細節。
9. 實作完整的變壓器模型架構，包含資料詞元化、位置編碼以及訓練/推論函數。
10. 將原型功能（例如 Google Colab）映射至可生產環境，使用 Docker 與 VS Code。

🔹 第 1 課：生成式 AI 的基礎與架構范式

概述： 本課建立從傳統機器學習架構到生成式 AI 時代的根本轉變。探討架構演進——從 GAN 到變壓器——並介紹大型語言模型（LLM）作為合成理解與內容生成的基石。

學習成果：

• 區分傳統（判別式）機器學習架構與生成式 AI 模型之間的差異。
• 辨識生成式 AI 的基礎架構，包含 GAN、擴散模型與變壓器。
• 解釋大型語言模型（LLM）在廣義人工智慧領域中的角色與演進。

🔹 第 2 課：架構巡禮：GAN、擴散模型與變壓器

概述： 本課全面檢視生成式 AI 的三大核心架構：生成對抗網路（GAN）、擴散模型與變壓器。學生將深入探討這些方法的技術拆解、演化進展、固有侷限，以及在圖像生成與評估中使用 CLIP 指標於 Jupyter/Colab 環境中的實際應用。

學習成果：

• 區分 GAN、擴散模型與變壓器的獨特特徵與架構範式。
• 分析每種模型類型的進展與限制，包括模式崩潰或採樣速度等特定問題。
• 實作 Stable Diffusion 流程並使用基於 CLIP 的邏輯值與機率評估生成輸出。

🔹 第 3 課：自然語言處理的演進與變壓器架構

概述： 本課追溯自然語言處理（NLP）的歷史軌跡，從早期統計方法到革命性的變壓器架構。涵蓋從依序的 RNN 模型過渡到可平行化的自我注意力機制，詳述原始變壓器（編碼器/解碼器）的具體元件，並實務展示使用 PyTorch 的翻譯流程建置。

學習成果：

• 追溯自然語言處理（NLP）從早期計數方法與遞迴神經網路（RNN）到現代分佈表示與遷移學習的演進歷程。
• 解釋多頭注意力（MHA）、自我注意力、遮蔽（Masking）與前饋網路（FFN）的技術細節。
• 實作完整的變壓器模型架構，包含資料詞元化、位置編碼以及訓練/推論函數。

🔹 第 4 課：生產工程與負責任的人工智慧部署

概述： 本課探討從機器學習原型設計（實驗階段）過渡到穩定且可生產部署的關鍵轉變。整合生產工程原則——如使用 Docker 容器化與環境映射——同時融入負責任人工智慧的道德要求，聚焦於偏見減緩、透明度與嚴謹的模型基準測試，使用如 CLIP 分數與詞彙相似性等指標。

學習成果：

• 將原型功能（例如 Google Colab）映射至可生產環境，使用 Docker 與 VS Code。
• 計算模型的計算複雜度與記憶體需求，以判斷專用硬體需求。
• 使用量化指標（BLEU、ROUGE、METEOR）與與 CLIP 的對齊程度評估生成模型。

🔹 第 5 課：微調技術與參數高效學習

概述： 本課探討從提示為導向的模型適應轉向任務特定微調的轉變。探討上下文學習（零示例與少示例）、檢索增強生成（RAG），並實務演示使用 Python 的參數高效微調（PEFT）。學生將學習建構問答管道、使用 Hugging Face Trainer 類別，並利用訓練損失與語意相似性評估結果。

學習成果：

• 區分上下文學習（零示例／少示例）、RAG 與微調之間的差異。
• 使用 AdaLoRA 與 Hugging Face Trainer 類別，實作基於 PEFT 的微調工作流程。
• 計算並解讀模型性能指標，包含訓練損失與語意相似性分數。

🔹 第 6 課：專門領域大型語言模型的領域適應

概述： 本課探討大型語言模型（LLM）從通用工具轉變為金融領域專業專家的過程。學生將學習領域適應的歷史背景，掌握核心訓練方法如因果語言建模（CLM）與下一句預測（NSP），並執行一個實作的遷移學習專案，使用參數高效微調（PEFT）。本模組以嚴謹的評估技術作結，使用 ROUGE 指標與傳統分類評分（精確率、召回率、F1）。

學習成果：

• 阐述將通用 LLM 適應至專門領域的歷史與關鍵重要性。
• 建立完整的金融領域遷移學習流程，包含預處理與詞元化。
• 辨別 CLM 與 NSP 訓練方法之間的差異。

🔹 第 7 課：高階提示工程與檢索實現

概述： 本課探討大型語言模型（LLM）互動的演進，從傳統微調轉向提示導向的方法。詳細說明角色設定、情境角色扮演的策略性運用，以及使用 LlamaIndex 實作檢索增強生成（RAG），創造具備情境感知、安全且品牌一致的 AI 回應。

學習成果：

• 阐述從參數密集型微調轉向高效提示導向推論的轉變。
• 設計並實作角色設定與情境角色扮演，以引導模型行為與輸出分佈。
• 使用 Python 與 LlamaIndex 框架建構功能性 RAG 流程。