深入探討大型語言模型

📚 內容摘要

本課程提供大型語言模型（LLM）演進、核心技術架構、訓練模式（預訓練、微調與對齊）、多模態擴展、提示工程、思考鏈（CoT）、代理系統，以及模型安全與隱私保護等前沿議題的全面且深入的介紹。

對全棧大型模型從預訓練到通用代理之技術演進與安全對齊的深度分析。

🎯 學習目標

1. 辨別模型架構差異：識別僅編碼器（Encoder-only）、僅解碼器（Decoder-only）與編碼器-解碼器（Encoder-Decoder）模型的結構差異及其應用場景。
2. 解釋 LLM 訓練流程：描述從自監督預訓練過渡到監督式微調（SFT）與人類反饋強化學習（RLHF）的轉變過程。
3. 分析模型規模與行為：解釋規模法則（Scaling Laws）、突現能力（上下文學習、思考鏈）以及幻覺現象。
4. 分析僅編碼器（BERT）、僅解碼器（GPT）與編碼器-解碼器（T5）架構之間的結構差異。
5. 解釋三階段訓練流程：預訓練（基礎模型）、指令微調（SFT）與對齊（RLHF/PPO）。
6. 比較主流 LLM（如 GPT、Llama、Qwen 與 DeepSeek）在性能、規模法則與架構創新方面的表現。
7. 實施零樣本與少樣本提示策略，用於結構化資料提取與分類。
8. 調校模型超參數（溫度、Top P、懲罰項），以平衡創造性與確定性輸出。
9. 使用手動、自動與零樣本（「讓我們一步步思考」）方法，設計有效的思考鏈（CoT）提示。
10. 分析並比較 CoT 變體：區分自我一致性、思考程式（PoT）、思維樹（ToT）與思維圖（GoT）架構。

🔹 第 1 課：大型語言模型與預訓練技術導論

概述： 本課探討人工智慧從專用小規模模型演進至通用大型語言模型（LLM）的歷程。內容涵蓋從基於編碼器的「BERTology」架構轉向僅解碼器生成範式，詳細說明預訓練、指令微調與對齊（RLHF）等關鍵技術流程。此外，還將檢視業界領先的模型家族，包括 GPT、Llama，以及國內創新成果如 Qwen 與 DeepSeek。

學習成果：

• 辨別模型架構差異：識別僅編碼器、僅解碼器與編碼器-解碼器模型的結構差異及其應用場景。
• 解釋 LLM 訓練流程：描述從自監督預訓練過渡到監督式微調（SFT）與人類反饋強化學習（RLHF）的轉變過程。
• 分析模型規模與行為：解釋規模法則、突現能力（上下文學習、思考鏈）與幻覺現象的概念。

🔹 第 2 課：主流 LLM 案例研究與部署策略

概述： 本課提供大型語言模型（LLM）的全面技術概覽，追溯其從基本編碼器-解碼器架構發展至現代多模態與代理系統的歷程。內容詳述核心技術流程——包含預訓練、指令微調與對齊——同時評估 GPT-4、Llama 3 與 DeepSeek 等主流案例。課程最後探討實用的部署策略（API 與本地部署）及先進的提示工程框架，如 RAG 與 ReAct。

學習成果：

• 分析僅編碼器（BERT）、僅解碼器（GPT）與編碼器-解碼器（T5）架構之間的結構差異。
• 解釋三階段訓練流程：預訓練（基礎模型）、指令微調（SFT）與對齊（RLHF/PPO）。
• 比較主流 LLM（如 GPT、Llama、Qwen 與 DeepSeek）在性能、規模法則與架構創新方面的表現。

🔹 第 3 課：提示工程與思考鏈基礎

概述： 本課探討從基本零樣本提示進階至結構化少樣本學習，以及思考鏈（CoT）所呈現的進階推理能力。學生將分析如何透過技術超參數與結構化示範來控制模型行為，以解決複雜的邏輯、數學與語言任務。課程最後探討過程監督學習與自動化 CoT 建構方法。

學習成果：

• 實施零樣本與少樣本提示策略，用於結構化資料提取與分類。
• 調校模型超參數（溫度、Top P、懲罰項），以平衡創造性與確定性輸出。
• 使用手動、自動與零樣本（「讓我們一步步思考」）方法，設計有效的思考鏈（CoT）提示。

🔹 第 4 課：高階推理、知識編輯與數學邏輯

概述： 本課探討思考鏈（CoT）提示的高階結構變體、大型語言模型（LLM）中知識編輯的技術架構，以及數學推理這一專門領域。內容詳述模型如何從簡單的線性推理轉向複雜的圖形結構，如何透過內部與外部編輯修正「不希望出現」的知識，以及先進數學模型的訓練與評估流程。

學習成果：

• 分析並比較 CoT 變體：區分自我一致性、思考程式（PoT）、思維樹（ToT）與思維圖（GoT）架構。
• 評估知識編輯技術：理解可靠性、局部性與可移植性的指標，並區分內部（ROME）與外部（SERAC）編輯方案。
• 評估數學邏輯流程：識別用於提升 DeepSeek-Math 與 o1 等模型長篇數學推理能力的訓練資料（GSM8K、MATH、AIME）與蒸餾程序。

🔹 第 5 課：內容安全、水印技術與越獄攻擊分析

概述： 本課探討識別 LLM 生成內容的技術機制，以及來自敵意攻擊的安全挑戰。內容涵蓋可抵抗翻譯與重寫的統計水印技術（KGW、SIR、X-SIR），並分析用於繞過安全防護的「越獄」提示（DAN、STAN）。課程最後探討防禦策略，以及模型「有幫助性」與「無害性」之間的根本矛盾。

學習成果：

• 分析 KGW 與 SIR 水印的數學基礎，包括詞彙分割與語義不變調整。
• 識別並分類越獄策略，如「假裝」、「權限提升」與「密碼基礎」攻擊。
• 評估防禦措施，包括上下文防禦（ICD）、警示警告防禦（CWD）與紅隊測試。

🔹 第 6 課：LLM 隱寫術與隱私保護研究

概述： 本課探討大型語言模型（LLM）效能與安全性之間的關鍵平衡，聚焦於「越獄」攻擊的機制與隱寫術的技術實現。內容涵蓋攻擊者如何透過高階提示工程（如 DAN、STAN）繞過安全過濾，以及如何利用 LLM 在令牌生成過程中嵌入資料，達成隱蔽通訊。此外，還介紹多模態大型語言模型（MLLM）的架構與能力，使其能處理與生成影像、音訊與影片等多元資料類型。

學習成果：

• 識別並分析常見的越獄攻擊模式，包括角色扮演（DAN）、認知壓力（PUA）與側通道方法（密碼/代碼）。
• 解釋 LLM 隱寫術的技術機制，特別是位流如何映射至下一詞元預測的概率分佈（logits）。
• 根據跨多種模態（文字、影像、音訊、3D）的感知與生成能力，分類 MLLM 架構。

🔹 第 7 課：高階多模態 LLM 架構與設計

概述： 本課探討多模態大型語言模型（MLLM）的技術基礎設施，重點在於編碼、投影與解碼機制，以實現跨模態智能。內容詳述從模態專用編碼器過渡至統一表示空間的演進，並分析用於彌合非文字訊號與 LLM 語義空間之間差距的多種方法。

學習成果：

• 識別針對非視覺模態的專用編碼器與標記化方法，包括音訊（HuBERT、Whisper）與 3D 點雲（Point-BERT）。
• 評估不同輸入端投影技術（線性、多層 MLP、重新採樣器）如何將多模態表示對齊至 LLM 語義空間。
• 比較三種主要解碼端連接策略：離散詞元、連續嵌入與多模態生成的碼本。

🔹 第 8 課：自主代理、RLHF 與安全對齊

概述： 本課探討圖形使用者介面（GUI）代理從靜態任務執行演進至動態環境中自主決策的歷程。內容詳述開源與閉源代理的技術架構，強化學習中人類反饋（RLHF）與近端策略優化（PPO）在策略對齊中的整合，以及關鍵的安全挑戰——從環境提示注入到模型後門——促使建立如 GuardAgent 與 R-Judge 等強健的防禦框架。

學習成果：

• 分析 GUI 代理的架構組成，包括多代理系統中的規劃、決策與反思模組。
• 解釋強化學習（RL）與 RLHF 的機制，特別是獎勵模型與 PPO 在使代理行為符合人類價值觀中的角色。
• 評估自主代理中的安全風險與可靠性問題，包括分布外（OOD）錯誤、越獄攻擊與環境干擾。