開發者入門：大型語言模型

📚 內容摘要

本課程是安德魯·吳（Andrew Ng）與 OpenAI 聯合開發的三部分大型語言模型（LLM）系列課程的中文版本。內容涵蓋提示工程、基於 ChatGPT API 建立系統、LangChain 應用開發，以及使用 LangChain 存取私有資料。課程提供深入且易懂的介紹，幫助學習者掌握如何運用 LLM 的能力，開發具備摘要、推論、轉換、擴展及對話功能的應用。

精通提示工程與 LangChain 框架，成為大模型時代的 AI 應用開發者。

🎯 學習目標

1. 区分基礎型 LLM 與指令微調型 LLM。
2. 運用四種特定技巧撰寫清晰且明確的指令（分隔符、結構化輸出、條件檢查、少樣本提示）。
3. 實施策略讓模型「有時間思考」，透過指定任務步驟並要求獨立解決問題。
4. 實作結構化文字處理：從單一或多份文件中總結並提取特定資訊，同時控制輸出長度與重點。
5. 進行自動化文字分析：以提示語句分類情感、識別特定情緒，並執行零樣本主題分類。
6. 執行多模態轉換：跨語言翻譯、轉換資料格式（例如：JSON 轉 HTML），並程式化修正語法/拼字錯誤。
7. 辨別基礎型 LLM 與指令微調型 LLM，並理解詞彙化（tokenization）對模型行為的影響。
8. 使用 System、User 與 Assistant 消息角色建立結構化系統架構，定義模型人格。
9. 應用分類與審查技術，評估使用者輸入的安全性與路由。
10. 實施提示鏈（Prompt Chaining）：將複雜任務分解為可管理的子任務，提升可靠性並降低成本。

🔹 第 1 課：提示原則與迭代開發

概述： 本課介紹開發者在提示工程上的基本原則，從基礎的「基礎型 LLM」過渡到「指令微調型 LLM」。課程引入兩大核心支柱：撰寫清晰且具體的指令，以及給予模型足夠的「思考時間」。此外，還建立一套迭代式工作流程，協助優化提示以符合特定業務需求，如長度限制與格式要求。

學習成果：

• 辨別基礎型 LLM 與指令微調型 LLM。
• 運用四種特定技巧撰寫清晰且明確的指令（分隔符、結構化輸出、條件檢查、少樣本提示）。
• 實施策略讓模型「有時間思考」，透過指定任務步驟並要求獨立解決問題。

🔹 第 2 課：核心提示功能與聊天機器人

概述： 本課探討大型語言模型（LLM）在五個關鍵功能領域的實際應用：摘要、推論、轉換、擴展，以及建立互動式聊天機器人。課程為開發者提供一份實務導引，使用 Python 與 OpenAI API 來處理文字、提取結構化資料、調整語氣風格，並維持對話上下文，適用於客戶服務機器人等真實應用場景。

學習成果：

• 實作結構化文字處理：從單一或多份文件中總結並提取特定資訊，同時控制輸出長度與重點。
• 進行自動化文字分析：以提示語句分類情感、識別特定情緒，並執行零樣本主題分類。
• 執行多模態轉換：跨語言翻譯、轉換資料格式（例如：JSON 轉 HTML），並程式化修正語法/拼字錯誤。

🔹 第 3 課：系統邏輯：輸入分類與推理

概述： 本課探討大型語言模型（LLM）的基本運作機制，從基礎的詞彙化與訊息角色，進階至高階的輸入處理策略。學生將學習如何透過分類使用者意圖、內容安全審查，以及實作「思維鏈（Chain of Thought, CoT）」推理，提升準確性，並透過「內心獨白」控制使用者體驗。

學習成果：

• 辨別基礎型 LLM 與指令微調型 LLM，並理解詞彙化對模型行為的影響。
• 使用 System、User 與 Assistant 消息角色建立結構化系統架構，定義模型人格。
• 應用分類與審查技術，評估使用者輸入的安全性與路由。

🔹 第 4 課：複雜工作流程與系統評估

概述： 本課探討從簡單提示過渡到複雜、多步驟的 LLM 工作流程。重點在「提示鏈（Prompt Chaining）」以分解任務，透過審查 API 建立安全層級，並建立嚴謹的評估框架——無論是單一正確答案的情況，或需主觀、基於評分標準的評估。

學習成果：

• 實施提示鏈（Prompt Chaining）：將複雜任務分解為可管理的子任務，提升可靠性並降低成本。
• 建立安全的端到端系統：整合輸入/輸出審查與事實核對機制，形成可投入生產的流程。
• 開發評估策略：建立驗證資料集，透過「理想答案」比較與 LLM 協助的評分標準來衡量 LLM 表現。

🔹 第 5 課：LangChain 基礎：模型、提示與記憶

概述： 本課介紹 LangChain 框架的核心元件，專注於如何抽象化大型語言模型（LLM）的互動方式。課程涵蓋從直接呼叫 API 轉向使用 LangChain 模組化元件：模型、提示模板與輸出解析器，最後深入探討四種不同的記憶策略，以維持對話狀態。

學習成果：

• 使用 LangChain 的 ChatOpenAI 及模組化元件執行基本 LLM 呼叫。
• 建構可重複使用的 ChatPromptTemplate 結構，以管理複雜的提示邏輯與變數。
• 使用 StructuredOutputParser 從非結構化的 LLM 回應中提取結構化資料（JSON/Python 字典）。

🔹 第 6 課：LangChain 鏈、問答與自主代理

概述： 本課探討 LangChain 的核心架構元件，從簡單的線性提示-完成序列，進階至複雜、邏輯驅動的系統。學生將學習如何透過「鏈（Chains）」協調多重 LLM 呼叫，利用向量儲存實作私有文件的檢索增強生成（RAG）問答，並部署能使用推理選擇與執行工具的自主代理。內容強調超越單一提示互動，邁向自動化、可擴展的 LLM 應用。

學習成果：

• 建構線性與複雜的多步驟工作流程，使用 SequentialChain 與 RouterChain。
• 使用嵌入（embeddings）、向量儲存與 RetrievalQA 鏈建構基於文件的問答系統。
• 使用 QAGenerateChain 與 QAEvalChain，實作 LLM 應用的自動化評估。

🔹 第 7 課：私有資料準備：載入與向量化

概述： 本課介紹使用 LangChain 建立檢索增強生成（RAG）系統的初始階段。課程指導開發者如何從多元來源（PDF、YouTube、網頁、Notion）載入非結構化資料，將資料分割成語意上有意義的片段，並將這些片段轉換為數值嵌入（embedding），以便儲存於向量資料庫並進行語意相似度搜尋。

學習成果：

• 實作多種 LangChain 資料載入器，從 PDF、YouTube 音頻、網路連結與 Notion 資料庫匯入資料。
• 設定並比較不同文字切分器（字元、遞迴、詞元、Markdown），並調整 chunk_size 與 chunk_overlap 參數。
• 執行向量化程序，建立嵌入並儲存至 Chroma 向量資料庫，以啟用語意相似度搜尋。

🔹 第 8 課：檢索增強生成（RAG）與互動

概述： 本內容探討從基本語意搜尋過渡到先進的檢索與對話互動在 LLM 應用中的實現。課程涵蓋高階檢索技術——如最大邊際相關性（MMR）、元資料篩選與上下文壓縮——並示範如何使用 LangChain 的記憶與圖形介面元件，建構具狀態的問答鏈與完整功能的聊天機器人。

學習成果：

• 實作高階檢索策略（MMR、自我查詢、壓縮），以提升檢索文件的多樣性與相關性。
• 比較並部署不同鏈類型（stuff、MapReduce、Refine），用於問答任務中處理檢索到的上下文。
• 使用 ConversationalRetrievalChain 與 ConversationBufferMemory 建構具狀態的聊天機器人介面，以維持對話脈絡。