初學者的人工智能生成
一門全面的課程，探討生成式AI、大型語言模型、提示工程，以及使用Azure OpenAI和Power Platform等工具開發人工智慧應用程式的基礎知識。
課程總覽
📚 內容摘要
一個全面的課程，探討生成式AI、大型語言模型、提示工程，以及使用Azure OpenAI和Power Platform等工具開發人工智慧應用程式的基礎知識。
掌握生成式AI的基本原理，從零開始打造智慧型應用程式。
致謝： Microsoft、Azure 和 OpenAI。
🎯 學習目標
- 解釋大型語言模型（LLM）的機械內部運作原理，包括分詞、注意力機制及非確定性輸出。
- 比較不同類型的大型語言模型（基礎模型、開源與專有模型，以及編碼器/解碼器架構），以針對業務情境選擇最合適的工具。
- 評估提升模型效果的策略，特別是判斷應選擇提示工程、檢索增強生成（RAG）或微調。
- 定義提示工程，並說明其作為生成式AI主要程式介面的角色。
- 区分基礎型LLM與指令微調型LLM，並說明它們如何處理分詞。
- 使用指示、主要內容、提示與範本建構複雜提示。
- 使用
openai庫建構並設定文字生成應用程式，管理環境變數，並透過調整溫度來控制輸出多樣性。 - 区分基於規則的聊天機器人與具上下文感知能力的生成式AI應用程式，同時實踐微軟的「負責人工智能六原則」。
- 透過將文字轉換為嵌入向量（embeddings）並運用餘弦相似度，執行語意搜尋，找出超越簡單關鍵字匹配的相關內容。
- 建構並設定影像生成應用程式，同時實踐「元提示（meta prompts）」以定義內容邊界與安全性。
🔹 第1課：生成式AI的基礎與倫理
概覽： 本課提供生成式AI的全面介紹，追溯其從統計機器學習演進至現代基於Transformer的大型語言模型（LLMs）的歷程。學員將探索這些模型如何透過分詞與機率運作，如何選用並優化不同模型類型（開源與專有模型），並建立關鍵的「負責人工智能」框架，以降低幻覺與偏見等風險。
學習成果：
- 解釋大型語言模型（LLM）的機械內部運作原理，包括分詞、注意力機制及非確定性輸出。
- 比較不同類型的大型語言模型（基礎模型、開源與專有模型，以及編碼器/解碼器架構），以針對業務情境選擇最合適的工具。
- 評估提升模型效果的策略，特別是判斷應選擇提示工程、檢索增強生成（RAG）或微調。
🔹 第2課：提示工程的藝術與科學
概覽： 本課探討提示工程（PE）作為設計與優化文字輸入（提示）的過程，藉此引導大型語言模型（LLMs）產生高品質且一致的回應。學生將從理解分詞與模型類型的基礎機制，進而應用進階技術如「思考鏈」與「助產式提示法」，以克服模型的隨機性與虛構問題。
學習成果：
- 定義提示工程，並說明其作為生成式AI主要程式介面的角色。
- 区分基礎型LLM與指令微調型LLM，並說明它們如何處理分詞。
- 使用指示、主要內容、提示與範本建構複雜提示。
🔹 第3課：核心人工智慧應用的開發
概覽： 本課探討人工智慧驅動工具的實際開發，重點在文字生成、具上下文感知的聊天介面與語意搜尋應用。學員將從基本的API整合與參數調校（溫度與令牌數）過渡到實作進階功能，例如文字嵌入、餘弦相似度與負責人工智能框架。
學習成果：
- 使用
openai庫建構並設定文字生成應用程式，管理環境變數，並透過調整溫度來控制輸出多樣性。 - 区分基於規則的聊天機器人與具上下文感知能力的生成式AI應用程式，同時實踐微軟的「負責人工智能六原則」。
- 透過將文字轉換為嵌入向量（embeddings）並運用餘弦相似度，執行語意搜尋，找出超越簡單關鍵字匹配的相關內容。
🔹 第4課：低程式碼與整合式人工智慧解決方案
概覽： 本內容涵蓋人工智慧實作的三大進階支柱：使用DALL-E與Midjourney等模型建構影像生成應用程式、透過微軟Power Platform開發低程式碼解決方案，以及透過「函式呼叫」增強LLM能力。內容聚焦於實際部署，從Python-based API整合到自然語言驅動的應用開發，以及連結人工智慧與外部資料來源。
學習成果：
- 建構並設定影像生成應用程式，同時實踐「元提示（meta prompts）」以定義內容邊界與安全性。
- 使用Copilot、Dataverse與AI Builder於Power Platform中設計低程式碼人工智慧應用與自動化工作流程。
- 實作函式呼叫，確保結構化資料輸出（JSON）的一致性，並整合LLM與外部API。
🔹 第5課：使用者體驗、安全與應用生命週期
概覽： 本課探討使用者體驗（UX）、安全協定與操作生命週期在生成式AI應用中的關鍵交集。內容涵蓋如何透過可解釋性與使用者控制建立信任，識別獨特的人工智慧安全威脅，如資料污染與提示注入，並說明從傳統MLOps轉向LLMOps以管理應用生命週期的過程。
學習成果：
- 設計能透過可解釋性與使用者控制促進信任與透明度的人工智慧介面。
- 識別並緩解人工智慧特有的安全風險，包括資料污染、提示注入與供應鏈漏洞。
- 區分MLOps與LLMOps，並說明生成式AI應用生命週期的各階段（構思、建構、營運化）。
🔹 第6課：進階檢索與代理系統
概覽： 本課探討從基本的LLM互動過渡到利用檢索增強生成（RAG）與自主式人工智慧代理（AI Agents）的複雜系統。學員將學習如何利用向量資料庫將模型與私有資料結合，並透過代理架構延伸LLM能力，使其能夠規劃、使用工具與與其他代理互動。
學習成果：
- 解釋RAG的技術流程，包括資料切塊、嵌入與語意檢索。
- 根據成本、可客製化程度與效能比較並選擇適當的開源模型（Llama 2、Mistral、Falcon）。
- 區分主要的人工智慧代理架構（LangChain、AutoGen、TaskWeaver、JARVIS）及其特定用途。
🔹 第7課：模型微調與專業架構
概覽： 本課探討從通用提示工程過渡至透過監督式微調與使用專業小型語言模型（SLMs）進行模型優化的轉變。內容對比微軟Phi、Mistral與Meta Llama模型家族，詳述其在規模、運算需求與多模態能力上的架構取捨，以利於在雲端與邊緣環境部署。
學習成果：
- 定義微調，並判斷何時應使用微調，而非提示工程或檢索增強生成（RAG）。
- 對比大型語言模型（LLMs）與小型語言模型（SLMs）在規模、理解力與推理速度上的特性。
- 識別Phi-3.5、Mistral（Large/Small/NeMo）與Llama（3.1/3.2）模型家族的獨特功能與應用場景。