初学者的生成式 AI
一门全面的课程，深入探讨生成式人工智能的基础知识、大型语言模型、提示工程，以及使用 Azure OpenAI 和 Power Platform 等工具开发人工智能应用。
课程概述
📚 内容概要
一个全面的课程体系，深入探讨生成式人工智能的基础知识、大型语言模型、提示工程，以及使用 Azure OpenAI 和 Power Platform 等工具开发 AI 驱动应用的方法。
掌握生成式 AI 的基础知识，并从零开始构建智能应用。
致谢： 微软、Azure 与 OpenAI。
🎯 学习目标
- 解释大型语言模型（LLM）的机械内部工作原理，包括分词、注意力机制和非确定性输出。
- 比较各类大型语言模型（基础模型、开源与专有模型，以及编码器/解码器架构），以选择适合业务场景的合适工具。
- 评估提升模型效果的策略，特别是决定在提示工程、检索增强生成（RAG）与微调之间如何取舍。
- 定义提示工程，并解释其作为生成式 AI 主要编程接口的作用。
- 区分基础 LLM 与指令微调型 LLM，理解它们对分词的处理方式。
- 使用指令、主要内容、提示线索和模板构建复杂提示。
- 使用
openai库构建并配置文本生成应用，管理环境变量，并通过调整温度参数控制输出多样性。 - 区分基于规则的聊天机器人与上下文感知的生成式 AI 应用，并实现微软的六大负责任 AI 原则。
- 通过将文本转换为嵌入向量（embeddings）并应用余弦相似度，执行语义搜索，从而在超越简单关键词匹配的基础上查找相关内容。
- 构建并配置图像生成应用，同时实施“元提示”以定义内容边界和安全性。
🔹 第1课：生成式 AI 的基础与伦理
概述： 本课程提供生成式 AI 的全面入门介绍，追溯其从统计机器学习发展到现代基于 Transformer 的大型语言模型（LLMs）的演进历程。学习者将探索这些模型如何通过分词和概率机制运作，如何选择和优化不同类型的模型（开源与专有），以及如何运用负责任 AI 的关键框架来降低幻觉和偏见等风险。
学习成果：
- 解释大型语言模型（LLM）的机械内部工作原理，包括分词、注意力机制和非确定性输出。
- 比较各类大型语言模型（基础模型、开源与专有模型，以及编码器/解码器架构），以选择适合业务场景的合适工具。
- 评估提升模型结果的策略，特别是决定在提示工程、检索增强生成（RAG）与微调之间的选择。
🔹 第2课：提示工程的艺术与科学
概述： 本课程探讨提示工程（PE）作为设计和优化文本输入（提示）的过程，旨在引导大型语言模型（LLMs）生成高质量且一致的响应。学生将从理解分词和模型类型的基础机制出发，逐步掌握链式思维和苏格拉底式提示等高级技术，以缓解模型固有的随机性和虚构问题。
学习成果：
- 定义提示工程，并解释其作为生成式 AI 主要编程接口的角色。
- 区分基础 LLM 与指令微调型 LLM，理解它们对分词的处理方式。
- 使用指令、主要内容、提示线索和模板构建复杂提示。
🔹 第3课：核心 AI 应用的开发
概述： 本课程探讨基于 AI 的工具的实际开发，重点聚焦于文本生成、上下文感知的聊天界面以及语义搜索应用。学习者将从基本的 API 集成和参数调优（温度与令牌数）过渡到实现高级功能，如文本嵌入、余弦相似度计算以及负责任 AI 框架的应用。
学习成果：
- 使用
openai库构建并配置文本生成应用，管理环境变量，并通过调整温度参数控制输出多样性。 - 区分基于规则的聊天机器人与上下文感知的生成式 AI 应用，并实现微软的六大负责任 AI 原则。
- 通过将文本转换为嵌入向量（embeddings）并应用余弦相似度，执行语义搜索，从而在超越简单关键词匹配的基础上查找相关内容。
🔹 第4课：低代码与集成式 AI 解决方案
概述： 本部分内容涵盖人工智能实施的三大高级支柱：使用 DALL-E、Midjourney 等模型构建图像生成应用；通过 Microsoft Power Platform 开发低代码解决方案；以及通过“函数调用”增强大型语言模型的能力。内容聚焦于实际部署，从基于 Python 的 API 集成，到自然语言驱动的应用开发，再到将 AI 连接到外部数据源。
学习成果：
- 构建并配置图像生成应用，同时实施“元提示”以定义内容边界和安全性。
- 利用 Copilot、Dataverse 与 AI Builder 在 Power Platform 中设计低代码 AI 应用和自动化工作流。
- 实现函数调用以确保结构化数据输出（如 JSON）的一致性，并将大型语言模型与外部 API 集成。
🔹 第5课：用户体验、安全与应用生命周期
概述： 本课程探讨用户体验（UX）、安全协议以及生成式 AI 应用运营生命周期的关键交汇点。它探讨如何通过可解释性建立信任，识别生成式 AI 特有的安全威胁，如数据污染和提示注入，并阐述从传统 MLOps 向 LLMOps 的转变，以管理应用生命周期。
学习成果：
- 设计促进信任与透明度的 AI 界面，通过可解释性和用户控制增强可用性。
- 识别并缓解生成式 AI 特有的安全风险，包括数据污染、提示注入及供应链漏洞。
- 区分 MLOps 与 LLMOps，解释生成式 AI 应用生命周期的各个阶段（构思、构建、运营化）。
🔹 第6课：高级检索与代理系统
概述： 本课程探讨从基础的 LLM 交互过渡到利用检索增强生成（RAG）和自主 AI 代理的复杂系统。学习者将探索如何使用向量数据库将模型与私有数据结合，以及如何通过代理框架扩展 LLM 能力，使其具备规划、使用工具和与其他代理交互的能力。
学习成果：
- 解释 RAG 的技术流程，包括文本切块、嵌入生成和语义检索。
- 根据成本、可定制性和性能比较并选择合适的开源模型（Llama 2、Mistral、Falcon）。
- 区分主要 AI 代理框架（LangChain、AutoGen、TaskWeaver、JARVIS）及其具体应用场景。
🔹 第7课：模型微调与专用架构
概述： 本课程探讨从通用提示工程转向通过监督微调和专用小型语言模型（SLMs）优化模型的转变。课程对微软 Phi、Mistral 与 Meta Llama 模型家族进行对比分析，详细说明其在规模、计算需求和多模态能力方面的架构权衡，适用于云与边缘环境的部署。
学习成果：
- 定义微调，并判断在何种情况下应使用微调而非提示工程或检索增强生成（RAG）。
- 对比大型语言模型（LLMs）与小型语言模型（SLMs）在规模、理解能力和推理速度方面的特性。
- 识别 Phi-3.5、Mistral（大型/小型/NeMo）以及 Llama（3.1/3.2）模型家族的独特功能与适用场景。