返回课程
AI023 专业级 人工智能

Triton编程入门:实践教程

一份全面的科学教程,旨在为Triton(一种基于Python的语言和编译器,用于编写自定义GPU内核)提供完整的学习路径。本课程涵盖编程模型、语言语义、数值行为以及性能优化,从基础的向量加法逐步深入到现代深度学习系统中使用的融合和分块操作。

5.0
30 小时
561 名学生
10 课时
0 点赞
开始学习

课程概述

内容概要

一套系统全面的科学教程,旨在为 Triton 提供完整的学习路径。Triton 是一种基于 Python 的语言和编译器,用于编写自定义的 GPU 内核。本课程涵盖编程模型、语言语义、数值行为与性能优化,内容从基础的向量加法逐步深入到现代深度学习系统中使用的融合算子与分块算子。

从第一性原理出发,精通高性能 GPU 内核工程。

作者: EvoClass

致谢: Triton 官方文档及 Triton GitHub 仓库。

学习目标

  1. 界定 Triton 及其在深度学习软件栈中的作用。
  2. 区分 Triton 与 CUDA、PyTorch 即时执行代码以及底层 GPU 汇编之间的差异。
  3. 识别哪些工作负载适合使用 Triton,并理解内核融合与性能瓶颈之间的关联。
  4. 完成 Triton 环境的干净安装并验证软件栈。
  5. 实现一个基础的向量复制内核,以验证环境逻辑与内核逻辑是否一致。
  6. 识别并对 GPU 瓶颈进行分类,从而论证采用 PyTorch 算子融合的理由。
  7. 定义程序实例,并使用 cdiv 计算一维启动网格的维度。
  8. 执行指针运算,将特定的程序 ID(pid)映射到内存偏移量。
  9. 区分 PyTorch 张量(主机端元数据)与 Triton 张量(编译器级别的块)。
  10. 使用 tl.arange 计算程序 ID(pid)与特定内存偏移量之间的映射。

课时

Lesson

01
第 1 课:Triton 简介:设计理念与架构
02
第 2 课:环境搭建与 GPU 瓶颈识别
03
第 3 课:Triton 编程模型:网格与指针
04
第 4 课:核心语言语义与内存掩码
05
第 5 课:实现你的第一个内核:向量加法
06
第 6 课:性能基础:占用率与基准测试