欢迎来到 PyTorch 教程

PyTorch 教程中有什么新内容？

• 使用 torch.compiler.set_stance 实现动态编译控制

• 通过使用嵌套张量和 torch.compile() 替换 nn.Transformer 来加速 PyTorch Transformers

• 理解 torch.export 流程及常见问题解决方案

• 更新 torch.export 教程，支持自动动态形状 Dim.AUTO

• 更新 torch.export AOTInductor 教程以支持 Python 运行时

• 更新使用 torch.compile 与用户自定义 Triton 内核 torch.library.triton_op

• 更新 torch.compile 中的编译时缓存 Mega-Cache

学习基础知识

熟悉 PyTorch 的概念和模块。在本快速入门指南中学习如何加载数据、构建深度神经网络、训练和保存您的模型。

开始使用 PyTorch

PyTorch 食谱

短小精悍、即用型 PyTorch 代码示例。

探索食谱

---

学习基础知识

使用 PyTorch 构建完整 ML 工作流程的步骤指南。

入门

YouTube 上的 PyTorch 入门介绍

使用 PyTorch 构建完整机器学习工作流程的介绍。遵循 YouTube 上的 PyTorch 入门系列。

入门

使用示例学习 PyTorch

本教程通过自包含的示例介绍了 PyTorch 的基本概念。

入门

torch.nn 究竟是什么？

使用 torch.nn 创建和训练神经网络。

入门

使用 TensorBoard 可视化模型、数据和训练

学习使用 TensorBoard 可视化数据和模型训练

可解释性，入门，TensorBoard

在 PyTorch 中正确使用`non_blocking`和`pin_memory()`

从 CPU 复制数据到 GPU 的最佳实践指南

入门

TorchVision 目标检测微调教程

微调预训练的 Mask R-CNN 模型

图像/视频

计算机视觉迁移学习教程

使用迁移学习训练卷积神经网络进行图像分类。

图像/视频

优化视觉 Transformer 模型

将基于注意力的 Transformer 模型应用于计算机视觉任务。

图像/视频

对抗样本生成

使用迁移学习训练卷积神经网络进行图像分类。

图像/视频

DCGAN 教程

训练生成对抗网络（GAN）以生成新的名人。

图像/视频

空间变换网络教程

学习如何使用视觉注意力机制增强您的网络。

图像/视频

使用 TIAToolbox 在全景切片图像上进行推理

学习如何使用 TIAToolbox 对全景切片图像进行推理。

图像/视频

基于 USB 的半监督学习教程

使用 USB 和 PyTorch 学习如何训练半监督学习算法（在自定义数据上）。

图像/视频

音频输入输出

学习使用 torchaudio 加载数据。

音频

音频重采样

学习使用 torchaudio 重采样音频波形。

音频

音频数据增强

学习使用 torchaudio 应用数据增强

音频

音频特征提取

学习使用 torchaudio 提取特征。

音频

音频特征增强

学习使用 torchaudio 增强特征。

音频

音频数据集

学习使用 torchaudio 数据集。

音频

使用 torchaudio 中的 Wav2Vec2 进行自动语音识别

学习如何使用 torchaudio 的预训练模型构建语音识别应用

音频

语音命令分类

学习如何正确格式化音频数据集，并在数据集上训练/测试音频分类器网络。

音频

使用 torchaudio 进行文本到语音

学习如何使用 torchaudio 的预训练模型构建文本到语音应用程序。

音频

使用 torchaudio 中的 Wav2Vec2 进行强制对齐

学习如何使用 torchaudio 的 Wav2Vec2 预训练模型进行文本到语音的对齐

音频

从零开始的自然语言处理：使用字符级 RNN 进行姓名分类

从头开始构建并训练一个基本的字符级 RNN 以从零开始分类单词。本系列教程的第一部分。

自然语言处理

从零开始的自然语言处理：使用字符级 RNN 生成姓名

使用字符级 RNN 对名字进行分类后，学习如何从语言中生成名字。本系列教程的第二个教程。

自然语言处理

从零开始学习 NLP：使用序列到序列网络和注意力机制进行翻译

这是“从零开始学习 NLP”系列的第三个也是最后一个教程，我们将编写自己的类和函数来预处理数据，以执行我们的 NLP 建模任务。

自然语言处理

(可选) 使用 TorchDynamo 后端将 PyTorch 模型导出为 ONNX，并使用 ONNX Runtime 运行

使用 PyTorch 构建图像分类器模型，并在部署前将其转换为 ONNX

生产，ONNX，后端

扩展 ONNX 导出器操作符支持

展示如何端到端地解决 ONNX 中不支持的运算符

生产，ONNX，后端

将具有控制流的模型导出到 ONNX

展示如何在导出 PyTorch 模型到 ONNX 时处理控制流逻辑。

生产，ONNX，后端

强化学习（DQN）

学习如何使用 PyTorch 训练一个在 OpenAI Gym 的 CartPole-v0 任务上的深度 Q 学习（DQN）智能体。

强化学习

使用 TorchRL 进行强化学习（PPO）的 PyTorch 实现

学习如何使用 PyTorch 和 TorchRL 在 Gym 的倒立摆任务上训练近端策略优化（PPO）智能体

强化学习

训练一个玩马里奥的强化学习代理

使用 PyTorch 训练一个双 Q 学习代理来玩马里奥

强化学习

循环 DQN

使用 TorchRL 训练循环策略

强化学习

编写 DDPG 损失函数的代码

使用 TorchRL 编写 DDPG 损失函数的代码

强化学习

编写你的环境和转换

使用 TorchRL 编写 Pendulum

强化学习

使用 Flask 通过 REST API 部署 PyTorch

使用 Flask 部署 PyTorch 模型，以预训练的 DenseNet 121 模型为例，通过 REST API 公开模型推理接口进行图像检测。

生产环境

TorchScript 简介

PyTorch 的 TorchScript 介绍，它是 nn.Module 子类的中间表示形式，可以在 C++等高性能环境中运行。

生产，TorchScript

在 C++中加载 TorchScript 模型

学习 PyTorch 如何将现有的 Python 模型转换为可以纯 C++加载和执行的可序列化表示，无需依赖 Python。

生产，TorchScript

（可选）使用 TorchScript 后端将 PyTorch 模型导出为 ONNX 格式，并使用 ONNX Runtime 运行它

将定义在 PyTorch 中的模型转换为 ONNX 格式，然后使用 ONNX Runtime 运行

生产，ONNX

PyTorch 性能分析

学习如何分析 PyTorch 应用程序

性能分析

_static/img/thumbnails/default.png

PyTorch 性能分析

全景式跟踪分析入门

性能分析

_static/img/thumbnails/default.png

PyTorch 性能分析

使用整体跟踪分析追踪差异

性能分析

_static/img/thumbnails/default.png

在 FX 中构建卷积/批归一化融合器

构建一个简单的 FX 传递，将批归一化融合到卷积中，以提升推理性能。

FX

使用 FX 构建一个简单的性能分析器

构建一个简单的 FX 解释器，以记录操作、模块和函数调用的运行时间并报告统计数据

FX

(beta) PyTorch 中的通道最后内存格式

了解通道最后内存格式概述，并理解它是如何用于在内存中保留维度来排序 NCHW 张量的

内存格式，最佳实践，前端 API

使用 PyTorch C++前端

通过训练 DCGAN（一种生成模型）来生成 MNIST 数字图像的端到端示例，了解如何使用 C++前端训练模型。

前端 API，C++

PyTorch 自定义操作着陆页面

这是关于 PyTorch 自定义操作的所有相关内容的着陆页面。

扩展 PyTorch，前端 API，C++，CUDA

自定义 Python 操作

在 Python 中创建自定义操作符。适用于将 Python 函数黑盒化以用于 torch.compile。

扩展 PyTorch，前端 API，C++，CUDA

编译 Autograd：捕获更大的反向图用于`torch.compile`

学习如何使用编译 Autograd 捕获更大的反向图。

模型优化，CUDA

自定义 C++和 CUDA 算子

如何通过自定义 C++和 CUDA 算子扩展 PyTorch

扩展 PyTorch，前端 API，C++，CUDA

自定义 C++ 和 CUDA 扩展

使用 numpy 创建一个无参数的神经网络层。然后使用 scipy 创建一个具有可学习权重的神经网络层。

扩展 PyTorch，前端 API，C++，CUDA

扩展 TorchScript 以使用自定义 C++ 操作符

实现自定义 TorchScript 运算符，如何在 C++中构建它为共享库，如何在 Python 中使用它定义 TorchScript 模型，最后如何在 C++应用程序中加载它以进行推理工作负载。

扩展 PyTorch，前端 API，TorchScript，C++

使用自定义 C++类扩展 TorchScript

这是自定义运算符教程的延续，介绍了我们构建的用于将 C++类绑定到 TorchScript 和 Python 的 API。

扩展 PyTorch，前端 API，TorchScript，C++

TorchScript 中的动态并行处理

本教程介绍了在 TorchScript 中实现*动态交互并行性*的语法。

前端 APIs，TorchScript，C++

Raspberry Pi 4 上的实时推理

本教程介绍了如何在 Raspberry Pi 4 上以 30 fps 的速度运行量化并融合的模型。

TorchScript、模型优化、图像/视频、量化

C++ 前端中的 Autograd

autograd 包帮助构建灵活和动态的神经网络。在本教程中，将探索在 PyTorch C++ 前端进行 autograd 的几个示例。

前端 API，C++

在 C++中注册已分发的操作符

分发器是 PyTorch 的一个内部组件，负责确定在调用像 torch::add 这样的函数时应该实际运行什么代码。

扩展-PyTorch,前端-APIs,C++

在 C++中扩展调度器以支持新的后端

学习如何扩展调度器以添加位于 pytorch/pytorch 仓库之外的设备，并维护它与原生 PyTorch 设备保持同步。

扩展-PyTorch,前端-APIs,C++

通过 PrivateUse1 促进新的后端集成

学习如何在 pytorch/pytorch 仓库之外集成新的后端，并维护它与原生 PyTorch 后端保持同步。

扩展-PyTorch,前端-APIs,C++

自定义函数教程：反向传播

学习如何编写支持双反向传播的自定义 autograd 函数。

扩展-PyTorch，前端 API

自定义函数教程：融合卷积和批量归一化

学习如何创建一个自定义的 autograd Function，将批量归一化融合到卷积中以提高内存使用

扩展-PyTorch，前端 API

前向模式自动微分

学习如何使用前向模式自动微分。

前端 API

雅可比矩阵、海森矩阵、hvp、vhp 等等

学习如何使用 torch.func 计算高级自动微分量

前端 API

模型集成

学习如何使用 torch.vmap 集成模型

前端 API

每样本梯度

学习如何使用 torch.func 计算每样本梯度

前端 API

神经切线核

学习如何使用 torch.func 计算神经切线核

前端 API

PyTorch 中的性能分析

学习如何使用 PyTorch Profiler 来评估您模块的性能。

模型优化，最佳实践，性能分析

TensorBoard 中的性能分析

学习如何使用 TensorBoard 插件来分析和评估您的模型性能。

模型优化，最佳实践，性能分析，TensorBoard

超参数调优教程

学习如何使用 Ray Tune 找到模型的最佳超参数集。

模型优化，最佳实践

参数化教程

学习如何使用 torch.nn.utils.parametrize 对参数施加约束（例如使它们正交、对称正定、低秩等）

模型优化，最佳实践

剪枝教程

学习如何使用 torch.nn.utils.prune 来稀疏化您的神经网络，以及如何扩展它以实现您自己的自定义剪枝技术。

模型优化，最佳实践

如何通过融合优化器步骤到反向传播中节省内存

通过使用内存快照将优化器步骤融合到反向传播中学习节省内存的技术。

模型优化，最佳实践，CUDA，前端 API

(beta) 使用半结构化稀疏性加速 BERT

训练 BERT，将其修剪为 2:4 稀疏，然后使用半结构化稀疏性和 torch.compile 加速，实现 2 倍推理速度提升

文本，模型优化

(测试版) LSTM 词语言模型上的动态量化

将动态量化，量化最简单的一种形式，应用于基于 LSTM 的下一个词预测模型。

文本，量化，模型优化

(beta) BERT 上的动态量化

将动态量化应用于 BERT（双向嵌入表示从 Transformer）模型。

文本，量化，模型优化

(beta) 计算机视觉量化迁移学习教程

使用量化模型扩展计算机视觉迁移学习教程

图像/视频，量化，模型优化

(beta) PyTorch 中 Eager 模式下的静态量化

本教程展示了如何进行训练后的静态量化。

量化

从原理出发掌握 PyTorch Intel CPU 性能

使用英特尔® PyTorch 扩展优化的 TorchServe 推理框架案例研究。

模型优化，生产

从第一性原理深入理解 PyTorch 英特尔 CPU 性能（第二部分）

使用英特尔® PyTorch 扩展优化的 TorchServe 推理框架案例研究（第二部分）

模型优化，生产

基于 Ax 的多目标神经架构搜索

学习如何使用 Ax 在架构中进行搜索，以在准确性和延迟之间找到最佳权衡。

模型优化，最佳实践，Ax，TorchX

torch.compile 教程

使用 torch.compile，通过最小代码更改加速您的模型，这是最新的 PyTorch 编译器解决方案。

模型优化

电感 CPU 后端调试和性能分析

学习使用、调试和性能分析 Inductor CPU 后端下的`torch.compile`。

模型优化

(beta) 使用 SCALED DOT PRODUCT ATTENTION 实现高性能 Transformer

本教程探讨了新的 torch.nn.functional.scaled_dot_product_attention 及其如何用于构建 Transformer 组件。

模型优化、注意力、Transformer

卷积神经网络中的知识蒸馏

学习如何使用更强大的模型作为教师来提高轻量级模型的准确率。

模型优化、图像/视频

通过用嵌套张量和 torch.compile()替换 nn.Transformer 来加速 PyTorch Transformers

本教程介绍了实现 Transformers 的推荐最佳实践

Transformer

PyTorch 分布式概述

简要概述分布式包中的所有概念和功能。使用本文件查找最适合您应用的分布式训练技术。

并行与分布式训练

PyTorch 中的分布式数据并行 - 视频教程

本系列视频教程将指导您通过 DDP 在 PyTorch 中进行分布式训练。

并行与分布式训练

单机模型并行最佳实践

学习如何实现模型并行，这是一种分布式训练技术，它将单个模型分割到不同的 GPU 上，而不是在每个 GPU 上复制整个模型

并行与分布式训练

分布式数据并行入门

学习何时使用分布式数据并行与数据并行的基础知识，并通过一个示例来设置它。

并行与分布式训练

使用 PyTorch 编写分布式应用程序

设置 PyTorch 的分布式包，使用不同的通信策略，并了解该包的一些内部机制。

并行与分布式训练

使用 Tensor Parallel 进行大规模 Transformer 模型训练

学习如何使用 Tensor Parallel 包训练大型模型。

并行与分布式训练

使用 C++扩展自定义进程组后端

使用自定义集体通信实现扩展进程组

并行与分布式训练

入门分布式 RPC 框架

学习如何使用 torch.distributed.rpc 包构建分布式训练

并行与分布式训练

使用分布式 RPC 框架实现参数服务器

通过一个简单的示例来讲解如何使用 PyTorch 的分布式 RPC 框架实现参数服务器

并行与分布式训练

分布式流水线并行简介

展示如何使用 torch.distributed.pipelining 实现管道并行

并行与分布式训练

使用异步执行实现批处理 RPC 处理

学习如何使用 rpc.functions.async_execution 实现批处理 RPC

并行与分布式训练

结合分布式数据并行与分布式 RPC 框架

通过一个简单的示例讲解如何结合分布式数据并行与分布式模型并行

并行与分布式训练

全局分片数据并行（FSDP）入门

学习如何使用全局分片数据并行（FSDP）包训练模型

并行与分布式训练

使用全局分片数据并行（FSDP）的高级模型训练

使用完全分片数据并行包探索高级模型训练。

并行与分布式训练

Libuv TCPStore 后端简介

TCPStore 现在使用新的服务器后端，以实现更快的连接和更好的可扩展性。

并行与分布式训练

导出至 ExecuTorch 教程

了解如何使用 ExecuTorch，一个将 PyTorch 模型降低到边缘设备的统一机器学习堆栈。

边缘

在 C++中运行 ExecuTorch 模型教程

学习如何在 C++中加载和执行 ExecuTorch 模型

边缘

使用 ExecuTorch SDK 对模型进行性能分析

探索如何使用 ExecuTorch SDK 对模型进行性能分析、调试和可视化

边缘

构建 ExecuTorch iOS 演示应用

探索如何设置 ExecuTorch iOS 演示应用，该应用使用 MobileNet v3 模型处理实时摄像头图像，并利用三个不同的后端：XNNPACK、Core ML 和 Metal 性能着色器（MPS）。

边缘

构建 ExecuTorch Android 演示应用

学习如何设置 ExecuTorch 安卓演示应用以进行图像分割任务，使用 DeepLab v3 模型和 XNNPACK FP32 后端。

边缘

将模型作为代理降低

学习如何通过三种方法使用 ExecuTorch 加速您的程序：降低整个模块、与另一个模块组合以及分割模块的部分。

边缘

火炬推荐系统入门

TorchRec 是一个用于 PyTorch 的领域库，旨在提供大规模推荐系统所需的常见稀疏性和并行性原语。

TorchRec，推荐系统

探索 TorchRec 分片

本教程介绍了使用 EmbeddingPlanner 和 DistributedModelParallel API 对嵌入表进行分片方案

TorchRec，推荐系统

TorchMultimodal 简介

TorchMultimodal 是一个提供多模态任务模型、原语和示例的库

TorchMultimodal

补充资源 ¶

PyTorch 示例

一组关于 PyTorch 在视觉、文本、强化学习方面的示例，您可以将它们融入您现有的工作中。

查看示例

PyTorch 速查表

PyTorch 基本元素的快速概述。

打开

GitHub 上的教程

从 GitHub 访问 PyTorch 教程

前往 GitHub

在 Google Colab 上运行教程

学习如何将教程数据复制到 Google Drive，以便您可以在 Google Colab 上运行教程。

打开