2023 年 5 月 12 日
语言识别：使用 PyTorch 构建端到端 AI 解决方案
语言识别是从多个音频输入样本中识别主要语言的过程。在自然语言处理（NLP）中，语言识别是一个重要的问题，也是一个具有挑战性的问题。有许多与语言相关的任务，例如在手机上输入文本、寻找你喜欢的新闻文章，或者发现你可能有的问题的答案。所有这些任务都是由 NLP 模型驱动的。为了决定在特定时间点调用哪个模型，我们必须...
2023 年 5 月 3 日
宣布 PyTorch 文档马拉松 2023
我们非常高兴地宣布首届 PyTorch 文档马拉松！文档马拉松是一个以改善文档为目的的、类似黑客马拉松的活动，旨在召集社区的帮助。文档是任何技术的关键部分，通过改善文档，我们可以让用户更容易开始使用 PyTorch，帮助他们了解如何有效地使用其功能，并最终加速机器学习领域的从研究到生产的进程。为什么参加？
2023 年 5 月 2 日
使用 PyTorch 加速图像分割
利用英特尔® PyTorch 扩展来提升图像处理性能 PyTorch 提供了出色的 CPU 性能，并且可以通过英特尔® PyTorch 扩展进一步加速。我使用 PyTorch 1.13.1（带有 ResNet34 + UNet 架构）训练了一个 AI 图像分割模型，用于从卫星图像中识别道路和限速标志，所有这些都在第 4 代英特尔® Xeon®可扩展处理器上完成。我将向您介绍如何使用名为 SpaceNet5 的卫星图像数据集，以及我是如何优化...
2023 年 4 月 27 日
介绍 Hidet：一个高效的模型服务深度学习编译器
Hidet 是一个强大的深度学习编译器，它简化了在现代化加速器（例如 NVIDIA GPU）上实现高性能深度学习算子的过程。随着 PyTorch 2.0 中 torch.compile(...)新特性的推出，将新型编译器集成到 PyTorch 中变得比以往任何时候都简单——Hidet 现在可以作为 torch.compile(...)的后端使用，以加速 PyTorch 模型，使其成为希望提高模型推理性能的 PyTorch 用户的理想选择。
2023 年 4 月 19 日
使用加速 Transformer 加速大型语言模型
TL;DR. 我们展示了如何使用加速 PyTorch 2.0 Transformer 和新引入的 torch.compile() 方法来加速大型语言模型，以 nanoGPT 为例，这是 Andrej Karpathy 的 GPT 模型的一个紧凑的开源实现。使用加速 PT2 Transformer 中引入的新缩放点积注意力算子，我们选择了 flash_attention 自定义内核，实现了每批次的更快训练时间（使用 Nvidia A100 GPU 测量），从约 143ms/批次降低到...
2023 年 4 月 15 日
体验 PyTorch 2.0 在 AMD 解决方案上的强大功能
PyTorch 2.0 代表了 PyTorch 机器学习框架的重大进步。PyTorch 2.0 的稳定发布带来了新的功能，解锁了更高的性能，同时保持与先前版本的向后兼容性，并保留了 Pythonic 专注于帮助 PyTorch 在 AI/ML 社区中如此热情地被采用的特性。AMD 一直是 PyTorch 的坚定支持者，我们很高兴 PyTorch 2.0 的稳定发布包括对 AMD Instinct GPU 的支持...
2023 年 4 月 14 日
使用 PyTorch 2.0 加速生成式扩散模型
TL;DR：PyTorch 2.0 夜间版通过使用新的 torch.compile()编译器和与 PyTorch 2 集成的优化 Multihead Attention 实现，为生成式扩散模型提供了开箱即用的性能提升。引言：近年来，生成式 AI 的进步很大程度上得益于去噪扩散模型，这些模型可以从文本提示中生成高质量的图像和视频。这一系列包括 Imagen、DALLE、Latent Diffusion 等。然而，这一系列中的所有模型都...
