2022 年 10 月 28 日
PyTorch 1.13 版本发布，包括 functorch 的测试版以及针对苹果新 M1 芯片的改进支持。
我们非常高兴地宣布 PyTorch® 1.13（发布说明）的发布！这包括 BetterTransformer 的稳定版本。我们弃用了 CUDA 10.2 和 11.3，并完成了 CUDA 11.6 和 11.7 的迁移。Beta 版本包括对 Apple M1 芯片和 functorch 的改进支持，functorch 是一个提供可组合的 vmap（向量化）和自动微分转换的库，它作为 PyTorch 发布的一部分被包含在源代码树中。自 1.12.1 以来，这个版本由超过 3,749 个提交和 467 位贡献者组成。我们真诚地...
2022 年 10 月 17 日
PyTorch 基于跟踪的选建
简介 TL;DR：在移动设备、SBC（单板计算机）和 IOT 设备上运行 PyTorch 可能具有挑战性。当编译时，PyTorch 库很大，包括可能对设备上使用用例不需要的依赖项。为了在设备上运行特定的模型集，我们实际上只需要 PyTorch 库中的一部分功能。我们发现使用通过选择性构建生成的 PyTorch 运行时可以实现高达 90%的二进制大小减少（对于……
2022 年 10 月 13 日
使用 FSDP 在云 TPU 上扩展 PyTorch 模型
引言近年来，研究界在自然语言处理、计算机视觉和其他领域的大型模型上取得了许多成功。其中许多成功得益于云 TPU——这是一种用于分布式训练的强大硬件。为了支持 PyTorch 中的 TPU，PyTorch/XLA 库为 XLA 设备（尤其是 TPU）提供了一个后端，并为在 TPU 上扩展大型 PyTorch 模型奠定了基础。然而，大多数现有的 PyTorch 生态中的模型扩展工具...
2022 年 9 月 29 日
Meta 生产 PyTorch 模型的性能调试
1. Meta 人工智能性能分析（MAIProf）图 1：Meta 人工智能性能分析（MAIProf）基础设施的简化示意图。图 1 给出了 Meta 人工智能性能分析基础设施的简化示意图。机器学习研究和性能工程师通过用户门户向性能分析服务提交训练作业的性能分析请求，性能分析服务随后将请求广播到所有运行训练作业的 GPU 主机。当监控...
2022 年 9 月 26 日
宣布 PyTorch 大会 2022
我们非常高兴地宣布，PyTorch 大会将作为卫星活动于 12 月 2 日在新奥尔良的 NeurlPS（神经信息处理系统）上回归线下举办。我们将名称从 PyTorch 开发者日更改为 PyTorch 大会，以标志着我们迈向新篇章，展望 PyTorch 的未来，涵盖整个 PyTorch 社区。此次大会将汇集来自机器学习（ML）和深度学习领域的领先研究人员、学者和开发者...
2022 年 9 月 12 日
PyTorch 通过加入 Linux Foundation 加强其治理
今天，我自豪地宣布 PyTorch 将作为顶级项目加入 Linux Foundation（LF），并以 PyTorch Foundation 的名义进行迁移。Linux Foundation 的核心使命是开源软件的协作开发。由 AMD、亚马逊网络服务（AWS）、谷歌云、Meta、微软 Azure 和 NVIDIA 的领导者组成的治理委员会，这一模式与 PyTorch 当前的立场及其未来发展需求相一致。PyTorch Foundation 的成立将确保...
2022 年 8 月 29 日
基于 PyTorch、TorchAudio 和 Flashlight Text 的快速光束搜索解码
Flashlight Text（Flashlight ML 框架的一部分）提供的行业领先速度的光束搜索解码现在在 TorchAudio 中得到了官方支持，为基于 PyTorch 的语音和文本应用带来了高性能的光束搜索和文本工具。当前的集成支持 CTC 样式解码，但可用于任何输出时间步长上 token 级概率分布的建模设置。光束搜索快速回顾 在语音和语言 ...
