2023 年 4 月 7 日
与 AI 开发者一起庆祝 PyTorch 2.0 的新性能特性
向 PyTorch 基金会祝贺其发布 PyTorch 2.0！在这篇博客中，我讨论了英特尔为 PyTorch 2.0 做出的重大贡献的四个特性：TorchInductor GNN INT8 推理优化 oneDNN 图 API 我们在英特尔很高兴成为 PyTorch 社区的一部分，并感谢 Meta 的同事们与我们共同开发这些特性。让我们开始吧。1. TorchInductor CPU FP32 推理优化...
2023 年 4 月 3 日
PyTorch 与 OpenXLA：前进之路
在我们庆祝 OpenXLA、PyTorch 2.0 和 PyTorch/XLA 2.0 的发布之际，值得回顾一下在短期内至中期内我们认为它会走向何方。随着 PyTorch 在 AI 领域的采用领先，XLA 支持一流的编译器特性，PyTorch/XLA 正处于为模型训练和推理提供尖端开发堆栈的有利位置。为了实现这一点，我们看到了在三个主要领域的投资：训练大型模型 - 大型语言模型（LLM）...
2023 年 3 月 28 日
加速 PyTorch 2.0 Transformer
PyTorch 2.0 版本发布包括 PyTorch Transformer API 的新高性能实现，旨在使最先进的 Transformer 模型的训练和部署变得经济实惠。继“fastpath”推理执行（“更好的 Transformer”）成功发布之后，本版本引入了对使用自定义内核架构进行扩展点积注意力（SPDA）的训练和推理的高性能支持。您可以利用新的融合 SDPA 内核...
2023 年 3 月 22 日
PyTorch 2.0 & XLA—最新尖端特性
今天，我们激动地分享我们为 PyTorch/XLA 2.0 的最新工作。PyTorch 2.0 的发布是这一著名社区又一个重要的里程碑，我们很兴奋能继续成为其中的一员。当 PyTorch/XLA 项目在 2018 年由谷歌和 Meta 启动时，重点是引入尖端云 TPU 以支持 PyTorch 社区。在这个过程中，社区中的其他人，如亚马逊，也加入了该项目，社区很快得到了扩展。我们对 X...
2023 年 3 月 16 日
使用 PyTorch 2.0 加速 Diffusers
PyTorch 2.0 刚刚发布。其标志性的新特性是 torch.compile()，一行代码的更改承诺可以自动提升整个代码库的性能。我们之前已经在 Hugging Face Transformers 和 TIMM 模型上验证了这一承诺，并深入探讨了其动机、架构和未来的道路。尽管 torch.compile()非常重要，但 PyTorch 2.0 还有更多亮点。值得注意的是，PyTorch 2.0 采用了多种策略来加速 Transformer 块，并且……
2023 年 3 月 15 日
PyTorch 2.0：我们下一代更快、更 Pythonic 和更动态的发布
我们兴奋地宣布 PyTorch® 2.0 的发布，我们曾在 2022 年 12 月 2 日的 PyTorch 大会上重点介绍！PyTorch 2.0 提供了相同的急切模式开发和用户体验，同时在底层编译器级别对 PyTorch 进行了根本性的改变和增强，实现了更快的性能和对动态形状和分布式计算的支持。这一下一代发布包括加速 Transformer 的稳定版本（之前称为 Better Transformers）；Beta 版本包括……
2023 年 3 月 15 日
PyTorch 2.0 新版图书馆更新
摘要 我们在 PyTorch 2.0 发布的同时，对当前 PyTorch 库进行了一系列改进。这些更新展示了我们致力于开发跨所有领域的通用和可扩展的 API，以使我们的社区更容易在 PyTorch 上构建生态系统项目。与 2.0 版本一同发布的，还包括一系列 PyTorch 领域库的 beta 更新，包括树内库以及独立的库，如 TorchAudio、TorchVision 和 TorchText。An...
