2023 年 7 月 10 日
如何加速 PyTorch Geometric 在 Intel® CPU 上的运行
概述 英特尔 PyTorch 团队一直与 PyTorch Geometric（PyG）社区合作，为图神经网络（GNN）和 PyG 工作负载提供 CPU 性能优化。在 PyTorch 2.0 版本中，引入了多项关键优化，以提升 CPU 上 GNN 训练和推理性能。开发者和研究人员现在可以利用英特尔 AI/ML 框架的优化，实现模型训练和推理的显著加速，从而解锁了...的能力。
2023 年 6 月 29 日
优化基于 LibTorch 的推理引擎内存使用和线程池
概述 在本文中，我们展示了如何通过减少内存使用和优化线程池策略来优化基于 LibTorch 的推理引擎，以最大化吞吐量。我们将这些优化应用于音频数据模式识别引擎，例如音乐和语音识别或声纹识别。本文中讨论的优化可以将内存使用减少 50%，并将推理端到端延迟减少 37.5%。这些优化适用于...
2023 年 6 月 28 日
使用 PyTorch/XLA 实现 LLaMA 65B 超低推理延迟的路径
自然语言处理（NLP）领域的背景与最新技术。在这个领域，语言模型被设计用来使用一系列过去输入的标记（例如单词）生成一个标记。大型语言模型（LLMs）是这一领域最新的深度学习创新，旨在以人类似的方式生成文本。这些模型通常使用 Transformer 来提高它们对大量输入标记的注意力。LLaMA 是由 Meta AI 开源的一个强大的基础模型LLM，在超过...
2023 年 6 月 22 日
使用 AWS Graviton 处理器优化 PyTorch 2.0 推理
新一代 CPU 由于内置的专用指令，在机器学习（ML）推理方面提供了显著的性能提升。结合其灵活性、高速的开发速度和低运营成本，这些通用处理器为其他现有硬件解决方案提供了一种替代的 ML 推理解决方案。AWS、Arm、Meta 等公司帮助优化了 PyTorch 2.0 在基于 Arm 的处理器上的推理性能。因此，我们非常高兴地宣布...
2023 年 6 月 16 日
🎉 PyTorch 文档马拉松 H1 2023 总结 🎉
感谢所有参加我们首届 PyTorch 文档马拉松的各位，结果令人惊叹！我们想向所有使此次活动取得圆满成功的参与者表示最诚挚的感谢。你们的热情、才能和辛勤工作在 PyTorch 文档上留下了不可磨灭的印记。虚拟文档马拉松从 5 月 31 日持续到 6 月 15 日，共有 230 多名注册者，超过 110 名参与者加入了文档马拉松的 Slack 频道，热情和热情...
2023 年 6 月 7 日
加入 PyTorch 基金会：会员招募现已开启
2022 年 9 月，我们将 PyTorch 从 Meta 引入 Linux 基金会，并与 AMD、亚马逊网络服务（AWS）、谷歌、Meta、微软和英伟达共同成立了 PyTorch 基金会。自那时以来，我们见证了显著的增长，包括所有存储库提交量增长了 39%，独特贡献者数量增长了 27%，社区贡献增长了 12%，这一切都发生在过去 90 天内！我们对创始成员的支持推动基金会向前发展表示衷心的感谢。
2023 年 5 月 22 日
开箱即用的🤗解码器模型在 PyTorch 2.0 中的加速和内存节省
作为 PyTorch 2.0 发布的一部分，"Better Transformer"项目中的加速实现（在 PyTorch 中称为加速 Transformer）已原生集成到 PyTorch 中，作为 torch.nn.functional.scaled_dot_product_attention。此实现利用了 FlashAttention 和内存高效注意力中的融合内核，并支持训练和推理。我们还发布了一个笔记本，展示了此集成的示例，请在此查看...
