2024 年 7 月 10 日
学习如何使用 ExecuTorch 和 Llama 模型开发 Android 应用程序
本博客由 Arm 的 PyTorch 团队提供。更多详情请见此处。Arm 的计算平台正在为手机、笔记本电脑和服务器上的 GenAI 应用提供支持。成本、隐私、性能、安全性和能效只是开发者研究设备上 AI 的一些原因。现在有一份新的学习路径，解释了如何使用 ExecuTorch 和 XNNPACK 在 Android 上利用大型语言模型（LLMs）的功能。以下是您将学习的内容摘要...
2024 年 7 月 9 日
在 AWS Graviton 处理器上使用 torch.compile 加速 PyTorch 推理
摘要最初，PyTorch 使用的是急切模式，其中构成模型的每个 PyTorch 操作都会在到达时独立运行。PyTorch 2.0 引入了 torch.compile 来加快 PyTorch 代码在默认急切模式下的运行速度。与急切模式相比，torch.compile 将整个模型预编译成一个针对特定硬件平台运行最优的单个图。AWS 针对 AWS Graviton3 处理器优化了 PyTorch 的 torch.compile 功能。这种优化重新...
2024 年 7 月 3 日
公告：NeurIPS 2024 黑客杯 AI 赛道
PyTorch 团队与 Meta 黑客杯、微软研究院合作，激动地宣布在 NeurIPS 2024 举办黑客杯 AI 赛道。这将是 Meta 黑客杯编程竞赛中首次设立 AI 赛道，旨在评估生成式 AI 在自主代码生成任务中的能力。我们旨在测试 AI 在复杂编码挑战中的极限，并衡量 AI 系统与人类程序员之间的性能差距。我们将提供所有...
2024 年 6 月 25 日
推动 AI 革命：PyTorch 纪录片
现已上线：官方 PyTorch 纪录片！本片揭示了 PyTorch 诞生的真实故事，将其存在归功于一群默默无闻的英雄，他们推动着技术创新。纪录片分享了 PyTorch 社区的力量，与全球各地的社区产生共鸣。我们希望 PyTorch 的故事能够激发更大的贡献，吸引更多贡献者加入项目，并促进 PyTorch 在开源领域重要性的广泛认可。
2024 年 6 月 23 日
使用 PyTorch 大规模训练 MoEs
过去一年中，专家混合（MoE）模型因其强大的开源模型如 DBRX、Mixtral、DeepSeek 等而迅速崛起。在 Databricks，我们与 PyTorch 团队紧密合作，以扩展 MoE 模型的训练。在这篇博客文章中，我们将讨论我们如何使用 PyTorch 分布式和 MegaBlocks（PyTorch 中一个高效的 MoE 开源实现）扩展到三千多块 GPU。什么是 MoE？MoE 模型是一种模型架构，它使用多...
2024 年 6 月 20 日
🎉 2024 年 H1 PyTorch 文档马拉松总结 🎉
我们非常高兴地宣布，2024 年 H1 PyTorch 文档马拉松圆满成功！此次活动取得了巨大成功，我们衷心感谢所有使活动成为可能的参与者。我们的开源贡献者的奉献、专业知识和不懈努力再次帮助我们改进了 PyTorch 文档。这次文档马拉松从 6 月 4 日持续到 6 月 20 日，共有 176 名注册者。热情和活力显而易见，参赛者经过评判...
2024 年 6 月 20 日
使用半结构化（2:4）稀疏性加速神经网络训练
在过去的一年里，我们将对半结构化（2:4）稀疏性的支持添加到了 PyTorch 中。仅用几行代码，我们就能够通过将密集矩阵乘法替换为稀疏矩阵乘法，在 segment-anything 上实现了 10%的端到端推理速度提升。然而，矩阵乘法并不仅限于神经网络推理，它们在训练过程中也会发生。通过扩展我们之前用于加速推理的核心原语，我们还能够加速...
