2023 年 8 月 24 日
使用 PyTorch/XLA FSDP 在 TPU 上大规模训练 Hugging Face Transformers
人工智能正在通过理解生成语言、回答问题和提供准确推荐等高级功能，改变许多行业。这些功能由不断增长和复杂的 AI 模型驱动，这些模型需要大量的计算能力来训练。为了满足大规模 AI 训练的需求，去年我们在 PyTorch/XLA 中引入了完全分片数据并行（FSDP）。FSDP 是一种模型并行架构，可以解锁...
2023 年 8 月 10 日
英特尔成为 PyTorch 基金会高级会员
PyTorch 基金会是一个中立的家，为深度学习社区提供一个合作的开源 PyTorch 框架和生态系统的平台。今天，基金会宣布英特尔成为高级会员。“PyTorch 基金会非常高兴欢迎英特尔成为高级会员，这是我们在赋能全球 AI 社区使命中的一个重要里程碑。英特尔在广泛的专业知识和致力于推进尖端技术方面的承诺与我们的愿景完美契合，即培养开源社区。"
2023 年 8 月 7 日
PyTorch 中针对 x86 CPU 的 INT8 量化
概述 INT8 量化是一种强大的技术，可以加速在 x86 CPU 平台上进行深度学习推理。通过将模型的权重和激活的精度从 32 位浮点数（FP32）降低到 8 位整数（INT8），INT8 量化可以显著提高推理速度并减少内存需求，同时不牺牲精度。在这篇博客中，我们将讨论 PyTorch 中针对 x86 CPU 的 INT8 量化的最新进展，重点关注新的 x86 量化...
2023 年 8 月 3 日
Hugging Face 加入 PyTorch 基金会成为高级会员
PyTorch 基金会，一个中立的家，为深度学习社区提供一个协作的平台，共同开发开源的 PyTorch 框架和生态系统，今天宣布 Hugging Face 已加入为高级会员。Hugging Face 长期以来一直是 PyTorch 生态系统的支持者和贡献者，通过提供强大的模型和资源，加速了人工智能技术的研究、开发和采用，特别是在自然语言处理领域。“我们的使命始终是……”
2023 年 8 月 1 日
AMD 迈向开放与性能之旅
AMD 在构建支持开放生态系统的模型、库、框架和工具的强大软件堆栈方面取得了进展。随着经过验证的平台势头增强，领导级软件堆栈和优化生态系统对于实现应用性能具有重要意义。PyTorch 是 AMD 人工智能旅程的关键部分，AMD 总裁 Victor Peng 和 PyTorch 创始人 Soumith Chintala 在 6 月 12 日的 DC & AI 主题演讲中讨论了最新的进展。构建...
2023 年 7 月 31 日
在生产中使用 IBM 实现高性能分布式检查点
去年，IBM 研究部门开始与我们合作，将完全分片数据并行（FSDP）引入其大型基础模型。他们对 FSDP 产生了兴趣，因为 FSDP 是 PyTorch 原生提供的产品，用于在 IBM 云上扩展其分布式训练工作。我们很高兴地分享，与 IBM 合作，我们已经为大型模型实现了显著的检查点加速（比原始 PyTorch 1.13 保存速度提高 72 倍），证明了模型和优化器检查点扩展到 30B 参数...
2023 年 7 月 27 日
IBM 加入 PyTorch 基金会成为高级会员
PyTorch 基金会是 Linux 基金会的一部分，很高兴宣布 IBM 成为高级会员。该基金会作为一个中立的空间，为深度学习社区提供一个合作平台，共同开发开源的 PyTorch 框架和生态系统。凭借其在行业中的丰富经验和在开源和 AI 领域的领导地位，IBM 致力于积极为 PyTorch 社区做出贡献。IBM 提供全面的 AI 企业解决方案，并最近发布了 watso...
