由 PyTorch 团队

摘要

group photo

我们荣幸地成功举办了 2024 年 8 月 15 日的 PyTorch 上海 Meetup。这次 Meetup 受到了业界的广泛关注。我们邀请了英特尔和华为的资深 PyTorch 开发者作为嘉宾演讲者,他们分享了宝贵的经验和最新的技术趋势。此外,此次活动还吸引了来自许多科技公司和知名大学的 PyTorch 爱好者。共有 40 多位参与者聚集在一起,讨论和交流 PyTorch 的最新应用和技术进展。

这次 Meetup 不仅加强了 PyTorch 社区成员之间的联系,还为当地 AI 技术爱好者提供了一个学习、交流和成长的平台。我们期待下一次聚会,继续推动当地 PyTorch 技术的发展。

1. PyTorch 基金会更新

man instructing students

PyTorch 董事会成员李锋分享了 PyTorch 社区的最新动态,他回顾了 PyTorch 社区的发展历程,详细介绍了社区开发者的成长路径,鼓励大家深入探索技术,并介绍了即将到来的 PyTorch 2024 大会相关事宜。

2. 英特尔与 PyTorch 的旅程:利用无处不在的硬件和开源软件民主化人工智能

PyTorch CPU 模块维护者龚炯分享了英特尔对 PyTorch 及其生态系统的 6 年技术贡献,探讨了英特尔在软件和硬件方面在民主化人工智能、确保可访问性和优化跨英特尔各种硬件平台性能方面取得的显著进步。

man instructing students

3. 探索 PyTorch 生态系统中的多后端支持:Ascend 案例分析

man instructing students

华为的 PyTorch 贡献者冯春华以华为 Ascend NPU 为例,展示了 PyTorch 应用的多后端支持的最新成果。他介绍了华为 Ascend NPU 的硬件特性以及 CANN(神经网络计算架构)的基础设施,并解释了原生支持工作的关键成就和创新。他还分享了当前面临的挑战和下一步工作计划。

华为的另一位 PyTorch 贡献者纪元豪随后介绍了 Autoload Device Extension 提案,解释了其在提高 PyTorch 可扩展性方面的实现细节和价值,并介绍了 PyTorch 中文社区的最新工作进展。

4. Inductor 的 Intel XPU 后端

man instructing students

Eikan 是来自 Intel 的 PyTorch 贡献者。他专注于 Intel CPU 和 GPU 的 torch.compile 堆栈。在本场会议中,Eikan 展示了 Intel 在 torch.compile 针对 Intel GPU 方面的努力。他提供了关于 PyTorch 中 Intel GPU 当前状态的更新,包括功能和性能方面。此外,Eikan 以 Intel GPU 为例,演示了如何使用 Triton 将新的后端集成到 Inductor 中。

5. PyTorch 私有用途 1 进化方法与见解

man instructing students

华为 PyTorch 合作者李佳伟介绍了 PyTorch 的调度机制,并强调了 DispatchKey 的限制。他以华为 Ascend NPU 为例,分享了 PyTorch 私有用途 1 机制的最佳实践。他还提到,在使用私有用途 1 机制的过程中,华为也向 PyTorch 社区提交了许多对该机制的改进和错误修复。他还提到,由于缺乏对树外设备的上游 CI 支持,上游代码的更改可能会影响其稳定性和质量,这一见解得到了大家的认可。