2023 年 10 月 03 日
如何使用 DialoGPT 和 PyTorch 构建交互式聊天生成模型
过去几个月，对交互式聊天生成（或对话式响应生成）模型的关注大幅增加。ChatGPT 和 Google Bard 等对话式响应生成模型在 AI 界掀起了一场风暴。交互式聊天生成的目的是回答人类提出的各种问题，这些基于 AI 的模型使用自然语言处理（NLP）技术生成几乎与人类生成的对话难以区分的对话。本文...
2023 年 10 月 02 日
宣布 PyTorch 文档马拉松 H2 2023
我们很高兴地宣布，我们将于 2023 年 11 月 1 日举办 PyTorch 文档马拉松！这次活动是社区聚集在一起提高我们文档质量的机会。在文档马拉松期间，我们将专注于更新和改进现有内容，以及添加新的教程和文档字符串。我们鼓励所有社区成员参与并贡献他们的专业知识，使我们的文档更加完善。这是一个学习的好机会...
2023 年 9 月 25 日
穿越矩阵：可视化矩阵乘法、注意力机制等
使用 3D 可视化矩阵乘法表达式、具有实际权重的注意力头等。矩阵乘法（matmuls）是当今机器学习模型的基本构建块。本文介绍了 mm，这是一个用于可视化 matmuls 及其组合的工具。矩阵乘法本质上是一种三维操作。因为 mm 使用了所有三个空间维度，所以它比通常的纸上平方符号更能清晰地传达意义，尤其是（尽管不仅限于...）
2023 年 9 月 13 日
使用 torch.compile 加速 CPU 推理的 PyTorch Inductor
概述尽管 PyTorch* Inductor C++/OpenMP*后端已使用户能够利用现代 CPU 架构和并行处理，但它缺乏优化，导致后端在端到端性能方面表现不如 eager 模式。英特尔采用混合策略优化了 Inductor 后端，将操作分为两类：卷积/GEMM 和非卷积/GEMM 逐元素和归约操作。对于流行的深度学习模型，这...
2023 年 9 月 12 日
PyTorch 基金会一周年
自我们从宣布成立 PyTorch 基金会以来已经过去一年了！🎉 在成立的第一年，PyTorch 基金会通过推出 PyTorch 2.0、扩大贡献者队伍和增加新成员公司，产生了重大影响。我们对创始成员为推动基金会发展所提供的支持表示感激。过去一年的一些里程碑包括：💻 GitHub 上超过 60 万个仓库 ✅ 60%的 AI 实现选择 PyTorch 📈 新成员同比增长超过 20%...
2023 年 9 月 6 日
Graphcore 加入 PyTorch 基金会成为普通成员
PyTorch 基金会，一个中立的家，为深度学习社区提供一个合作平台，共同开发开源的 PyTorch 框架和生态系统，今天宣布 Graphcore 已加入成为普通成员。Graphcore 是一家总部位于英国的公司，专注于设计和制造 AI 加速器、硬件和软件，专门针对人工智能和机器学习工作负载。我们很高兴 PyTorch 是 Graphcore 上开发的首选框架...
2023 年 9 月 5 日
自动化跟踪收集和分析
在本文中，我们分享如何在不进行任何用户端代码配置的情况下，为训练工作负载启用 PyTorch Profiler 跟踪的收集和分析。我们利用了 Dynolog——一个用于 CPU 和 GPU 遥测的开源守护进程来收集 PyTorch Profiler 跟踪，并使用 Holistic Trace Analysis——一个用于分析 PyTorch Profiler 跟踪的开源库来分析收集到的跟踪。这个工具链使 Meta 的工程师能够加速他们的性能优化工作流程。T...
