2022 年 12 月 02 日
使用 PyTorch 2.0 加速 Hugging Face 和 TIMM 模型
torch.compile() 使得通过单行装饰器 torch.compile() 轻松尝试不同的编译器后端，以使 PyTorch 代码更快。它可以直接作为 torch.jit.script() 的替代品应用于 nn.Module，而不需要您对源代码进行任何修改。我们预计这一行代码更改将为您提供 30%-2 倍的训练时间速度提升，适用于您正在运行的绝大多数模型。opt_module = torch.compile(module) 以...
2022 年 11 月 28 日
使用图转换优化生产 PyTorch 模型的性能
1. 简介 PyTorch 支持两种执行模式[1]：即时模式和图模式。在即时模式下，模型中的操作器在遇到时立即执行。相比之下，在图模式下，操作器首先被合成成图，然后整个图将被编译和执行。即时模式更容易使用，更适合机器学习研究人员，因此是默认的执行模式。另一方面，图模式通常提供更高的性能，因此被广泛使用...
2022 年 11 月 22 日
基于 Ax 的高效多目标神经架构搜索
tl;dr Ax 中的多目标优化使神经架构搜索能够高效地探索权衡（例如，在模型性能和模型大小或延迟之间）。这种方法已在 Meta 的各种产品（如 On-Device AI）中成功应用。在这篇文章中，我们提供了一个端到端的教程，让您可以亲身体验。引言 神经网络在规模和复杂性方面都在不断增长。开发最先进的架构通常是一项繁重的任务...
2022 年 11 月 21 日
在 TorchMultimodal 中使用 PyTorch 分布式扩展多模态基础模型
引言近年来，模型规模的扩展已成为一个有前景的研究领域。在自然语言处理领域，语言模型从数亿参数（BERT）扩展到数百亿参数（GPT-3），在下游任务上取得了显著的改进。大型语言模型的扩展定律也已在业界得到广泛研究。在视觉领域，社区正转向基于 transformer 的模型，类似的趋势也可以观察到...
2022 年 11 月 17 日
推出 TorchMultimodal - 一个用于加速多模态 AI 探索的库
我们宣布推出 TorchMultimodal Beta，这是一个 PyTorch 领域库，用于大规模训练最先进的（SoTA）多任务多模态模型。该库提供了可组合的构建块（模块、转换、损失函数），以加速模型开发，包括从已发表研究中提取的最先进的模型架构（FLAVA、MDETR、Omnivore），以及用于探索这些模型的训练和评估脚本以及笔记本。该库正在积极开发中，我们非常欢迎您的反馈！您可以在更多详情...
2022 年 11 月 10 日
PyTorch 企业支持计划更新
2021 年 5 月 25 日，我们宣布了 PyTorch 企业支持计划（ESP），该计划使提供商能够开发和提供定制的企业级支持给他们的客户。该计划使经过认证的服务提供商能够通过贡献热补丁和其他改进来开发和提供定制的企业级支持，这些改进是由 PyTorch 企业用户请求的，这些用户正在开发用于关键任务应用的模型，并在大规模生产中部署。然而，随着我们...
2022 年 11 月 03 日
扩展 TorchVision 的变换到目标检测、分割和视频任务
注意：本帖的上一版本于 2022 年 11 月发布。鉴于 2023 年 3 月即将发布的 torchvision 0.15 版本以及 PyTorch 2.0，我们对本文进行了更新。TorchVision 正在扩展其 Transforms API！以下是新功能：您不仅可以用它们进行图像分类，还可以用于目标检测、实例和语义分割以及视频分类。您可以使用新的功能转换来转换视频...
