2020 年 8 月 24 日
PyTorch 框架用于密码学安全的随机数生成，torchcsprng，现已推出
现代密码学的一个关键组件是伪随机数生成器。Katz 和 Lindell 指出，“使用设计不良或不合适的随机数生成器往往会使一个优秀的密码系统容易受到攻击。必须特别小心地使用专为密码学设计的随机数生成器，而不是‘通用’的随机数生成器，后者可能适用于某些应用，但不适用于需要密码学安全的应用。...
2020 年 8 月 18 日
PyTorch 1.6 现在包括随机权重平均
你使用随机梯度下降（SGD）还是 Adam？无论你使用什么方法来训练你的神经网络，你都可以通过一种简单的新技术，在 PyTorch 1.6 中本地产生，即随机权重平均（SWA），在几乎不增加额外成本的情况下实现显著更好的泛化。即使你已经训练了你的模型，也可以通过从预训练模型开始运行 SWA 几个 epoch 来轻松实现 SWA 的好处。一次又一次地...
2020 年 8 月 11 日
高效的 PyTorch I/O 库，适用于大型数据集、多个文件、多个 GPU
数据集每天都在增长，GPU 也在变得越来越快。这意味着深度学习研究人员和工程师有更多的数据集来训练和验证他们的模型。许多用于研究静态图像识别的数据集现在包含 1000 万或更多的图像，包括 OpenImages 和 Places。YouTube 上的 1000 万视频（YouTube 8M）在 720p 下消耗约 300TB，用于物体识别、视频分析和动作识别研究。烟草公司...
2020 年 7 月 28 日
PyTorch 1.6 发布，支持原生 AMP，微软加入 Windows 维护者行列
今天，我们宣布 PyTorch 1.6 的可用性，以及更新后的领域库。我们也很高兴地宣布，微软团队现在正在维护 Windows 构建和二进制文件，并将支持 GitHub 上的社区以及 PyTorch Windows 讨论论坛。PyTorch 1.6 版本包括许多新的 API，性能改进和性能分析工具，以及分布式数据并行（DDP）和远程过程调用（RPC）的重大更新...
2020 年 7 月 28 日
PyTorch 功能分类变更
传统上，PyTorch 中的功能被分为稳定版或实验版，隐含的第三种选项是通过构建 master 或安装夜间构建（通过预构建 whl 提供）来测试前沿功能。这导致在少数情况下，用户对功能的成熟度、对功能的承诺以及可预期的向后兼容性产生了一些混淆。展望未来，我们希望更好地对这三种类型的特征进行分类，以及...
2020 年 7 月 28 日
微软成为 PyTorch Windows 版本的维护者
随着 PyTorch 1.6 版本的发布，我们很高兴地宣布，微软已扩大其在 PyTorch 社区中的参与度，并将负责 Windows 版本的 PyTorch 的开发和维护。根据最新的 Stack Overflow 开发者调查，Windows 仍然是开发者社区的主要操作系统（46%的 Windows vs 28%的 MacOS）。Jiachen Pu 最初做出了英勇的努力，为 Windows 添加了对 PyTorch 的支持，但由于资源有限，...
2020 年 7 月 28 日
介绍原生 PyTorch 自动混合精度，在 NVIDIA GPU 上实现更快的训练
大多数深度学习框架，包括 PyTorch，默认使用 32 位浮点数（FP32）算术进行训练。然而，对于许多深度学习模型来说，这并非实现完全精度的必要条件。2017 年，NVIDIA 研究人员开发了一种混合精度训练的方法，该方法在训练网络时结合了单精度（FP32）和半精度（例如 FP16）格式，并使用相同的超参数实现了与 FP32 训练相同的精度，同时带来了额外的性能优势...
