使用 PyTorch 与 AWS

要获得 PyTorch 提供的完整体验，至少需要一台配备一个专用 NVIDIA GPU 的机器。虽然拥有这样配置的机器并不总是实用的，但我们提供的基于云的解决方案可以让你测试和使用 PyTorch 的全部功能。

AWS 提供以下两种服务：

• 深度学习 AMI：配备 PyTorch 的专用、预构建机器学习实例
• 深度学习基础 AMI：裸机 Linux 和 Windows 实例，你可以在此上进行自定义安装 PyTorch。

深度学习 AMI 快速入门

如果您想从命令行登录一个已经安装了 PyTorch 的 Linux AWS 实例，这个分步指南将帮助您完成。

1. 登录您的 AWS 控制台。如果您还没有 AWS 账户，请参阅下面的入门指南。
2. 点击 Launch a virtual machine 。
3. 选择 Deep Learning AMI (Ubuntu) 。

   这将为您提供一个已预装 PyTorch 的实例。如果您想要一个需要安装 PyTorch 的裸 AWS 实例，可以选择 Deep Learning Base AMI (Ubuntu) ，该实例将拥有硬件，但没有任何预先安装的软件。

4. 选择一个 GPU 计算 p3.2xlarge 实例类型。

   您可以选择任何可用的实例来尝试 PyTorch，即使是免费层级的实例，但为了获得最佳性能，建议您选择 GPU 计算或计算优化实例。其他实例选项包括计算优化的 c5 系列（例如 c5.2xlarge ）或通用计算 t2 系列或 t3 系列（例如 t2.2xlarge ）。需要注意的是，如果您选择没有 GPU 的实例，PyTorch 将仅在 CPU 计算模式下运行，操作可能需要更长的时间。

5. 点击 Review and Launch 。
6. 查看实例信息并点击 Launch 。
7. 如果您还没有，您将想要 Create a new key pair 。选择一个名称并通过 Download Key Pair 按钮本地下载。
8. 现在点击 Launch Instances 。您现在有一个可用于 PyTorch 的实时实例。如果您点击 View Instances ，您将看到您的运行实例。
9. 注意 Public DNS ，因为它将被用于从命令行 ssh 到您的实例。
10. 打开命令提示符
11. 确保您的密钥对具有适当的权限，否则您将无法登录。输入 chmod 400 path/to/downloaded/key-pair.pem 。
12. 输入 ssh -i path/to/downloaded/key-pair.pem ubuntu@<Public DNS that you noted above> 。例如， ssh -i ~/Downloads/aws-quick-start.pem ubuntu@ec2-55-181-112-129.us-west-2.compute.amazonaws.com 。如果被要求继续连接，请输入 yes 。
13. 现在您应该看到一个类似于 ubuntu@ip-100-30-20-95 的提示。如果是这样，那么您现在已连接到您的实例。
14. 通过运行以下验证步骤来验证 PyTorch 是否已安装。

    如果您选择了 Deep Learning Base AMI (Ubuntu) 而不是 Deep Learning AMI (Ubuntu) ，那么您需要安装 PyTorch。按照 Linux 入门指南来安装它。

快速入门验证

为了确保 PyTorch 安装正确，我们可以通过运行示例 PyTorch 代码来验证安装。在这里，我们将构造一个随机初始化的张量。

import torch
x = torch.rand(5, 3)
print(x)

输出应该类似于以下内容：

tensor([[0.3380, 0.3845, 0.3217],
        [0.8337, 0.9050, 0.2650],
        [0.2979, 0.7141, 0.9069],
        [0.1449, 0.1132, 0.1375],
        [0.4675, 0.3947, 0.1426]])

此外，为了检查您的 GPU 驱动程序和 CUDA 是否被 PyTorch 启用并可访问，运行以下命令以返回 CUDA 驱动程序是否启用：

import torch
torch.cuda.is_available()

AWS 入门

通常情况下，您将使用亚马逊弹性计算云（或 EC2）来启动您的实例。亚马逊提供了各种实例类型，每种类型都针对特定的用例进行了配置。对于 PyTorch，强烈建议您使用配备 GPU 或定制 AI/ML 加速器的加速计算实例，因为它们针对机器学习的计算需求进行了优化。

为了使用 AWS，您需要设置 AWS 账户，如果您还没有的话。您将创建用户名（您的电子邮件地址）、密码以及 AWS 账户名称（因为您可以为不同的目的创建多个 AWS 账户）。您还需要提供联系和账单信息。账单信息很重要，因为虽然 AWS 提供了所谓的“免费层”实例，但为了使用 PyTorch，您将需要更强大的付费实例。

登录后，您将被带到您的 AWS 控制台。您甚至可以通过一系列简单的教程了解更多关于 AWS 的信息。

基于 AWS Inferentia 的实例

AWS Inferentia 是 AWS 定制设计的芯片，旨在提供云中高性能和低成本的机器学习推理。Amazon EC2 Inf1 实例配备多达 16 个 AWS Inferentia 芯片、最新的第二代英特尔至强可扩展处理器以及高达 100 Gbps 的网络，以实现云中高吞吐量和最低成本的推理。您可以使用 Inf1 实例与 Amazon SageMaker 配合使用，实现完全管理的流程，或者直接使用与 PyTorch 集成的 AWS Neuron SDK。

基于 GPU 的实例

亚马逊 EC2 P4d 实例在 AWS 上提供机器学习训练的最高性能。它们由最新的 NVIDIA A100 Tensor Core GPU 供电，并具备云中首个 400 Gbps 实例网络功能。P4d 实例部署在名为 EC2 UltraClusters 的超大规模集群中，这些集群由超过 4,000 个 NVIDIA A100 GPU、Petabit 级非阻塞网络和具有 FSx for Lustre 的可扩展低延迟存储组成。每个 EC2 UltraCluster 提供超级计算机级的性能，使您能够解决最复杂的跨节点机器学习训练任务。

对于机器学习推理，基于 AWS Inferentia 的 Inf1 实例提供云上最低成本的推理服务。此外，配备 NVIDIA T4 GPU 的 Amazon EC2 G4dn 实例针对基于 GPU 的机器学习推理和小规模训练进行了优化，可利用 NVIDIA 库。

创建和启动实例

一旦您确定了实例类型，您就需要创建实例，可选地配置并启动它。您可以从网页浏览器或命令行界面连接到您的实例。以下是针对各种平台的实例启动指南：

• Linux
• Windows
• 命令行

亚马逊 SageMaker

AWS SageMaker 服务提供了一种完全托管的服务，允许开发者和数据科学家构建、训练和部署机器学习模型。

请参阅 AWS 文档了解如何使用 PyTorch 配置 Amazon SageMaker。

预构建 AMI

AWS 提供了预构建的实例（称为 AWS 深度学习 AMI），这些实例预装了 PyTorch 的现代版本。可用的 AMI 包括：

• Ubuntu
• Amazon Linux
• Windows 2016

亚马逊已经写了一篇很好的博客文章，关于如何开始使用预构建的 AMI。

从零开始安装 PyTorch

您可以选择从裸实例开始安装 PyTorch。一旦连接到您的实例，设置 PyTorch 与在您选择的操作系统上本地设置相同。