PyTorch Mobile 提供了一个运行环境,可以在移动设备上执行最先进的机器学习模型。延迟降低,隐私得到保护,模型可以在任何时间、任何地点在移动设备上运行。
在本文中,我们简要概述了 10 个目前可用的由 PyTorch Mobile 驱动的演示应用程序,这些应用程序运行着各种最先进的 PyTorch 1.9 机器学习模型,涵盖了图像、视频、音频和文本。
将最先进的机器学习模型部署到手机上从未如此简单。您不需要任何机器学习领域的知识,我们希望以下示例中的某一个能够与您产生足够的共鸣,成为您下一个项目的起点。

计算机视觉
图像分类
本应用演示了如何在 iOS 和 Android 上使用 PyTorch C++库,使用 MobileNetv2/3 模型对静态图像进行分类。
iOS #1 iOS #2 Android #1 Android #2

实时图像分类
此应用演示了如何使用 iOS 和 Android 设备摄像头运行量化后的 MobileNetV2 和 Resnet18 模型,以实时对图像进行分类。


图像分割
本应用演示了如何使用 PyTorch DeepLabV3 模型进行图像分割。更新后的适用于 PyTorch 1.9 的应用还演示了如何使用 Mobile Interpreter 创建模型,并使用 LiteModuleLoader API 加载模型。


手写数字识别的视觉 Transformer
本应用演示了如何使用 Facebook 最新的优化版 Vision Transformer DeiT 模型进行图像分类和手写数字识别。


目标检测
本应用演示了如何将流行的 YOLOv5 模型进行转换,并在 iOS 应用中使用它来检测照片中的物体,这些照片可以是相机拍摄的,也可以是实时相机拍摄的。


D2Go
此应用演示了如何创建和使用一个更轻量、更快的 Facebook D2Go 模型,从您的照片、相机拍摄的照片或实时相机中检测物体。
iOS 安卓
iOS 安卓


视频
视频分类
本应用演示了如何使用预训练的 PyTorchVideo 模型对测试视频、相册中的视频或实时视频进行视频分类。
iOS Android 深入解析


自然语言处理
文本分类
本应用演示如何使用预训练的 Reddit 模型进行文本分类。


机器翻译
本应用演示了如何将使用 PyTorch NMT 教程中的代码训练的序列到序列神经机器翻译模型转换为法语到英语翻译。


问答
本应用演示了如何使用 DistilBERT Hugging Face 转换器模型来回答有关 Pytorch Mobile 本身的问题。


音频
语音识别
本应用演示了如何将 Facebook AI 的 torchaudio 驱动的 wav2vec 2.0(语音识别领域的领先模型之一)转换为 TorchScript,以便在部署前使用。


我们真心希望这些演示应用中有一个是您所喜欢的。要查看完整列表,请务必访问 iOS 和 Android 演示应用仓库。您还应该绝对查看视频《PyTorch 移动演示应用的概述》,该视频提供了 PyTorch 移动演示应用的概述,并深入探讨了 iOS 和 Android 的 PyTorch Video 应用。