PyTorch Mobile 提供了一个运行时环境,用于在移动设备上执行最先进的机器学习模型。它降低了延迟,保护了隐私,并且模型可以随时随地在移动设备上运行。
在这篇博文中,我们快速概述了 10 个目前可用的由 PyTorch Mobile 提供支持的演示应用程序,它们运行各种最先进的 PyTorch 1.9 机器学习模型,涵盖图像、视频、音频和文本。
将最先进的机器学习模型部署到手机上从未如此简单。您不需要任何机器学习领域的专业知识,我们希望以下示例之一能引起您的共鸣,成为您下一个项目的起点。

计算机视觉
图像分类
此应用程序演示了如何在 iOS 和 Android 上使用 PyTorch C++ 库,通过 MobileNetv2/3 模型对静态图像进行分类。
iOS #1 iOS #2 Android #1 Android #2

实时图像分类
此应用程序演示了如何使用量化的 MobileNetV2 和 Resnet18 模型,通过 iOS 和 Android 设备摄像头实时对图像进行分类。


图像分割
此应用程序演示了如何使用 PyTorch DeepLabV3 模型对图像进行分割。适用于 PyTorch 1.9 的更新版应用程序还演示了如何使用 Mobile Interpreter 创建模型以及使用 LiteModuleLoader API 加载模型。


用于手写数字识别的 Vision Transformer
此应用程序演示了如何使用 Facebook 最新的优化 Vision Transformer DeiT 模型进行图像分类和手写数字识别。


目标检测
此应用程序演示了如何转换流行的 YOLOv5 模型,并将其用于一个 iOS 应用程序,该应用程序可以检测照片库中的图片、用相机拍摄的图片或实时相机中的物体。


D2Go
此应用程序演示了如何创建和使用一个更轻更快、由 Facebook D2Go 提供支持的模型,以检测照片库中的图片、用相机拍摄的图片或实时相机中的物体。


视频
视频分类
此应用程序演示了如何使用预训练的 PyTorchVideo 模型对测试视频、照片库中的视频甚至实时视频执行视频分类。


自然语言处理
文本分类
此应用程序演示了如何使用预训练的 Reddit 模型执行文本分类。


机器翻译
此应用程序演示了如何转换一个在 PyTorch NMT 教程中用于法语到英语翻译的代码训练的序列到序列神经网络机器翻译模型。


问答
此应用程序演示了如何使用 DistilBERT Hugging Face Transformer 模型来回答有关 PyTorch Mobile 本身的问题。


音频
语音识别
此应用程序演示了如何在部署之前将 Facebook AI 的 torchaudio 驱动的 wav2vec 2.0(语音识别领域的领先模型之一)转换为 TorchScript。


我们真诚地希望这些演示应用程序中有一个能让您眼前一亮。有关完整列表,请务必访问 iOS 和 Android 演示应用程序仓库。您还应该观看视频 PyTorch Mobile 演示应用程序概述,该视频提供了 PyTorch 移动演示应用程序的概述,并深入介绍了适用于 iOS 和 Android 的 PyTorch 视频应用程序。