作者:Jeff Tang 和 Mark Saroufim

PyTorch Mobile 提供了一个运行时环境,用于在移动设备上执行最先进的机器学习模型。它降低了延迟,保护了隐私,并且模型可以随时随地在移动设备上运行。

在这篇博文中,我们快速概述了当前可用的 10 个由 PyTorch Mobile 支持的演示应用,它们运行着 PyTorch 1.9 的各种最先进的机器学习模型,涵盖图像、视频、音频和文本领域。

将最先进的机器学习模型部署到手机上从未如此简单。你无需具备任何机器学习领域的专业知识,我们希望以下某个示例能与你产生足够的共鸣,成为你下一个项目的起点。

计算机视觉

图像分类

此应用演示了如何在 iOS 和 Android 上使用 PyTorch C++ 库,通过 MobileNetv2/3 模型对静态图像进行分类。

iOS #1 iOS #2 Android #1 Android #2

iOS Android

实时图像分类

此应用演示了如何使用量化的 MobileNetV2 和 Resnet18 模型,通过 iOS 和 Android 设备摄像头对图像进行实时分类。

iOS Android

图像分割

此应用演示了如何使用 PyTorch DeepLabV3 模型对图像进行分割。更新到 PyTorch 1.9 的应用还演示了如何使用 Mobile Interpreter 创建模型,以及如何使用 LiteModuleLoader API 加载模型。

iOS Android

iOS Android

用于手写数字识别的 Vision Transformer

此应用演示了如何使用 Facebook 最新优化的 Vision Transformer DeiT 模型进行图像分类和手写数字识别。

iOS Android

Android

目标检测

此应用演示了如何转换流行的 YOLOv5 模型,并在 iOS 应用中使用它来检测你相册中的图片、用相机拍摄的照片或实时相机画面中的目标。

iOS Android

iOS Android

D2Go

此应用演示了如何创建和使用更轻更快、由 Facebook 开发的 D2Go 模型来检测你相册中的图片、用相机拍摄的照片或实时相机画面中的目标。

iOS Android

iOS Android

视频

视频分类

此应用演示了如何使用预训练的 PyTorchVideo 模型对测试视频、相册中的视频甚至实时视频进行视频分类。

iOS Android

iOS Android 深入探讨

自然语言处理

文本分类

此应用演示了如何使用预训练的 Reddit 模型进行文本分类。

iOS Android

机器翻译

此应用演示了如何转换使用 PyTorch NMT 教程中法英翻译代码训练的序列到序列神经网络机器翻译模型。

iOS Android

iOS Android

问答系统

此应用演示了如何使用 DistilBERT Hugging Face Transformer 模型来回答关于 Pytorch Mobile 本身的问题。

iOS Android

iOS Android

音频

语音识别

此应用演示了如何在部署前,将 Facebook AI 的 torchaudio 支持的 wav2vec 2.0(语音识别领域的领先模型之一)转换为 TorchScript。

iOS Android

我们真诚希望这些演示应用中的一个能让你眼前一亮。如需查看完整列表,请务必访问 iOSAndroid 演示应用仓库。你还应该一定看看视频《PyTorch Mobile 演示应用的概述》,该视频既概述了 PyTorch Mobile 演示应用,又深入探讨了适用于 iOS 和 Android 的 PyTorch Video 应用。