跳转到主要内容
博客

介绍 PlayTorch 应用:快速创建移动 AI 体验

作者: 2022 年 7 月 22 日2024 年 11 月 15 日暂无评论

去年 12 月,我们发布了 PyTorch Live,这是一个可在几分钟内构建 AI 驱动的移动原型的工具包。最初的版本包括一个用于设置开发环境的命令行界面,以及一个用于在 React Native 中构建 AI 驱动体验的 SDK。今天,我们很高兴地宣布 PyTorch Live 将更名为 PlayTorch。新版本提供了改进和简化的开发者体验。PlayTorch 的开发独立于 PyTorch 项目,并且 PlayTorch 代码库正在迁移到 Meta Research GitHub 组织。

新工作流程:PlayTorch 应用

PlayTorch 团队很高兴地宣布,我们已与 Expo 合作,改变 AI 驱动的移动体验的构建方式。我们的新版本通过消除对复杂开发环境的需求,简化了构建移动 AI 体验的过程。您现在可以直接在您用来阅读此博客的浏览器中构建跨平台的 AI 驱动原型。

为了实现这一点,我们发布了 PlayTorch 应用,它能够运行在 Expo Snack 基于网络的代码编辑器中构建的 AI 驱动体验。

PlayTorch 应用可从 Apple App Store 和 Google Play Store 下载。安装应用后,您可以前往 playtorch.dev/snack 编写您的 AI 驱动 PlayTorch Snack 的代码。当您想尝试您构建的内容时,您可以使用 PlayTorch 应用的二维码扫描器扫描 Snack 页面上的二维码,并将代码加载到您的设备上。

注意:PlayTorch Snacks 无法在 Expo Go 应用中运行。

PlayTorch 应用中更多可探索的内容

AI 演示

PlayTorch 应用附带了几个示例,展示了如何使用各种不同的机器学习模型(从目标检测到自然语言处理)构建 AI 驱动的体验。通过这些示例,了解 PlayTorch SDK 可以构建什么,并从中获得灵感,创建您自己的作品。

分享您的创作

您在 PlayTorch 应用中运行的任何 PlayTorch Snack 都可以即时与他人分享。当他们在自己的设备上打开链接时,PlayTorch 应用会立即从云端加载您构建的内容,以便他们亲身体验。

当您有想要分享的内容时,请在 DiscordTwitter 上告诉我们,或者将 PlayTorch Snack 嵌入您自己的网页。

SDK 大修

自 12 月首次发布以来,我们从社区中学到了很多,并在过去几个月里努力使 PlayTorch SDK(以前称为 PyTorch Live)变得简单、高效且健壮。在我们的初始版本中,SDK 依赖配置文件来定义模型如何摄取和输出数据。

今天,我们很高兴地宣布,我们 SDK 的下一个版本可以通过新的 PlayTorch API 在 JavaScript 中处理原型的数据,该 API 利用 JavaScript 接口 (JSI) 直接调用 C++ 代码。我们不仅彻底改变了您与模型交互的方式,还大大扩展了支持的模型架构种类。

用于原型设计的新数据处理 API

通过这个 JSI API,我们现在允许用户直接访问张量(机器学习的数据格式)。您不再仅限于访问预定义的转换,现在可以根据需要随意操作张量来制作原型。

不再需要在代码和配置之间来回切换。您现在将能够用 JavaScript 编写所有内容,并可以使用这些语言中可用的所有类型注解和自动完成功能。

查看我们的 教程,了解新数据处理 API 的实际应用,深入研究 API 文档,或者在 GitHub 上自行检查代码。

扩展用例

在新版 SDK 中,我们增加了对几种尖端模型的支持。

借助我们强大的 JSI API,现在支持图像到图像的转换,因此您可以查看您的世界如果变成动漫会是什么样子。

使用 Seq2Seq 模型,通过 AI 驱动的翻译器将法语翻译成英语。

使用 DeepLab V3 进行图像分割!

开始体验

如果您想自己开始创建 AI 体验,请访问 playtorch.dev 并尝试我们的 教程。每个教程都将指导您构建一个简单的 AI 驱动体验,您可以立即在手机上运行并与他人分享。

如何获得支持

加入我们的 Discord,在 GitHub 上与我们合作,或在 Twitter 上关注我们。有问题或反馈?我们很乐意听取您的意见!