去年 12 月,我们发布了 PyTorch Live,这是一个可在数分钟内构建 AI 驱动的移动原型的工具包。最初的版本包含用于设置开发环境的命令行界面和用于在 React Native 中构建 AI 驱动体验的 SDK。今天,我们很高兴地宣布 PyTorch Live 将更名为 PlayTorch。这个新版本提供了改进和简化的开发者体验。PlayTorch 的开发独立于 PyTorch 项目,并且 PlayTorch 代码库正在迁移到 Meta Research GitHub 组织。
新工作流程:PlayTorch 应用
PlayTorch 团队很高兴地宣布,我们已与 Expo 合作,改变 AI 驱动的移动体验的构建方式。我们的新版本通过消除对复杂开发环境的需求,简化了构建移动 AI 体验的过程。您现在将能够通过您正在阅读此博客的浏览器构建跨平台 AI 驱动的原型。
为了实现这一点,我们发布了 PlayTorch 应用,它能够在 Expo Snack 基于网络的代码编辑器中运行 AI 驱动的体验。

PlayTorch 应用可从 Apple App Store 和 Google Play Store 下载。安装该应用后,您可以访问 playtorch.dev/snack 并编写您的 AI 驱动的 PlayTorch Snack 的代码。当您想尝试您构建的内容时,您可以使用 PlayTorch 应用的 QR 码扫描器扫描 Snack 页面上的 QR 码,并将代码加载到您的设备上。
注意:PlayTorch Snacks 不适用于 Expo Go 应用。
PlayTorch 应用中还有更多可探索的内容
AI 演示
PlayTorch 应用附带了几个示例,展示了如何使用各种不同的机器学习模型(从目标检测到自然语言处理)构建 AI 驱动的体验。在玩转这些示例时,了解 PlayTorch SDK 可以构建什么,并受到启发来创建自己的作品。

分享您的创作
您在 PlayTorch 应用中运行的任何 PlayTorch Snack 都可以即时与他人共享。当他们在设备上打开链接时,PlayTorch 应用将立即从云端加载您构建的内容,以便他们可以亲身体验。

当您有想分享的内容时,请在 Discord 或 Twitter 上告知我们,或将 PlayTorch Snack 嵌入您自己的网页。
SDK 大修
去年 12 月首次发布后,我们从社区中学到了很多,在过去的几个月里,我们一直在努力使 PlayTorch SDK(以前称为 PyTorch Live)变得简单、高效和健壮。在我们的初始版本中,SDK 依赖于配置文件来定义模型如何摄取和输出数据。
今天,我们很高兴地宣布我们 SDK 的下一个版本可以使用新的 PlayTorch API 在 JavaScript 中处理原型的数据处理,该 API 利用 JavaScript 接口 (JSI) 直接调用 C++ 代码。我们不仅彻底改变了您与模型交互的方式,而且还极大地扩展了支持的模型架构种类。
用于原型开发的新数据处理 API
通过这个 JSI API,我们现在允许用户直接访问张量(机器学习的数据格式)。您现在可以根据需要随意操作张量,而不仅仅是访问预定义的转换。

不再需要在代码和配置之间来回切换。您现在将能够用 JavaScript 编写所有内容,并可以使用这些语言中可用的所有类型注释和自动完成功能。
查看我们的 教程,了解新的数据处理 API 的实际应用,深入了解 API 文档,或者在 GitHub 上自行检查代码。
扩展用例
在新版 SDK 中,我们增加了对几种尖端模型的支持。

得益于我们强大的 JSI API,现在支持图像到图像的转换,因此您可以看到您的世界如果变成动漫会是什么样子。

使用 Seq2Seq 模型,通过 AI 驱动的翻译器将法语翻译成英语。

使用 DeepLab V3 分割图像!
开始玩转
如果您想自己开始创建 AI 体验,请前往 playtorch.dev 并尝试我们的 教程。每个教程都将指导您构建一个简单的 AI 驱动体验,您可以立即在手机上运行并与他人分享。
如何获得支持
加入我们的 Discord,在 GitHub 上与我们协作,或在 Twitter 上关注我们。有问题或反馈?我们很乐意听取您的意见!