博客

介绍 PlayTorch 应用:快速创建移动 AI 体验

作者: 2022年7月22日2024年11月15日暂无评论

去年 12 月,我们发布了 PyTorch Live,这是一个用于在几分钟内构建 AI 驱动的移动原型应用的工具包。最初的版本包括一个用于设置开发环境的命令行界面,以及一个用于在 React Native 中构建 AI 体验的 SDK。今天,我们很高兴地宣布,PyTorch Live 正式更名为 PlayTorch。此次新版本改进并简化了开发人员的使用体验。PlayTorch 的开发独立于 PyTorch 项目,并且 PlayTorch 代码库已迁移至 Meta Research GitHub 组织旗下。

全新工作流程:PlayTorch 应用

PlayTorch 团队很高兴宣布我们已与 Expo 达成合作,共同改变 AI 驱动移动体验的构建方式。我们的新版本通过消除复杂开发环境的需求,简化了构建移动端 AI 体验的过程。现在,你只需使用阅读本博客的浏览器,即可构建跨平台的 AI 原型应用。

为了实现这一目标,我们发布了 PlayTorch 应用,它能够运行在 Expo Snack 基于 Web 的代码编辑器中构建的 AI 体验。

你可以从 Apple App Store 和 Google Play Store 下载 PlayTorch 应用。安装该应用后,你可以前往 playtorch.dev/snack,为你的 AI 驱动的 PlayTorch Snack 编写代码。当你想要测试构建的内容时,可以使用 PlayTorch 应用中的二维码扫描器扫描 Snack 页面上的二维码,即可将代码加载到你的设备上。

注意:PlayTorch Snacks 无法在 Expo Go 应用中运行。

PlayTorch 应用中更多探索内容

AI 演示

PlayTorch 应用附带了多个示例,展示了如何使用从目标检测到自然语言处理等各种不同的机器学习模型来构建 AI 驱动的体验。你可以了解 PlayTorch SDK 能构建出什么样的应用,并在体验这些示例的过程中激发灵感,创作属于你自己的作品。

分享你的创作

你在 PlayTorch 应用中运行的任何 PlayTorch Snack 都可以即时与他人分享。当他们通过设备打开链接时,PlayTorch 应用会立即从云端加载你构建的内容,让他们能第一时间体验你的作品。

如果你有想要分享的内容,请通过 DiscordTwitter 告诉我们,或者将 PlayTorch Snack 嵌入到你自己的网页中。

SDK 全面升级

自去年 12 月首次发布以来,我们从社区获得了许多反馈,并在过去几个月里努力工作,使 PlayTorch SDK(原名 PyTorch Live)变得更简单、更高效、更稳健。在最初的版本中,SDK 依赖配置文件来定义模型如何摄取和输出数据。

今天,我们很高兴地宣布,新版 SDK 可以通过全新的 PlayTorch API 处理原型中的 JavaScript 数据处理流程。该 API 利用 JavaScript 接口 (JSI) 直接调用 C++ 代码。我们不仅彻底重构了与模型的交互方式,还大幅扩展了对模型架构的支持。

用于原型的全新数据处理 API

通过这个 JSI API,用户现在可以直接访问张量(机器学习的数据格式)。你不再局限于预定义的转换方式,现在可以随心所欲地操作张量来构建原型。

无需再在代码和配置文件之间反复切换。现在,你可以完全使用 JavaScript 进行编写,并能利用这些语言中提供的所有类型注解和自动补全功能。

请查阅我们的 教程 来体验全新的数据处理 API,深入了解 API 文档,或者在 GitHub 上亲自查看代码。

扩展的用例

通过新版 SDK,我们增加了对几种前沿模型的支持。

得益于我们稳健的 JSI API,现在已支持图像到图像的转换,你可以看看你的世界如果变成动漫风格会是什么样。

使用 Seq2Seq 模型,通过 AI 翻译器将法语翻译成英语。

使用 DeepLab V3 进行图像分割!

开始尝试

如果你想亲自开始创作 AI 体验,请前往 playtorch.dev 并尝试我们的 教程。每个教程都将引导你构建一个简单的 AI 驱动体验,你可以立即在手机上运行并与他人分享。

如何获取支持

加入我们的 Discord,在 GitHub 上与我们协作,或者在 Twitter 上关注我们。有任何问题或反馈吗?期待听到你的声音!