去年十二月,我们发布了 PyTorch Live,一个可以在几分钟内构建 AI 驱动的移动原型工具包。首次发布包括一个用于设置开发环境的命令行界面以及一个用于在 React Native 中构建 AI 驱动体验的 SDK。今天,我们很高兴地宣布,PyTorch Live 现在将被称为 PlayTorch。这次新发布提供了改进且简化的开发者体验。PlayTorch 的开发独立于 PyTorch 项目,并且 PlayTorch 代码仓库正在迁移到 Meta Research GitHub 组织下。
新的工作流程:PlayTorch 应用
PlayTorch 团队非常高兴宣布与 Expo 合作,以改变 AI 驱动的移动体验的构建方式。我们的新版本通过省去复杂的开发环境,简化了构建移动 AI 体验的过程。您现在只需使用正在阅读这篇博客的浏览器,即可构建跨平台的 AI 驱动原型。
为了实现这一目标,我们正在发布 PlayTorch 应用,它能够运行在 Expo Snack 基于网络的代码编辑器中构建的 AI 驱动体验。
PlayTorch 应用可从 Apple App Store 和 Google Play Store 下载。安装应用后,您可以前往 playtorch.dev/snack 编写您的 AI 驱动 PlayTorch Snack 的代码。当您想试用构建的内容时,可以使用 PlayTorch 应用的二维码扫描器扫描 Snack 页面上的二维码,然后将代码加载到您的设备上。
注意:PlayTorch Snacks 不支持在 Expo Go 应用中运行。
在 PlayTorch 应用中探索更多内容
AI 演示
PlayTorch 应用附带了多个示例,展示了如何使用从目标检测到自然语言处理等多种不同的机器学习模型构建 AI 驱动的体验。当您把玩这些示例时,看看能构建什么,并获得灵感来创建您自己的东西。
分享您的创作
您在 PlayTorch 应用中运行的任何 PlayTorch Snack 都可以立即与他人分享。当他们在自己的设备上打开链接时,PlayTorch 应用会立即从云端加载您构建的内容,让他们能够亲身体验。
当您有想分享的内容时,请在 Discord 或 Twitter 上告诉我们,或将 PlayTorch Snack 嵌入到您自己的网页上。
SDK 全面改进
在去年十二月的初次发布后,我们从社区学到了很多,并在过去几个月里努力工作,使 PlayTorch SDK(以前称为 PyTorch Live)变得简单、高性能、稳定。在我们的初始版本中,SDK 依赖于配置文件来定义模型如何输入和输出数据。
今天,我们很高兴地宣布,我们 SDK 的下一版本可以通过利用 JavaScript Interface (JSI) 直接调用 C++ 代码的新 PlayTorch API,在 JavaScript 中处理您的原型数据。我们不仅彻底重做了与模型交互的方式,还大大扩展了支持的模型架构种类。
用于原型设计的新数据处理 API
借助此 JSI API,我们现在允许用户直接访问张量(机器学习的数据格式)。您不再仅仅能访问预定义转换,现在可以按您喜欢的方式操作张量来制作原型。
不再需要在代码和配置文件之间来回切换。您现在可以使用 JavaScript 编写所有内容,并可以访问这些语言中提供的所有类型注解和自动完成功能。
请查看我们的教程,了解新数据处理 API 的实际应用,在 API 文档 中深入了解,或在 GitHub 上亲自检查代码。
扩展用例
通过新版本的 SDK,我们增加了对几种前沿模型的支持。
得益于我们强大的 JSI API,图像到图像转换现在已受支持,因此您可以看看您的世界如果变成动漫会是什么样子。
使用 Seq2Seq 模型驱动的 AI 翻译器将法语翻译成英语。
使用 DeepLab V3 分割图像!
开始体验
如果您想亲自开始创建 AI 体验,请前往 playtorch.dev 并试用我们的教程。每个教程都将指导您构建一个简单的 AI 驱动体验,您可以立即在手机上运行并与他人分享。
如何获得支持
在 Discord 上加入我们,在 GitHub 上与我们协作,或在 Twitter 上关注我们。有问题或反馈?我们很乐意听取您的意见!