本博客由 Arm 的 PyTorch 团队提供。更多详情可在此处查看。
Arm 的计算平台正在手机、笔记本电脑和服务器上提供生成式人工智能应用程序。成本、隐私、性能、安全和能效只是开发人员探索设备端人工智能的一些原因。
现已推出一个解释如何使用 ExecuTorch 和 XNNPACK 在 Android 上利用大型语言模型 (LLM) 功能的新学习路径。
以下是您将学到的内容摘要
- 开发环境设置本学习路径首先指导您设置开发环境，确保您已安装所有必要的工具，包括 Android Studio、Android NDK、Java JDK 和 Python。
- ExecuTorch 和 XNNPACK您将了解核心技术：ExecuTorch，一个用于将 PyTorch 模型部署到边缘设备的框架；以及 XNNPACK，一个用于在基于 Arm 的平台上执行神经网络的高性能库。
- Llama 模型本学习路径将探索 Llama，一个强大的 LLM 系列，重点关注 Llama 3 8B 模型。您将学习量化技术，这对于优化移动设备上的模型大小和性能至关重要。
- 为 ExecuTorch 准备 Llama 模型您将通过下载、导出和评估 Llama 模型的流程进行指导，确保它们已准备好使用 ExecuTorch 进行部署。
- 检查 Android 上的模型性能本学习路径将引导您完成适用于 Android 的 Llama 运行器二进制文件的交叉编译，让您可以在手机上测试模型的性能。
- 构建并运行 Android 聊天应用程序最后，您将学习如何使用 ExecuTorch 仓库中的
LlamaDemo应用程序构建一个原生 Android 聊天应用程序。这种实践经验让您将所学知识付诸实践，并创建一个真实的应用程序。
如果您想了解如何利用 Android 手机上的 LLM 强大功能，并获得设备端机器学习工具的专业知识，请探索本学习路径。
在Arm 开发者中心深入了解构建 Android 聊天应用程序的乐趣，并更多地了解它们的工作原理。