本博客由 Arm 的 PyTorch 团队提供。更多详情请访问 此处。
Arm 的计算平台正在手机、笔记本电脑和服务器上提供生成式 AI 应用程序。成本、隐私、性能、安全性和能源效率只是开发人员探索设备上 AI 的部分原因。
现已推出一条新的学习路径，解释如何使用 ExecuTorch 和 XNNPACK 在 Android 上利用大型语言模型 (LLM) 的功能。
以下是您将学到的内容的摘要
- 开发环境设置本学习路径首先指导您设置开发环境，确保您已安装所有必要的工具，包括 Android Studio、Android NDK、Java JDK 和 Python。
- ExecuTorch 和 XNNPACK您将学习核心技术：ExecuTorch，一个用于将 PyTorch 模型部署到边缘设备的框架；以及 XNNPACK，一个用于在 Arm 平台执行神经网络的高性能库。
- Llama 模型本学习路径探索 Llama，一个强大的 LLM 系列，特别关注 8B Llama 3 模型。您将学习量化技术，这对于优化移动设备上的模型大小和性能至关重要。
- 为 ExecuTorch 准备 Llama 模型您将通过下载、导出和评估 Llama 模型的流程进行指导，确保它们已准备好使用 ExecuTorch 进行部署。
- 检查 Android 上的模型性能本学习路径将引导您交叉编译用于 Android 的 Llama 运行器二进制文件，从而允许您在手机上测试模型的性能。
- 构建和运行 Android 聊天应用程序最后，您将学习如何使用 ExecuTorch 存储库中的
LlamaDemo应用程序构建一个原生 Android 聊天应用程序。这种动手实践的经验让您能够将知识付诸实践并创建实际应用程序。
如果您想学习如何在 Android 手机上利用 LLM 的强大功能，并掌握设备上机器学习工具的专业知识，请探索本学习路径。
深入了解构建 Android 聊天应用程序的乐趣，并在 Arm 开发者中心了解更多关于它们如何工作的信息。