作者：Arm

本博客由 Arm 的 PyTorch 团队提供。更多详情可在此处查看。

Arm 的计算平台正在手机、笔记本电脑和服务器上提供生成式 AI (GenAI) 应用。成本、隐私、性能、安全性和能效只是开发者探索设备端 AI 的部分原因。

现已推出一条新的学习路径，解释如何使用 ExecuTorch 和 XNNPACK 在 Android 上利用大型语言模型 (LLMs) 的能力。

以下是您将学到的内容摘要

  • 开发环境设置

    学习路径首先指导您设置开发环境，确保您安装了所有必要的工具，包括 Android Studio、Android NDK、Java JDK 和 Python。

  • ExecuTorch 和 XNNPACK

    您将学习核心技术：ExecuTorch，一个用于将 PyTorch 模型部署到边缘设备的框架；以及 XNNPACK，一个用于在基于 Arm 的平台上执行神经网络的高性能库。

  • Llama 模型

    学习路径探索了 Llama，这是一个强大的 LLMs 系列，特别关注 8B Llama 3 模型。您将学习量化技术，这对于优化移动设备上的模型大小和性能至关重要。

  • 准备用于 ExecuTorch 的 Llama 模型

    您将获得关于下载、导出和评估 Llama 模型的指导，确保它们已准备好使用 ExecuTorch 进行部署。

  • 检查模型在 Android 上的性能

    学习路径将引导您完成 Llama runner 二进制文件在 Android 上的交叉编译过程，使您能够在手机上测试模型的性能。

  • 构建并运行 Android 聊天应用

    最后，您将学习如何使用来自 ExecuTorch 仓库的 LlamaDemo 应用程序构建一个原生 Android 聊天应用。这种实践经验能让您将所学知识付诸实践，创建一个真实世界的应用程序。

如果您想学习如何在 Android 手机上利用 LLMs 的强大功能，并在设备端机器学习工具方面获得专业知识，请探索此学习路径。

深入了解构建 Android 聊天应用的乐趣，并在 Arm 开发者中心了解它们的工作原理。