构建 ExecuTorch LLaMA iOS 演示应用

此应用演示了 LLaMA 聊天应用的使用，展示了使用 ExecuTorch 的本地推理用例。

先决条件

• Xcode 15

• iOS 17 SDK

• 如果您尚未按照 设置 ExecuTorch 设置存储库和开发环境，请设置您的 ExecuTorch 存储库和环境

git clone -b release/0.2 https://github.com/pytorch/executorch.git
cd executorch
git submodule update --init

python3 -m venv .venv && source .venv/bin/activate

./install_requirements.sh

导出模型

请参阅 ExecuTorch Llama2 文档 以导出模型。

运行应用

1. 在 Xcode 中打开 项目。

2. 运行应用（cmd+R）。

3. 在应用 UI 中选择要使用的模型和标记器，键入提示并点击箭头按钮

注意

ExecuTorch 运行时作为 Swift 包分发，提供一些 .xcframework 作为预构建的二进制目标。Xcode 将在首次运行时下载并缓存该包，这将花费一些时间。

将模型复制到模拟器

1. 将模型和标记器文件拖放到模拟器窗口，并将它们保存在 iLLaMA 文件夹内的某个位置。

2. 在应用对话框中选择文件，键入提示并单击向上箭头按钮。

将模型复制到设备

1. 通过有线连接设备并在 Finder 中打开内容。

2. 导航到“文件”选项卡，并将模型和标记器文件拖放到 iLLaMA 文件夹。

3. 等待文件复制完成。

单击下图以查看实际效果！

报告问题

如果您在按照本教程操作时遇到任何错误或问题，请在此处 Github 上提交错误/问题。