⚠️ 通知：有限维护

此项目不再积极维护。现有版本仍可获取，但没有计划中的更新、错误修复、新功能或安全补丁。用户应注意潜在的安全漏洞可能无法得到解决。

在 linux aarch64 上运行 TorchServe - 实验性

TorchServe 已在 linux aarch64 上通过测试，可运行部分示例。

• 已在 Amazon Graviton 3 实例 (m7g.4x.large) 上进行测试

安装

目前支持通过 PyPi 或从源代码安装

python ts_scripts/install_dependencies.py
pip install torchserve torch-model-archiver torch-workflow-archiver

优化

您还可以为 Graviton 3 启用这些优化以获得更好的性能。更多详细信息请参阅此博客

export DNNL_DEFAULT_FPMATH_MODE=BF16
export LRU_CACHE_CAPACITY=1024

示例

此关于文本转语音合成的示例已在 Graviton 3 上验证可行

待办事项

• CI

• 回归测试