TorchServe 在 linux aarch64 上的应用 - 实验性

TorchServe 已经过测试，可以在 linux aarch64 上运行一些示例。

• 已在 Amazon Graviton 3 实例 (m7g.4x.large) 上进行测试

安装

目前可以通过 PyPi 安装或从源代码安装

python ts_scripts/install_dependencies.py
pip install torchserve torch-model-archiver torch-workflow-archiver

优化

您还可以为 Graviton 3 启用这些优化以获得更高的性能。更多详细信息可以在这篇博客中找到

export DNNL_DEFAULT_FPMATH_MODE=BF16
export LRU_CACHE_CAPACITY=1024

示例

已验证这个关于文本转语音合成的示例可以在 Graviton 3 上运行

待办事项

• CI

• 回归测试