安全策略

支持的版本

版本	支持
0.11.1	:white_check_mark

我们的安全措施

TorchServe 尽可能依赖自动化工具进行安全扫描。特别是，我们支持

1. 依赖项分析：使用 Dependabot

2. Docker 扫描：使用 Snyk

3. 代码分析：使用 CodeQL

重要安全准则

1. TorchServe 监听以下端口

   1. HTTP - 8080, 8081, 8082

   2. gRPC - 7070, 7071

   默认情况下，这些端口可供 localhost 访问。可以通过遵循 HTTP 和 gRPC 指南来配置地址。TorchServe 不会阻止用户将地址配置为任何值，包括通配符地址 0.0.0.0。请注意将地址配置为 0.0.0.0 的安全风险，这将使主机上的所有地址（包括任何公共可访问的地址）都可以访问在上述端口上监听的 TorchServe 端点。

2. 默认情况下，TorchServe 的 Docker 镜像配置为将端口 8080、8081、8082、7070、7071 暴露给主机。启动容器时，将容器暴露的端口映射到 localhost 端口或特定 IP 地址，如本安全准则中所示。

3. 请务必验证与 TorchServe 一起使用的 .mar 文件的真实性。

   1. 从不可信来源从互联网下载的 .mar 文件可能包含恶意代码，从而危及应用程序的完整性。

   2. TorchServe 执行打包在 mar 文件中的任意 python 代码。请确保您已审核过您正在使用的代码是安全的和/或是来自您信任的来源。

   3. TorchServe 支持自定义插件和处理程序。这些可以用于扩展 TorchServe 功能，以使用以下工具执行运行时安全扫描

      • Clamd：https://pypi.ac.cn/project/clamd/

      • VirusTotal：https://virustotal.github.io/vt-py/

      • Fickling：https://github.com/trailofbits/fickling

   4. 从安全角度来看，在容器环境中运行 TorchServe 并加载不受信任的 .mar 文件并不能保证隔离。

4. 默认情况下，TorchServe 允许您从所有 URL 注册模型。请务必在 config.properties 中设置 allowed_urls 参数来限制此行为。您可以在配置指南中找到更多详细信息。

   • use_env_allowed_urls=true 在 config.properties 中是必需的，以便从环境变量读取 allowed_urls。

5. 启用 SSL

   TorchServe 支持两种配置 SSL 的方式

   1. 使用密钥库

   2. 使用私钥/证书文件

   您可以在配置指南中找到更多详细信息。

6. 准备您的模型以应对不良输入和提示注入。一些建议

   1. 预分析：检查模型在暴露于提示注入时的默认性能（例如，使用 提示注入模糊测试）。

   2. 输入清理：在将数据馈送到模型之前，严格清理输入。这涉及以下技术，例如

      • 验证：对允许的字符和数据类型强制执行严格的规则。

      • 过滤：删除潜在的恶意脚本或代码片段。

      • 编码：将特殊字符转换为安全表示形式。

      • 验证：运行工具来识别潜在的脚本注入（例如，检测提示注入尝试的模型）。

7. 如果您打算使用共享内存并行运行多个模型，则您有责任确保模型不相互交互或访问彼此的数据。主要关注领域是租户隔离、资源分配、模型共享和硬件攻击。

8. TorchServe 默认强制执行令牌授权：查看文档以获取更多信息。

9. 默认情况下，TorchServe 会阻止您在启动后注册和删除模型。查看模型 API 控制文档以获取更多信息。

报告漏洞

如果您发现漏洞，请报告给 https://127.0.0.1/whitehat 和 [email protected]