Amazon Ads 使用 PyTorch、TorchServe 和 AWS Inferentia 将推理成本降低 71%，并实现规模扩展。
Amazon Ads 通过在亚马逊商店内外（包括 15 个以上国家/地区的网站、应用程序和流媒体电视内容）展示广告，帮助企业建立品牌并与购物者建立联系。包括注册卖家、供应商、图书供应商、Kindle Direct Publishing (KDP) 作者、应用程序开发者和代理机构在内的各种规模的企业和品牌都可以上传自己的广告创意，其中可以包括图像、视频、音频以及在亚马逊上销售的商品。
为了提供准确、安全、愉快的购物体验，这些广告必须遵守内容指南。例如，广告不能闪烁，产品必须在适当的背景下展示，图像和文本应适合普通受众。为了帮助确保广告符合所需的政策和标准，我们需要开发可扩展的机制和工具。
作为解决方案，我们使用了机器学习 (ML) 模型来筛选可能需要修改的广告。在过去十年深度神经网络蓬勃发展的同时，我们的数据科学团队开始探索更通用的深度学习 (DL) 方法，这些方法能够以最少的人工干预处理文本、图像、音频或视频。为此，我们使用 PyTorch 构建了计算机视觉 (CV) 和自然语言处理 (NLP) 模型，这些模型能够自动标记潜在不合规的广告。PyTorch 直观、灵活且用户友好，使我们能够无缝过渡到使用 DL 模型。将这些新模型部署在基于 AWS Inferentia 的 Amazon EC2 Inf1 实例上，而不是基于 GPU 的实例上，为相同的工作负载将我们的推理延迟降低了 30%，推理成本降低了 71%。
转向深度学习
我们的 ML 系统将经典模型与词嵌入相结合来评估广告文本。但我们的需求不断演变，随着提交量的持续增长，我们需要一种足够灵活的方法来随着业务一起扩展。此外，我们的模型必须快速，并在几毫秒内提供广告，以提供最佳的客户体验。
在过去十年中，深度学习在许多领域变得非常流行，包括自然语言、视觉和音频。由于深度神经网络通过许多层处理数据集（提取越来越高级别的特征），因此它们可以做出比经典 ML 模型更细致的推断。例如，深度学习模型不仅可以检测违禁语言，还可以因虚假宣传而拒绝广告。
此外，DL 技术是可转移的——为一个任务训练的模型可以调整以执行相关任务。例如，可以优化预训练的神经网络来检测图像中的物体，然后进行微调以识别不允许在广告中显示的特定物体。
深度神经网络可以自动化经典 ML 中最耗时的两个步骤：特征工程和数据标注。与需要探索性数据分析和手动设计特征的传统监督学习方法不同，深度神经网络直接从数据中学习相关特征。DL 模型还可以分析非结构化数据，如文本和图像，而无需 ML 中所需的预处理。深度神经网络可以有效地随着数据量的增加而扩展，并且在大数据集的应用中表现尤其出色。
我们选择 PyTorch 来开发模型，因为它帮助我们最大化了系统的性能。使用 PyTorch，我们可以更好地服务客户，同时利用 Python 最直观的概念。PyTorch 的编程是面向对象的：它将处理函数与其修改的数据分组在一起。因此，我们的代码库是模块化的，我们可以在不同的应用程序中重用代码片段。此外，PyTorch 的 Eager 模式允许使用循环和控制结构，从而在模型中实现更复杂的操作。Eager 模式使得原型设计和迭代模型变得容易，并且我们可以处理各种数据结构。这种灵活性帮助我们快速更新模型以满足不断变化的业务需求。
“在此之前，我们尝试过其他‘Pythonic’的框架，但 PyTorch 在这里显然是我们的赢家，” 应用科学家 Yashal Kanungo 说。“使用 PyTorch 很简单，因为它的结构感觉就像原生的 Python 编程，数据科学家们对此非常熟悉。”
训练管道
如今，我们完全在 PyTorch 中构建文本模型。为了节省时间和金钱，我们通常通过微调预训练的 NLP 模型进行语言分析，跳过训练的早期阶段。如果我们需要一个新模型来评估图像或视频，我们会先浏览 PyTorch 的 torchvision 库，该库提供了用于图像和视频分类、对象检测、实例分割和姿态估计的预训练选项。对于特殊任务，我们从零开始构建自定义模型。PyTorch 非常适合这一点，因为 Eager 模式和用户友好的前端使得尝试不同的架构变得容易。
要了解如何在 PyTorch 中微调神经网络，请参阅此教程。
在开始训练之前，我们优化模型的超参数，这些变量定义了网络架构（例如隐藏层的数量）和训练机制（如学习率和批量大小）。选择合适的超参数值至关重要，因为它们将影响模型的训练行为。我们在此步骤中依赖 AWS 的 ML 平台 SageMaker 中的贝叶斯搜索功能。贝叶斯搜索将超参数调优视为回归问题：它提出可能产生最佳结果的超参数组合，并运行训练作业来测试这些值。每次试验后，回归算法会确定下一组要测试的超参数值，性能会逐步提高。
我们使用 SageMaker Notebooks 对模型进行原型设计和迭代。Eager 模式允许我们通过为每个训练批次构建新的计算图来快速构建模型原型；操作序列可以随着迭代而改变，以适应不同的数据结构或与中间结果保持一致。这使得我们能够在训练期间调整网络，而无需从头开始。这些动态图对于基于可变序列长度的递归计算特别有价值，例如使用 NLP 分析广告中的单词、句子和段落。
当我们确定模型架构后，我们会在 SageMaker 上部署训练作业。PyTorch 通过同时运行大量训练作业，帮助我们更快地开发大型模型。PyTorch 的分布式数据并行 (DDP) 模块在 SageMaker 内的多个互连机器上复制单个模型，所有进程同时在其各自独特的数据集部分上运行前向传播。在反向传播期间，该模块对所有进程的梯度进行平均，因此每个本地模型都使用相同的参数值进行更新。
模型部署管道
当我们将模型部署到生产环境时，我们希望在不影响预测精度的情况下确保更低的推理成本。PyTorch 的几个功能和 AWS 服务帮助我们应对了这一挑战。
动态图的灵活性丰富了训练过程，但在部署时，我们希望最大化性能和可移植性。在 PyTorch 中开发 NLP 模型的一个优势是，它们可以开箱即用地通过 TorchScript（一个专用于 ML 应用程序的 Python 子集）被跟踪为静态操作序列。Torchscript 将 PyTorch 模型转换为更高效、更适合生产环境的中间表示 (IR) 图，该图易于编译。我们通过模型运行一个示例输入，TorchScript 会记录前向传播期间执行的操作。生成的 IR 图可以在高性能环境中运行，包括 C++ 和其他多线程无 Python 环境，并且诸如算子融合等优化可以加速运行时。
Neuron SDK 和由 AWS Inferentia 提供支持的计算
我们将模型部署在由 AWS Inferentia 提供支持的 Amazon EC2 Inf1 实例上，AWS Inferentia 是亚马逊首款专为加速深度学习推理工作负载而设计的 ML 芯片。与基于 GPU 的 Amazon EC2 实例相比，Inferentia 已被证明可将推理成本降低高达 70%。我们使用 AWS Neuron SDK（一组与 Inferentia 一起使用的软件工具）来编译和优化我们的模型，以便在 EC2 Inf1 实例上部署。
下面的代码片段展示了如何使用 Neuron 编译 Hugging Face BERT 模型。与 torch.jit.trace() 类似，neuron.trace() 会记录模型在前向传播期间对示例输入的操作，以构建静态 IR 图。
import torch
from transformers import BertModel, BertTokenizer
import torch.neuron
tokenizer = BertTokenizer.from_pretrained("path to saved vocab")
model = BertModel.from_pretrained("path to the saved model", returned_dict=False)
inputs = tokenizer ("sample input", return_tensor="pt")
neuron_model = torch.neuron.trace(model,
example_inputs = (inputs['input_ids'], inputs['attention_mask']),
verbose = 1)
output = neuron_model(*(inputs['input_ids'], inputs['attention_mask']))
自动类型转换和重新校准
在底层，Neuron 通过将模型自动转换为较小的数据类型来优化性能。默认情况下，大多数应用程序使用 32 位单精度浮点 (FP32) 数字格式表示神经网络值。将模型自动转换为 16 位格式（半精度浮点 (FP16) 或脑浮点 (BF16)）可以减少模型的内存占用和执行时间。在我们的案例中，我们决定使用 FP16 来优化性能，同时保持高精度。
在某些情况下，自动转换为较小的数据类型可能会导致模型预测出现细微差异。为了确保模型的精度不受影响，Neuron 会比较 FP16 和 FP32 模型的性能指标和预测结果。当自动类型转换降低模型精度时，我们可以告知 Neuron 编译器仅将权重和某些数据输入转换为 FP16，而将其余中间结果保留在 FP32 中。此外，我们通常使用训练数据运行几次迭代来重新校准自动类型转换后的模型。这个过程比原始训练的强度要低得多。
部署
为了分析多媒体广告，我们运行了一系列 DL 模型。所有上传到亚马逊的广告都会经过专门的模型，这些模型会评估其包含的每种内容：图像、视频和音频、标题、文本、背景，甚至语法、拼写和潜在的不当语言。我们从这些模型接收到的信号表明广告是否符合我们的标准。
部署和监控多个模型非常复杂，因此我们依赖于 TorchServe，它是 SageMaker 默认的 PyTorch 模型服务库。由 Facebook 的 PyTorch 团队和 AWS 共同开发，旨在简化从原型设计到生产环境的过渡，TorchServe 帮助我们大规模部署训练好的 PyTorch 模型，而无需编写自定义代码。它提供了一套安全的 REST API，用于推理、管理、指标和解释。凭借多模型服务、模型版本控制、集成支持和自动批处理等功能，TorchServe 非常适合支持我们庞大的工作负载。您可以在这篇博客文章中了解更多关于在 SageMaker 上使用原生 TorchServe 集成部署 PyTorch 模型的信息。
在某些用例中，我们利用 PyTorch 的面向对象编程范式将多个 DL 模型封装到一个父对象中（一个 PyTorch nn.Module），并将其作为单个集成模型提供服务。在其他情况下，我们使用 TorchServe 在运行于 AWS Inf1 实例上的独立 SageMaker 端点上提供单个模型服务。
自定义处理器
我们特别赞赏 TorchServe 允许我们将模型初始化、预处理、推理和后处理代码嵌入到服务器上的单个 Python 脚本 handler.py 中。这个脚本——处理器——会预处理来自广告的未标注数据，将这些数据通过我们的模型运行，并将推理结果提供给下游系统。TorchServe 提供了几个默认处理器，用于加载权重和架构，并准备好模型在特定设备上运行。我们可以将所有额外的必需工件，例如词汇文件或标签映射，与模型打包在一个存档文件中。
当我们需要部署具有复杂初始化过程或源自第三方库的模型时，我们在 TorchServe 中设计自定义处理器。这些处理器使我们能够加载来自任何库的任何模型，并执行任何所需的过程。以下代码片段展示了一个简单的处理器，可以在任何 SageMaker 托管端点实例上提供 Hugging Face BERT 模型服务。
import torch
import torch.neuron
from ts.torch_handler.base_handler import BaseHandler
import transformers
from transformers import AutoModelForSequenceClassification,AutoTokenizer
class MyModelHandler(BaseHandler):
def initialize(self, context):
self.manifest = ctx.manifest
properties = ctx.system_properties
model_dir = properties.get("model_dir")
serialized_file = self.manifest["model"]["serializedFile"]
model_pt_path = os.path.join(model_dir, serialized_file)
self.tokenizer = AutoTokenizer.from_pretrained(
model_dir, do_lower_case=True
)
self.model = AutoModelForSequenceClassification.from_pretrained(
model_dir
)
def preprocess(self, data):
input_text = data.get("data")
if input_text is None:
input_text = data.get("body")
inputs = self.tokenizer.encode_plus(input_text, max_length=int(max_length), pad_to_max_length=True, add_special_tokens=True, return_tensors='pt')
return inputs
def inference(self,inputs):
predictions = self.model(**inputs)
return predictions
def postprocess(self, output):
return output
批处理
硬件加速器针对并行性进行了优化，而批处理——在单个步骤中向模型馈送多个输入——有助于充分利用所有可用容量，通常会提高吞吐量。然而，过高的批量大小可能会增加延迟，而对吞吐量的提升却微乎其微。尝试不同的批量大小有助于我们确定模型和硬件加速器的最佳点。我们通过实验来确定模型大小、负载大小和请求流量模式的最佳批量大小。
Neuron 编译器现在支持可变批量大小。以前，跟踪模型会硬编码预定义的批量大小，因此我们不得不填充数据，这可能会浪费计算资源、降低吞吐量并加剧延迟。Inferentia 经过优化，可最大限度地提高小批量数据的吞吐量，通过减轻系统负载来减少延迟。
并行性
多核上的模型并行性也能提高吞吐量和降低延迟，这对于我们的重负载工作至关重要。每个 Inferentia 芯片包含四个 NeuronCores，它们可以同时运行不同的模型，或者形成流水线来流式传输单个模型。在我们的用例中，数据并行配置以最低的成本提供了最高的吞吐量，因为它扩展了并发处理请求。
数据并行
模型并行
监控
监控生产环境中的推理精度至关重要。最初预测良好的模型随着暴露于更广泛的数据，最终可能在部署中性能下降。这种现象称为模型漂移，通常发生在输入数据分布或预测目标发生变化时。
我们使用 SageMaker Model Monitor 来跟踪训练数据和生产数据之间的一致性。当生产环境中的预测开始偏离训练和验证结果时，Model Monitor 会通知我们。得益于这一早期预警，我们可以在广告主受到影响之前恢复精度（如有必要，通过重新训练模型）。为了实时跟踪性能，Model Monitor 还会向我们发送关于预测质量的指标，例如准确率、F 分数和预测类别的分布。
为了确定我们的应用程序是否需要扩展，TorchServe 会定期记录 CPU、内存和磁盘的资源利用率指标；它还会记录收到的请求数量与已服务的请求数量。对于自定义指标，TorchServe 提供了 Metrics API。
卓有成效的结果
我们的 DL 模型在 PyTorch 中开发并部署在 Inferentia 上，在降低成本的同时加快了广告分析速度。从我们首次探索 DL 开始，使用 PyTorch 编程就感觉很自然。它的用户友好功能帮助我们从早期实验顺利过渡到多模态集成模型的部署。PyTorch 使我们能够快速构建模型原型并进行构建，这对于我们的广告服务的发展和扩展至关重要。此外，PyTorch 可以与 Inferentia 和我们的 AWS ML 技术栈无缝协作。我们期待使用 PyTorch 构建更多用例，以便我们能够继续为客户提供准确、实时的结果。
