C++ 前端¶
PyTorch C++ 前端是一个用于 CPU 和 GPU 张量计算的 C++17 库，具有自动微分和用于最先进机器学习应用程序的高级构建块。
描述¶
可以将 PyTorch C++ 前端视为 PyTorch Python 前端的 C++ 版本，它提供了自动微分和用于机器学习和神经网络的各种更高级别的抽象。具体来说，它由以下组件组成
组件 |
描述 |
|---|---|
|
自动可微分、高效的 CPU 和 GPU 启用的张量 |
|
用于神经网络建模的可组合模块集合 |
|
用于训练模型的优化算法，如 SGD、Adam 或 RMSprop |
|
数据集、数据管道和多线程异步数据加载器 |
|
用于存储和加载模型检查点的序列化 API |
|
将您的 C++ 模型绑定到 Python 的粘合剂 |
|
对 TorchScript JIT 编译器的纯 C++ 访问 |
端到端示例¶
这是一个在 MNIST 数据集上定义和训练简单神经网络的简单端到端示例
#include <torch/torch.h>
// Define a new Module.
struct Net : torch::nn::Module {
Net() {
// Construct and register two Linear submodules.
fc1 = register_module("fc1", torch::nn::Linear(784, 64));
fc2 = register_module("fc2", torch::nn::Linear(64, 32));
fc3 = register_module("fc3", torch::nn::Linear(32, 10));
}
// Implement the Net's algorithm.
torch::Tensor forward(torch::Tensor x) {
// Use one of many tensor manipulation functions.
x = torch::relu(fc1->forward(x.reshape({x.size(0), 784})));
x = torch::dropout(x, /*p=*/0.5, /*train=*/is_training());
x = torch::relu(fc2->forward(x));
x = torch::log_softmax(fc3->forward(x), /*dim=*/1);
return x;
}
// Use one of many "standard library" modules.
torch::nn::Linear fc1{nullptr}, fc2{nullptr}, fc3{nullptr};
};
int main() {
// Create a new Net.
auto net = std::make_shared<Net>();
// Create a multi-threaded data loader for the MNIST dataset.
auto data_loader = torch::data::make_data_loader(
torch::data::datasets::MNIST("./data").map(
torch::data::transforms::Stack<>()),
/*batch_size=*/64);
// Instantiate an SGD optimization algorithm to update our Net's parameters.
torch::optim::SGD optimizer(net->parameters(), /*lr=*/0.01);
for (size_t epoch = 1; epoch <= 10; ++epoch) {
size_t batch_index = 0;
// Iterate the data loader to yield batches from the dataset.
for (auto& batch : *data_loader) {
// Reset gradients.
optimizer.zero_grad();
// Execute the model on the input data.
torch::Tensor prediction = net->forward(batch.data);
// Compute a loss value to judge the prediction of our model.
torch::Tensor loss = torch::nll_loss(prediction, batch.target);
// Compute gradients of the loss w.r.t. the parameters of our model.
loss.backward();
// Update the parameters based on the calculated gradients.
optimizer.step();
// Output the loss and checkpoint every 100 batches.
if (++batch_index % 100 == 0) {
std::cout << "Epoch: " << epoch << " | Batch: " << batch_index
<< " | Loss: " << loss.item<float>() << std::endl;
// Serialize your model periodically as a checkpoint.
torch::save(net, "net.pt");
}
}
}
}
要查看 PyTorch C++ 前端使用的更完整的示例，请参阅示例存储库。
理念¶
PyTorch 的 C++ 前端的设计理念是：Python 前端很棒，并且应该在可能的情况下使用；但在某些情况下，性能和可移植性要求使得使用 Python 解释器变得不可行。例如，Python 不适合低延迟、高性能或多线程环境，例如视频游戏或生产服务器。C++ 前端的目的是解决这些用例，同时不牺牲 Python 前端的用户体验。
因此，C++ 前端的设计遵循了一些理念
**在设计、命名、约定和功能上密切模仿 Python 前端。**虽然这两个前端之间可能存在偶尔的差异（例如，我们删除了已弃用的功能或修复了 Python 前端中的“瑕疵”），但我们保证将 Python 模型移植到 C++ 的工作量应完全在于**翻译语言特性**，而不是修改功能或行为。
**优先考虑灵活性和用户友好性而不是微优化。**在 C++ 中，您通常可以获得最佳代码，但代价是极其不友好的用户体验。灵活性和动态性是 PyTorch 的核心，而 C++ 前端力求保留这种体验，在某些情况下牺牲性能（或“隐藏”性能旋钮）以保持 API 简单易懂。我们希望那些不以编写 C++ 为生的研究人员能够使用我们的 API。
需要注意的是：Python 不一定比 C++ 慢！Python 前端几乎在任何计算密集型操作（特别是任何类型的数值运算）中都会调用 C++，而这些操作将占用程序运行的大部分时间。如果您更愿意编写 Python，并且能够编写 Python，我们建议您使用 Python 接口来访问 PyTorch。但是，如果您更愿意编写 C++，或者需要编写 C++（由于多线程、延迟或部署要求），则 PyTorch 的 C++ 前端提供了与 Python 对应部分一样方便、灵活、友好和直观的 API。这两个前端服务于不同的用例，协同工作，并且都不打算无条件地取代对方。
