一.前言

差不多一年前的这个时候，在狗厂实习的时候，主要用PyTorch做一些事情。那个时候针对PyTorch的模型部署问题，主要讨论ONNX。想像一下今天的DL框架格局，PyTorch，Tensorflow，Keras，Caffe，Caffe2等，持久化模型之间不兼容。常见的一种情况是，一篇论文基于不同框架写不同版本的代码。那么，很显然的一个需求是：

一个框架下的模型如何可以转化为另一个框架下的模型？

相关工作有一些，ONNX是其中一个，微软也做过类似工作。但是问题是总会遇到一些无法直接转换的组件。在今天，仍旧可以看到的现象是一篇论文，两个版本的代码实现。早期的ONNX的一个经典用例是将PyTorch的模型通过ONNX转化为Caffe2的模型然后部署在移动IOS端。比如我去年实习期间业余时候尝试的一个项目。

在多个DL框架争雄的局势下，上述的需求就是硬需求，相关工作在推进，希望取得进展吧。不过，这里引发的一个问题是：多框架场景下的多样化部署。这在框架角度给出了一个思考维度。

二.用C++载入PyTorch模型

早期的PyTorch只有Python前端，所谓的口号”Python优先”，对于学术界的大部分同学，不关心部署性能，只关心模型等学术问题，因此这样是OK的。但是放在工业界就不行了，模型是要上线的。Python语言太慢，可移植性和适用性根本无法和C++相比。考虑到部署问题，PyTorch总不是最佳的选择。当时的一个想法是，PyTorch训练模型，然后前向推断时将结构和参数灌入到C++代码中，这估计也是早些年的一些做法。但是调研之后，将PyTorch的C++后端拉出来并不容易，而且如果从C++原生代码来写起，工作量也很大。因此，希望有一个C++前端方便做推断部署，相比于此，训练倒是其次。

千呼万唤始出来。PyTorch1.0发布了，截止目前最新版为PyTorch1.0.1。这样，稍后的业界的算法同学的工作流程可能就会变成这样：

论文发布->PyTorch开源代码(或者自己实现)->训练模型->导出模型->载入模型(C++/Python/其他框架/其他硬件平台)

通常PyTorch可以作为想法研究的工具，不作为生产工具。这样一来，研究后的成果可以直接上线，完美。

下面给出一个基本的使用流程。

1.Python端导出模型

import torch
import torchvision.models as models

resnet = torch.jit.trace(models.resnet18(), torch.rand(1,3,224,224))
output=resnet(torch.ones(1,3,224,224))
print(output)
resnet.save('resnet.pt')

2.C++端载入模型

#include <iostream>
#include <torch/script.h>

int main(int argc, const char* argv[]){
    if (argc != 2){
        std::cerr << "where is your model?" << std::endl;
        return -1;
    }
    std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]);
    assert(module != nullptr);
    std::cout << "load successfully!" << std::endl;

    //auto module = torch::jit::load("../resnet.pt");
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(torch::ones({1,3,224,224}));
    at::Tensor output = module->forward(inputs).toTensor();
    std::cout << output.slice(1,0,5);
    return 0;
}

3.编译C++代码

C++中使用的关于PyTorch的头文件，主要来自PyTorch提供了一个模块libtorch。不瞒您说，libtorch就是PyTorch中C++前端最为关键的模块了。当然PyTorch的C++后端是Aten模块，基于该模块有Autograd等，主要实现是关于Tensor的各种运算等。

4.运行C++代码

./example-cpp resnet.pt

在上述过程中，需要编写脚本工具，链接到libtorch库，实现完整的编译过程。完整项目可以看我的Github链接。

其实，导出的模型还可以直接用于node.js呢，具体可以参考资料1。

三.PyTorch的C++前端

拥有一个完善的C++前端，当然可以完成上述任务。但是对于C++的同学来说，相当于又有一个C++的深度学习框架，基于C++的DL框架有，但是不多。Caffe作为老大哥，也多是针对CV的同学。自己在做NLP实习的时候也用过一个小众的C++框架，有七牛的朋友讲，公司内部也有自己的C++框架。按照Tensorflow，MXNET等的发展路子，多是写一个C++的框架，然后写一层Python的皮。但是PyTorch的框架本身就是基于Python完成的，注意此处与后端没有C++代码是两码事情。总之，现在有了一套新的可用的C++的API。

给出一些代码作为代码，感受一下画风的变化。

原来的Python代码，我们可以这样实现一个模型：

import torch

class Net(torch.nn.Module):
  def __init__(self, N, M):
    super(Net, self).__init__()
    self.W = torch.nn.Parameter(torch.randn(N, M))
    self.b = torch.nn.Parameter(torch.randn(M))

  def forward(self, input):
    return torch.addmm(self.b, input, self.W)

现在用C++可以直接这样实现，如下：

#include <torch/torch.h>

struct Net : torch::nn::Module {
  Net(int64_t N, int64_t M) {
    W = register_parameter("W", torch::randn({N, M}));
    b = register_parameter("b", torch::randn(M));
  }
  torch::Tensor forward(torch::Tensor input) {
    return torch::addmm(b, input, W);
  }
  torch::Tensor W, b;
};

从官方的文档来看，目前的C++前端已经相对完善。可以实现定义模型，载入数据，写训练循环，CPU/GPU切换，Checkpointing/Recovering等。

敲黑板，基于Caffe写C++不开心的同学，可以基于PyTorch来写C++换个心情了。

四.后记

这篇博客没什么技术干货，主要是为PyTorch的C++端打Call吧。涉及到的一些技术原理与torch.jit有关，相关细节和讨论可以参考资料1。此外，这篇博客算是一个技术体验吧，实际上至于真正用到工业生产环境时候的感受怎样，还需要进一步观察。人生苦短，我用PyTorch，是的，从没有喜欢过Tensorflow。(TF粉不要打我，逃……)

参考资料：

1.《PyTorch under the hood: A guide to understand PyTorch internals》

2.Using the PyTorch C++ Frontend

3.Loading A PyTorch Model in C++

4.Transfering a Model from PyTorch to Caffe2 and Mobile using ONNX

5.Deploying a Seq2Seq Model with the Hybrid Frontend

6.Accelerate your NLP pipelines using Hugging Face Transformers and ONNX Runtime