一款全平台轻量级pytorch推理框架Msnhnet

一款轻量的用于推理pytorch模型的框架,该框架受darknet启发.

https://github.com/msnh2012/Msnhnet​github.com/msnh2012/Msnhnet

Ps: 目前本框架在持续开发中，由于是业余时间开发，更新速度不会很快。也欢迎有志之士一块维护本框架. 欢迎三连.

目前测试过的操作系统 (你可以自己测试下mac os)

目前测试过的CPU (其它U出现BUG可以在issue提出)

特点

  • 由纯c++编写完成, 不依赖其它第三方计算库, 同时也支持OpenBlas库.
  • 支持目前主流的操作系统,Windows, linux(Ubuntu测试), mac os(未测试).
  • 支持目前主流的cpu芯片, Intel X86,AMD(未测试) 和ARM.
  • 支持x86结构avx2加速(持续优化中)。
  • 支持arm结构neon加速(持续优化中)。
  • conv2d 3x3s1 3x3s2 winograd3x3s1支持(Arm)
  • GPU cuda支持. (测试过的显卡 GTX1080Ti, Jetson NX)
  • GPU cudnn支持. (测试过的显卡 GTX1080Ti, Jetson NX)
  • GPU fp16支持.(测试过的显卡 GTX1080Ti, Jetson NX)
  • ps. 请检查你的显卡是否支持fp16双倍加速.
  • 该框架自带一套类似netron的可视化工具, 可在编写Msnhnet文件时清晰掌握网络结构.
  • 支持keras转Msnhnet. (Keras 2 and tensorflow 1.x, 部分op)
  • 支持pytorch一键转msnhnet(目前只支持部分Op, 持续更新中)。
  • 支持c_api。
  • 支持C#语言，MsnhnetSharp。
  • 支持msnhnet可视化，类似netron。
  • 持续开发中...(也就晚上有时间... (╮（╯＿╰）╭))

已测试的网络

Yolo测试

Win10 MSVC 2017 I7-10700F (Linux平台大约比Win快10~20%,当然不是所有网络)

ARM(Yolov3Tiny cpu)

Yolo GPU 测试

Ubuntu16.04 GCC Cuda10.1 GTX1080Ti

net yolov3 yolov3_tiny yolov4

Jetson NX

net yolov3 yolov3_tiny yolov4

Yolo GPU cuDnn FP16 测试

  • Jetson NX
net yolov3 yolov4

Yolov5s GPU 测试

  • Ubuntu18.04 GCC Cuda10.1 GTX2080Ti
net yolov5s yolov5s_fp16

Mobilenet Yolo GPU cuDnn 测试

  • Jetson NX
net yoloface100k yoloface500k mobilenetv2_yolov3_nano mobilenetv2_yolov3_lite

DeepLabv3 GPU 测试

  • Ubuntu18.04 GCC Cuda10.1 GTX2080Ti
net deeplabv3_resnet101 deeplabv3_resnet50

依赖

视频教程(B站)

如何编译

  • CMake要求: CMake 3.15+
  • 注意Viewer不能在GPU模式下编译

ps. 你可以在CMakeLists.txt:52设置最大OMP占用线程, 默认是OMP使用所有CPU线程.(需取消勾选OMP_MAX_THREAD)

Windows平台编译(MSVC)

    • 1.使用CMake编译安装OpenCV4 (可选).
    • 2.在环境变量中添加"OpenCV_DIR", 并设置变量内容为每个库的CMake目录 (可选).
    • 3.下载安装Qt5 (可选).
    • 4.把Qt5的bin目录添加环境变量Path (可选).
    • 5.最后使用CMake GUI工具配置Msnhnet然后使用Visual Studio编译安装.

Linux(Ubuntu )
注意: 构建NX的GPU版本取消勾选NNPACK NEON OPENBLAS.

sudo apt-get install qt5-default #optional

sudo apt-get install libqt5svg5-dev #optional

sudo apt-get install libopencv-dev #optional

#config

sudo echo /usr/local/lib > /etc/ld.so.conf.d/usrlib.conf

sudo ldconfig

# build Msnhnet

git clone github.com/msnh2012/Msn

mkdir build

cd Msnhnet/build

cmake -DCMAKE_BUILD_TYPE=Release ..

make -j4

sudo make install

vim ~/.bashrc # Last line add: export PATH=/usr/local/bin:$PATH

sudo ldconfig

测试

  • 1.首先下载预训练模型并解压. eg.D:/models.
  • 2.打开终端或CMD, cd到安装目录. eg. D:/Msnhnet/bin
  • 3.测试 yolov3 yolov3 D:/models
  • 4.测试 yolov3tiny_video yolov3tiny_video D:/models
  • 5.测试 classify classify D:/models

使用MsnhnetViewer查看网络结构

  • 1.打开终端或CMD, cd到安装目录 eg. D:/Msnhnet/bin
  • 2.运行 "MsnhnetViewer"

  • Ps. "ResBlock Res2Block AddBlock ConcatBlock"为网络层的封装, 你可以双击该块查看详细内容.

各个封装的结构
ResBlock

Res2Block

AddBlock

ConcatBlock

如何转换模型

  • pytorch2msnhnet
  • ps.
  • 在转换之前，请务必检查下你的模型所用的算子被pytorch2Msnhnet支持。
  • 可能有些模型转换不成功。
  • 如果你的模型包含非常复杂的前处理和后处理，请先转backbone，再手动添加OP.
  • 对于u版yolov3和yolov4.参考这个视频。视频中的工具迁移至此.

关于训练

Enjoy it!

感谢

Msnhnet参考了以下框架:

第三放库

加群交流