inference_prune.py比inference.py显存多

[wuzuowuyou]

inference_prune.py比inference.py显存多？多出400多M，这是为啥呢？

[wuzuowuyou]

prune之后和原本的比较，显存没有减少，这是为啥呢？

[wuzuowuyou]

贴上错误啊

[wuzuowuyou]

你这个是编译那个c++库不对啊，环境配置不对，改makefile

[fxwfzsxyq]

Package opencv was not found in the pkg-config search path.
Perhaps you should add the directory containing `opencv.pc'
to the PKG_CONFIG_PATH environment variable
No package 'opencv' found
In file included from include/pybind11/pytypes.h:12:0,
from include/pybind11/cast.h:13,
from include/pybind11/attr.h:13,
from include/pybind11/pybind11.h:43,
from adaptor.cpp:1:
include/pybind11/detail/common.h:112:30: fatal error: python3.5/Python.h: 没有那个文件或目录
#include <python3.5/Python.h>
^
compilation terminated.
make: *** [adaptor.so] Error 1
Traceback (most recent call last):
File "/home/liuchang/PycharmProjects/pse-lite.pytorch/inference.py", line 23, in
from pse import pse
File "/home/liuchang/PycharmProjects/pse-lite.pytorch/pse/init.py", line 9, in
raise RuntimeError('Cannot compile pse: {}'.format(BASE_DIR))
RuntimeError: Cannot compile pse: /home/liuchang/PycharmProjects/pse-lite.pytorch/pse
Makefile:10: recipe for target 'adaptor.so' failed
make: 离开目录“/home/liuchang/PycharmProjects/pse-lite.pytorch/pse”

Process finished with exit code 1

这个https://github.com/BADBADBADBOY/pse-lite.pytorch/blob/master/pse/include/pybind11/detail/common.h 112-114行改成3.6

[fxwfzsxyq]

对的，改完之后少了一个bug，但是好像还是要重写makefile，不太会cpp编译。。。

改完还不能编译成功？贴报错

[fxwfzsxyq]

Package opencv was not found in the pkg-config search path.
Perhaps you should add the directory containing `opencv.pc'
to the PKG_CONFIG_PATH environment variable
No package 'opencv' found
adaptor.cpp:9:30: fatal error: opencv2/opencv.hpp: 没有那个文件或目录
#include <opencv2/opencv.hpp>
^
compilation terminated.
make: *** [adaptor.so] Error 1
Traceback (most recent call last):
File "/home/liuchang/PycharmProjects/pse-lite.pytorch/inference.py", line 23, in
from pse import pse
File "/home/liuchang/PycharmProjects/pse-lite.pytorch/pse/init.py", line 9, in
raise RuntimeError('Cannot compile pse: {}'.format(BASE_DIR))
RuntimeError: Cannot compile pse: /home/liuchang/PycharmProjects/pse-lite.pytorch/pse

你装opencv了吗，要3.0+

[wuzuowuyou]

给你贴一个我修改好的makfile，供你参考

CXXFLAGS = -I include  -std=c++11 -O3

DEPS = lanms.h $(shell find include -xtype f)
CXX_SOURCES = adaptor.cpp include/clipper/clipper.cpp
#OPENCV = `pkg-config --cflags --libs opencv`

INCLUDES = -I/data_1/Yang/software_install/Anaconda1105/envs/libtorch1.0/include
LIBDIRS = -L/data_1/Yang/software_install/Anaconda1105/envs/libtorch1.0/lib
LIBS = -lopencv_core -lopencv_imgproc -lopencv_highgui -lopencv_ml

LIB_SO = adaptor.so

$(LIB_SO): $(CXX_SOURCES) $(DEPS)
	$(CXX) -o $@ $(CXXFLAGS) $(LDFLAGS) $(CXX_SOURCES) --shared -fPIC $(INCLUDES) $(LIBDIRS) $(LIBS)

clean:
	rm -rf $(LIB_SO)

[wuzuowuyou]

你们能测一下显存吗？我这里剪枝之后显存反而比之前多了，模型大小和参数量确实是减少了

[fxwfzsxyq]

你们能测一下显存吗？我这里剪枝之后显存反而比之前多了，模型大小和参数量确实是减少了

确实显存更大，我测试了，模型初始化的时候，确实是压缩的模型使用的显存更少一些，说明权重确实减少了，但是在模型forward的时候，同样大小的图片，反而是权重小的模型占用的显存更大，导致整体显存大于压缩后模型显存，我也很莫名其妙

[fxwfzsxyq]

你们能测一下显存吗？我这里剪枝之后显存反而比之前多了，模型大小和参数量确实是减少了

确实显存更大，我测试了，模型初始化的时候，确实是压缩的模型使用的显存更少一些，说明权重确实减少了，但是在模型forward的时候，同样大小的图片，反而是权重小的模型占用的显存更大，导致整体显存大于压缩后模型显存，我也很莫名其妙

如果在inference去掉with torch.no_grad() ，测试下来，又是压缩后的模型占用的显存小。可能问题出在这里

[wuzuowuyou]

你们能测一下显存吗？我这里剪枝之后显存反而比之前多了，模型大小和参数量确实是减少了

确实显存更大，我测试了，模型初始化的时候，确实是压缩的模型使用的显存更少一些，说明权重确实减少了，但是在模型forward的时候，同样大小的图片，反而是权重小的模型占用的显存更大，导致整体显存大于压缩后模型显存，我也很莫名其妙

如果在inference去掉with torch.no_grad() ，测试下来，又是压缩后的模型占用的显存小。可能问题出在这里

为什么会这样，测试的时候就是应该加with torch.no_grad() 这个啊。
那你显存会小多少？？？

[fxwfzsxyq]

你们能测一下显存吗？我这里剪枝之后显存反而比之前多了，模型大小和参数量确实是减少了

确实显存更大，我测试了，模型初始化的时候，确实是压缩的模型使用的显存更少一些，说明权重确实减少了，但是在模型forward的时候，同样大小的图片，反而是权重小的模型占用的显存更大，导致整体显存大于压缩后模型显存，我也很莫名其妙

如果在inference去掉with torch.no_grad() ，测试下来，又是压缩后的模型占用的显存小。可能问题出在这里

为什么会这样，测试的时候就是应该加with torch.no_grad() 这个啊。
那你显存会小多少？？？

压缩模型：未压缩（压缩比不同可能不一样，这里只是我的测试结果）

初始化：
1264:1448

整体：
4020:3918

去掉with torch.no_grad():
14724:15918

[fxwfzsxyq]

解决掉这个问题应该就可以节省显存

[wuzuowuyou]

解决掉这个问题应该就可以节省显存

去掉with torch.no_grad():
14724:15918
这个也没有少多少啊！

我模型每压缩之前是114M，压缩之后是51M，这个少了一半呢。
只是显存居然多了！！ 百思不得其解

[wuzuowuyou]

---

__