查看GPU的运行状况

• 程序运行中可以通过watch -n 0.1 -d nvidia-smi命令来实时查看GPU占用情况，按Ctrl+c退出
• 通过nvidia-smi命令来查看某一时刻的GPU的占用情况
  

1、训练阶段

如果是训练时遇到该问题，说明模型的参数太多了，将模型的参数减少该问题就解决了，改小batch_size是不能解决的（我将batch_size设为1都没解决，而且报错时的内存数据都没变），因此，出现这个问题，应该有三个原因：

• GPU还有其他进程占用显存，导致本进程无法分配到足够的显存
• 缓存过多，使用torch.cuda.empty_cache()清理缓存（没试过）
• 卡不行，换块显存更大的卡吧(因为服务器上有4个显卡，所以，选择了序号为3的显卡进行实验)

2、测试阶段

如果是测试时遇到该问题，在测试代码前面加上：with torch.no_grad():

with torch.no_grad():
  # test process

3、GPU显存未释放问题

若使用了上述两种方法还不成功，那么我们就需要手动释放那些已经不需要的进程(这些进程占据着GPU的资源)
我们在使用tensorflow+pycharm 或者PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？
使用PyTorch设置多线程（threads）进行数据读取（DataLoader），其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下：

• 1.先关闭ssh（或者shell）窗口，退出重新登录
• 2.查看运行在gpu上的所有程序：

fuser -v /dev/nvidia*

• 3.kill掉所有（连号的）僵尸进程

具体操作步骤如下：

• 我们可以用如下命令查看 nvidia-smi看不到的GPU进程。

nvidia-smi   

发现内存泄露问题，即没有进程时，内存被占用

• 发现僵尸进程（连号的）

fuser -v /dev/nvidia*   

• 查看具体这个进程调用GPU的情况

pmap -d PID

• 强行关掉所有当前并未执行的僵尸进程

kill -9 PID

参考1：https://blog.csdn.net/weixin_38314865/article/details/105998844
参考2：https://www.jianshu.com/p/0d8ea6ca332a