七、训练模型，CPU经常100%，但是GPU使用率才5%左右

• 人工智能

现象：

在这里插入图片描述

大概原因：GPU运算完毕后，花费了大量时间在写日志和存储pth文件，所以GPU使用率一直过低，CPU使用率一直很高。

具体原因分析参见【深度学习】踩坑日记：模型训练速度过慢，GPU利用率低

这里直接上解决办法：

  1. 减少日志IO操作频率
  2. 使用pin_memory和num_workers（num_workers调整不合适，会显示内存不够之类的问题，根据实际情况调整）
  3. 使用半精度训练
  4. 更好的显卡，更轻的模型
  5. 增大batch size提高epoch速度，但是收敛速度也会变慢，需要再适当升高学习率

本文解决办法：这里我采用的是调整batch_size，由8调成10（本来想调成16，结果显示GPU内存不够，只能调到10）：

在这里插入图片描述

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/671370842f.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐