[pytorch]单多机下多GPU下分布式负载均衡训练

说明 在前面讲模型加载和保存的时候，在多GPU情况下，实际上是挖了坑的，比如在多GPU加载时，GPU的利用率是不均衡的，而当时没详细探讨这个问题，今天来详细地讨论一下。 问题 在训练的时候，如果GPU资源有限，而数据量和模型大小较大，那么在单GPU上运行就会极其慢的训练速度，此时就要使用多GPU进行
posted @ 2020-06-17 23:46  wildkid1024  阅读(3123)  评论(0)  编辑  收藏  举报