2020年6月17日
[pytorch]单多机下多GPU下分布式负载均衡训练
摘要： 说明 在前面讲模型加载和保存的时候，在多GPU情况下，实际上是挖了坑的，比如在多GPU加载时，GPU的利用率是不均衡的，而当时没详细探讨这个问题，今天来详细地讨论一下。 问题 在训练的时候，如果GPU资源有限，而数据量和模型大小较大，那么在单GPU上运行就会极其慢的训练速度，此时就要使用多GPU进行 阅读全文
posted @ 2020-06-17 23:46 wildkid1024 阅读(3123) 评论(0) 推荐(0) 编辑