资讯 小学 初中 高中 语言 会计职称 学历提升 法考 计算机考试 医护考试 建工考试 教育百科
栏目分类:
子分类:
返回
空麓网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
空麓网 > 计算机考试 > 软件开发 > 后端开发 > Python

【解决】pytorch单机多卡问题:ERROR: torch.distributed.elastic.multiprocessing.api:failed

Python 更新时间: 发布时间: 计算机考试归档 最新发布

【解决】pytorch单机多卡问题:ERROR: torch.distributed.elastic.multiprocessing.api:failed

最近在使用单机多卡进行分布式(DDP)训练时遇到一个错误:ERROR: torch.distributed.elastic.multiprocessing.api:failed。
而实际报错的内容是:ValueError: sampler option is mutually exclusive with shuffle.
报错的详细内容如下截图所士:

出现这种错误的原因是,在分布式训练时使用了sampler,并且dataloader时参数shuffle设置成True。由于sampler在分配数据给gpu时已经自动打乱了数据,所以dataloader无需重复打乱数据,二者是相冲的。
因此,使用分布式训练时,会使用sampler,在dataloader时参数shuffle默认False即可。

转载请注明:文章转载自 http://www.konglu.com/
本文地址:http://www.konglu.com/it/1095326.html
免责声明:

我们致力于保护作者版权,注重分享,被刊用文章【【解决】pytorch单机多卡问题:ERROR: torch.distributed.elastic.multiprocessing.api:failed】因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理,本文部分文字与图片资源来自于网络,转载此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请立即通知我们,情况属实,我们会第一时间予以删除,并同时向您表示歉意,谢谢!

我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2023 成都空麓科技有限公司

ICP备案号:蜀ICP备2023000828号-2