中PyTorch训练中出现死循环 检查Loss是否异常导致梯度无穷深度解析|Duuu笔记

admin1周前 (03-31)16
Loss突变为inf或nan导致训练“假死”:梯度失效、参数不更新,主因是除零、log(0)、重复softmax等;需用torch.isfinite检查、清空optimizer状态或重建,并在AMP中...