深度双重下降现象

OpenAI发现双重下降现象出现在CNN、ResNet和Transformer中：随着模型大小、数据大小或训练时间增加，性能先改善后恶化再改善。这一现象值得进一步研究。