深度强化学习中的可塑性损失：综述

文章预览

类似于人脑的神经可塑性，深度神经网络的可塑性使其能够快速适应新数据。这使得可塑性在深度强化学习（RL）代理中尤为重要：一旦可塑性丧失，代理的性能将不可避免地停滞，因为它无法改进其策略以应对数据分布的变化，而这种变化是学习过程中的必然结果。因此，开发高性能且高样本效率的代理取决于其在训练过程中保持可塑性的能力。此外，可塑性的丧失还与深度强化学习中的许多其他问题相关，如训练不稳定性、扩展失败、过度估计偏差和探索不足等。通过本综述，我们旨在为深度强化学习的学术研究者和实践者提供关于可塑性丧失的最新研究概览。首先，我们基于近期的研究提出了一个统一的可塑性丧失定义，将其与文献中的定义进行对比，并讨论了衡量可塑性丧失的指标。接着，我们分类并探讨了可塑性丧失的多种可能原因， ………………………………