【斯坦福博士论文】时序平滑性假设下的深度神经网络自适应与正则化方法

文章预览

深度神经网络在过去十年中虽已在各类机器学习任务中展现出卓越性能，但其在资源受限且动态变化的现实环境中的部署仍面临挑战。大规模模型虽精度优异，但其计算需求往往难以满足边缘设备与实时应用的要求；轻量级模型虽效率占优，却在动态域偏移场景下普遍存在鲁棒性与泛化能力不足的问题。这一矛盾在移动医疗等隐私敏感、效率优先且可靠性要求严苛的应用中尤为突出。 本论文提出TempT（时序一致性测试时自适应）方法——一种无需标注数据的测试时自适应（TTA）新范式，通过利用时序连贯性作为自监督信号，对连续输入的模型预测施加平滑性约束。该方法通过抑制高频波动，不仅提升了预测稳定性，更显著增强了模型在未知环境中的性能与鲁棒性。该技术在以表情识别、视频目标检测为代表的视频学习任务中效果尤为显著，因其能 ………………………………