2024-08-27 05:50
本条微博链接
通过在线PCA调整梯度下降子空间,绕过昂贵的SVD,使内存高效语言模型训练更灵活高效,并提供收敛性保证。
[LG]《Memory-Efficient LLM Training with Online Subspace Descent》K Liang, B Liu, L Chen, Q Liu [The University of Texas at Austin] (2024) 网页链接 #机器学习# #人工智能# #论文#
………………………………