今天看啥  ›  专栏  ›  爱可可-爱生活

提出金鱼损失,通过在训练时随机丢弃Token来降低语言模型的记忆-20240618051626

爱可可-爱生活  · 微博  · AI  · 2024-06-18 05:16
    

文章预览

2024-06-18 05:16 本条微博链接 提出金鱼损失,通过在训练时随机丢弃Token来降低语言模型的记忆风险,实验证明可以显著降低逐词重复而对性能影响很小。 [CL]《Be like a Goldfish, Don't Memorize! Mitigating Memorization in Generative LLMs》A Hans, Y Wen, N Jain, J Kirchenbauer... [University of Maryland] (2024) 网页链接 #机器学习# #人工智能# # ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览