文章预览
LG - 机器学习 CV - 计算机视觉 CL - 计算与语言 1、[CL] Turning Up the Heat：Min-p Sampling for Creative and Coherent LLM Outputs 2、[CL] Cut Your Losses in Large-Vocabulary Language Models 3、[CL] DEPT：Decoupled Embeddings for Pre-training Language Models 4、[LG] TimeMixer++：A General Time Series Pattern Machine for Universal Predictive Analysis 摘要：面向创新连贯LLM输出的Min-p采样、大词汇量语言模型损失计算开销的削减、面向预训练语言模型的解耦嵌入、用于通用预测分析的通用时间序列模式机 1、[CL] Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs (2024) 面向创新连贯LLM输出的Min-p采样 要点: 问题: 现有的LLM采样方法，如top-p采样，难以平衡质量和多样性，尤其是在高温度值设置下，容易导致输出不连贯或重复。 提出的解决方案: min-p采样，一种动态截断方法，基于模型置信度（通过最高概率token的概率
………………………………
