文章预览
文章探讨了大语言模型（ LLMs ）在嵌入标记时的非欧几里得特性，并提出了一种新的超曲率低秩适应方法（hyperbolic low-rank
efficient fine-tuning， HypLoRA ），旨在在超曲率空间中进行模型微调，以更有效地利用标记的层次结构。研究发现， LLMs 的标记频率遵循幂律分布，并且嵌入空间呈现出树状结构特性。 HypLoRA 通过直接在超曲率流形上进行低秩适应，克服了传统方法在欧几里得空间中应用时的局限性，从而显著提高了模型在复杂推理任务（如 AQuA 数据集）上的性能，最高可提升 13% 。该研究为 LLMs 的几何建模提供了新思路。 1 HypLoRA方法 传统的大语言模型（LLMs）通常依赖于欧几里得几何进行文本表示，这可能不适合处理复杂的层次数据结构。超曲率几何被认为是更合适的选择，因为它能有效表示树状层次结构。 超曲率低秩适应方法（ HypLoRA ）旨在直
………………………………
