✨一个不错的工具，transformer-heads - 用于将-20240819090434

文章预览

2024-08-19 09:04 本条微博链接 ✨一个不错的工具，transformer-heads - 用于将头部连接到开源 LLM 以进行线性探测、多任务微调、LLM 回归等。详细信息见评论。 📌您可以为您的 LLM 添加新的负责人，以便对其进行微调以完成完全不同的任务。 📌线性探测是可解释人工智能中的一种常见技术。它们的目标是找出神经网络（Transformer）中特定知识存在/处理的位置。 📌用例主要针对研究人员和更深入地研究 LLM 的人。Transformer 块处 ………………………………