大模型日报（11月16-17日 学术篇）

主要观点总结

文章介绍了关于AI学习社群和前沿技术的多个话题，包括奇绩大模型日报知识库、新的损失计算方法Cut Cross Entropy、自适应解码技术、无机器人数据的视觉语言模型微调技术，以及关于大型语言模型在3D网格生成中的应用和用户友好的LLM工作流构建框架等。文章的关键点包括大模型技术的前沿动态、相关技术的具体实施方法和效果，以及推荐阅读的资源。

关键观点总结

关键观点1: 奇绩大模型日报知识库介绍

奇绩大模型日报知识库现已登陆飞书官方社区，提供最新的学术分析报告，欢迎订阅交流。

关键观点2: Cut Cross Entropy技术介绍

文章提出了一种新的计算交叉熵损失的方法——Cut Cross Entropy（CCE），能够显著减少内存消耗，提高训练效率。

关键观点3: 自适应解码技术介绍

引入自适应解码和潜在偏好优化（LPO）方法，能在推理时动态选择采样温度，优化性能。

关键观点4: 无机器人数据的视觉语言模型微调技术介绍

提出了从想象环境中进行关键点可供性学习（KALIE），调整预训练的视觉语言模型进行机器人控制，无需在机器人系统上收集训练数据。

关键观点5: LLMs在3D网格生成中的应用

介绍了LLaMA-Mesh方法，将大型语言模型的能力扩展到3D网格生成，通过文本和3D网格的统一表示，支持基于文本的3D网格生成和理解。

关键观点6: 用户友好的LLM工作流构建框架介绍

ComfyUI LLM Party框架允许用户快速方便地构建自己的LLM工作流，并轻松集成到现有图像工作流中。

关键观点7: 推荐阅读资源

文章提供了几篇推荐阅读的资源，包括关于LLMs的理论、Diffusion的相关内容，以及AI硬件的深度思考等。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即 可在飞书每日收到《大模型日报》每日最新推送 学术分析报告：ResearchFlow -- 奇绩F23校友的开发的深度研究产品，PC端进入RFlow的分析报告，可直接点击节点右侧的小数字展开节点，登录后可在节点上直接“询问AI”，进一步探索深度信息 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 信号 0 1 Cut Your Losses in Large-Vocabulary Language Models 我们提出了 Cut Cross-Entropy (CCE)，这是一种计算交叉熵损失的方法，无需将所有标记的逻辑实现到全局内存中。相反，CCE 只计算正确标记的逻辑， ………………………………