大模型日报（8月22日 学术篇）

主要观点总结

本文主要介绍了关于AI学习社群和最新大模型技术方面的信息，包括FocusLLM、智能体提升语义代码搜索、Mistral-SPLADE等相关内容。文章还提到了LLM的压缩和蒸馏技术，以及关于表格数据处理和视觉数据的处理的相关进展。最后，文章提及了一些相关项目和资源推荐。

关键观点总结

关键观点1: AI学习社群

搭建一个AI学习社群，让大家学习最前沿知识，共建更好的社区生态。通过飞书官方社区提供《大模型日报》推送，欢迎交流和互动。

关键观点2: FocusLLM

介绍FocusLLM框架，旨在扩展仅解码器LLM的上下文长度，使模型能够处理长文本输入，并在下游任务中表现出优秀性能。

关键观点3: 智能体提升语义代码搜索

介绍使用RAG智能体的方法提升代码搜索的准确性，通过利用GitHub存储库的相关细节增强用户查询，并在RepoRift应用程序上部署。

关键观点4: Mistral-SPLADE

介绍用于更好学习的稀疏检索的LLMs，利用Mistral作为骨干开发学习稀疏检索器，并在文本检索基准测试上表现优秀。

关键观点5: LLM的压缩和蒸馏技术

介绍关于压缩大型语言模型（LLM）的技术报告，使用剪枝和蒸馏技术压缩模型并优化性能。

关键观点6: TableBench基准测试和Phi-3. 5-vision模型

介绍TableBench基准测试评估大型语言模型在表格数据处理能力方面的内容，以及Phi-3.5-vision模型在文本和视觉数据处理方面的应用。

关键观点7: LLM-TPU项目

介绍在算能BM1684X芯片上部署生成式AI模型的项目，通过TPU编译器将模型转换成bmodel并部署到不同环境。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 FocusLLM: 通过并行解码扩展LLM的上下文 加强LLM能够利用长上下文的有用信息对于许多下游应用至关重要。然而，传统Transformer架构要实现长上下文长度需要大量的训练和推断资源。本文提出了FocusLLM，一个旨在扩展任何仅解码器LLM的上下文长度的框架，使模型能够专注于来自非常长序列的相关信息。FocusLLM通过根据模型原始上下文长度将长文本输入分成块来处理，以减轻注 ………………………………