RAG开源微调大模型项目及其实现思路：兼看0905大模型进展回顾

文章预览

今天是2024年9月6日，星期五，北京，天气晴，9月的第一周过去。 我们来看看两个问题，一个是对昨日的相关进展进行回顾。 另一个是对几个面向RAG任务的开源微调大模型进行介绍，尝试从数据侧给做一些总结。 这两个工作都很有趣，仔细读读，都会有收获。 一、昨日大模型相关进展早报 我们来看看回顾昨日大模型进展早报，社区常规活动之一，如下： 其中，主要涵盖在关于RAG进展。三阶段问答思路R2GQA、大模型的偏好学习综述、开源进展MiniCPM 3.0、时关时序知识图谱进展-时序知识图谱表示与推理的研究进展与趋势、关于边缘侧大模型部署总结、关于开源课程，Self Attention by Hand ，手动实现自注意力机制的教程、知识图谱进展Graphiti：构建和查询动态、时间感知的知识图谱以及大模型微调数据合成思路CRAFT及4StepFocus三元组前过滤优化大模型问答方 ………………………………