NVIDIA谈大模型训练数据构造指南：兼看大模型MOE框架发展系统总结

文章预览

今天是2024年7月11日，星期四，北京，天气晴。 最近GraphRAG依旧受到大家广泛关注，而其中其实涉到知识图谱的构建、怎么检索知识图谱，检索后怎么送入大模型进行生成等多个阶段的问题。 https://aiencoder.substack.com/p/graphrag-analysis-part-1-how-indexing 中也做了一些详细的分析。 此外，社区的朋友其实也有一些结论，例如： 有潜力，但是个demo，落地起来挑战很大，比如里面提到的4个问题。无论是图谱构造的准确性、复杂的运算量、还是你在做知识库更新，都会遇到很大的操作性问题 。 ‍ ‍ 此外，也有一些看的比较本质的讨论，很有趣。 ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 因此，这些问题，看来，大家都并不很清楚，实际上是值得拿出来做个系统梳理和捋一捋的，因此，我们不如在社区系统地讲一次？从构建到检索到生成？感兴趣的可参加。 ‍ ‍ ‍ 我们现在来 ………………………………