今天看啥  ›  专栏  ›  共识粉碎机

EP19 长文本vsRAG(月之暗面对谈 Zilliz)

共识粉碎机  · 公众号  · AI 科技媒体  · 2024-08-06 19:33

主要观点总结

讨论了共识粉碎机在AI领域的影响,涉及长文本与RAG的对比、部署落地与权限安全差别、不同业务场景的选择、搜索场景的选择、数值计算与Text2SQL的选择、技术爬坡方向以及GraphRAG的启发。强调了AI在搜索、客服、Sales Agent、AI Coding、搜索、数值计算、Text2SQL以及技术爬坡上的应用与未来趋势。同时,陈将老师提倡加入Zilliz的AI初创计划,并给出了过往讨论会纪要的参考。讨论了AI如何改造传统工业、推荐系统、教育、客服、Coding软件、呼叫中心、RTC以及大模型未来三年的假设。

关键观点总结

关键观点1: 长文本与RAG的对比

长文本更综合地分析内容,提取数字生成图表,RAG更适合找相关段落,但难以全局理解。长文本在准确性上表现好的原因与长度与准确性选择,及长文本和RAG的上下文长度边界。

关键观点2: 部署落地与权限安全差别

RAG部署有许多系统化优化点,长文本部署相对简单。RAG可以做到高精度权限划分,长文本在权限上更取决于数据架构设计。

关键观点3: 不同业务场景的选择

客服与Sales Agent选择取决于知识库复杂度,AI Coding需结合长文本与RAG,搜索场景选择大概率出于成本考量,数值计算适合使用逻辑模型或规则工具。

关键观点4: 技术爬坡方向

长文本需解决推理质量、贵且慢的问题,RAG技术链路变长,复杂度提高,出现新的技术栈。GraphRAG填补了知识图谱的空白,结合了知识图谱与向量检索。


文章预览

关注共识粉碎机,获取历史讨论会纪要 本期讨 论会参 与者: 陈将老师: Zilliz 生态和 AI 平台负责人 唐飞虎老师: 月之暗面研发工程师,开发者关系负责人 主持人: 周默: 共识粉碎机,前美元对冲基金投资人,曾在腾讯与微软从事战略与投资业务 1   长文本与RAG通用对比 准确率:通常情况下长文本优于RAG 长文本:可更加综合的去分析所有相关的内容,提取相关数字,生成图表,效果尚可。 RAG:更适合找到一段或者是几段可能相关的段落。如果希望大模型能够对问题有全局的认识,比较困难。如,根据上市公司的2020年财务报表,绘制图表,直接用RAG可能效果就不是很好。 长文本在准确性上表现好的原因,以及长度与准确性选择 长文本处理之后,会做对齐和专门的Benchmark测试调整。 比如说之前的大海捞针以及腾讯的数星星的Benchmark,这些是更 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览