ByteHouse高性能向量检索实践——“以图搜图”

文章预览

随着 LLM 技术的发展，向量检索与向量数据库也受到业界持续关注，它们能够为LLM提供外置记忆单元，通过提供与问题及历史答案相关联的内容，协助LLM返回更准确的答案。不仅LLM，向量检索在OLAP引擎中也早已得到应用，旨在提升非结构化数据的分析和检索能力。 作为火山引擎旗下的OLAP引擎，ByteHouse推出了高性能向量检索能力。本篇聚焦ByteHouse对高性能向量检索能力的建设思路，并以“以图搜图”为例，详解OLAP的向量检索能力如何在具体场景中落地。 ByteHouse向量检索能力 向量检索，目标是查找与给定向量最相似的k个结果，目前广泛应用于以图搜图、推荐系统等场景。在实际使用场景中，向量检索针对的数据集大小通常会在 million 甚至 billion 级别，而查询延迟通常会要求在数毫秒到百毫秒内返回，通常会使用具有特殊结构的向量检索索引方式。 ………………………………