我如何增强 Loki 支持 PB 级日志查询

文章预览

作者 | 阿南 本文介绍了我在面对 Loki 查询大规模日志上的挑战，研发迭代 BBF 索引的思考过程及实践落地经验 背   景 Loki 是 Grafana 的开源日志产品，它基于 index-free 理念设计，这种设计只对日志的元信息（标签）进行轻量级索引，而对日志内容不做任何索引直接存储。这种方案有以下优点： 日志写入轻量 ：因为没有对日志内容构建任何索引，日志写入速度非常快，资源使用率非常低，通常可以达到单核 25MB/s 的速度； 存储数据量小 ：不需要存储巨大的索引，而其他有倒排索引的系统，索引与日志的大小比例通常能达到 1:1； 成本从写入侧转到查询侧：针对日志写多读少的特点，通过比较少的资源快速写入日志，然后部署庞大的查询集群，利用对象存储的大吞吐能力（可达几十 GB/s），进行暴力下载和搜索； 问   题 Loki 的数据是 ………………………………