今天看啥  ›  专栏  ›  InfoQ

Pinterest大幅提升时序数据库Goku存储效率和资源使用

InfoQ  · 公众号  · 科技媒体  · 2024-11-11 17:09

主要观点总结

Pinterest对其Goku时序数据库进行了现代化改造和增强,最新的更新着重优化存储效率和资源使用,同时确保不牺牲服务质量。文章详细介绍了Goku的新特性,包括指标命名空间和顶级写入密集型指标,这些创新特性显著减少了数据存储需求。同时,一系列架构优化降低了基础设施成本,并解决了内存使用问题。时序压缩算法的应用也提高了存储和处理大量带时间戳的数据的效率。这些改进使得Pinterest将时间序列存储量减少了40%,并将成本下降了70%。

关键观点总结

关键观点1: Goku数据库的新特性

指标命名空间和顶级写入密集型指标,显著减少了数据存储需求。

关键观点2: 架构优化

一系列架构优化降低了基础设施成本,解决了内存使用问题。

关键观点3: 时序压缩算法的应用

提高了存储和处理大量带时间戳的数据的效率,如TimescaleDB和Meta的Gorilla时序数据库也采用了类似技术。

关键观点4: 改进的效果

这些改进使得Pinterest将时间序列存储量减少了40%,并将成本下降了70%,适应了有机存储增长。


文章预览

作者 | Mohit Palriwal 译者 | 明知山 策划 | Tina Pinterest 对其 Goku 时序数据库进行了现代化改造和增强。最新的更新着重优化存储效率和资源使用,同时确保不牺牲服务质量。 Pinterest 开发的 Goku 是一个内部数据库引擎,旨在解决 OpenTSDB 中的特定限制。你可以通过这篇文章详细了解 Pinterest 开发 Goku 的动机。 在最近的一篇博文中,Goku 团队向客户端可观测性团队介绍了两项新特性:指标命名空间和顶级写入密集型指标,帮助他们减少存储在 Goku 中的数据量。这些创新特性显著减少了数据存储需求。指标命名空间可用于组织指标配置,实现了高效的数据管理。同时,识别并优化顶级指标的系统帮助可观测性团队阻止了不必要的数据写入,将存储的时间序列数据量减少了 37%。 图 1:ns1、ns2 和 ns3 三个命名空间的示例配置。 命名空间配置(图 1)保存在 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览