美团大规模KV存储挑战与架构实践

主要观点总结

美团的KV存储服务承载了每天万亿级的请求量，并保持高可用性。本文分享了美团大规模KV存储的挑战与架构实践，内容涵盖美团KV存储的发展历程、内存KV Squirrel的挑战和架构实践、持久化KV Cellar的挑战和架构实践，以及未来的发展规划。美团对KV存储进行了自研，解决了如水平扩展、垂直扩展、可用性、数据同步等挑战，并提供了Squirrel和Cellar两种解决方案。未来计划涵盖服务、系统、硬件三个层次，探索云原生、Kernel Bypass技术、计算型硬件和RDMA网络的应用。

关键观点总结

关键观点1: 美团KV存储的发展历程

美团从最初的一致性哈希+Memcached实例，演进到Redis主从结构，再到引入Tair开源KV存储，最后进行自研，形成了Squirrel和Cellar两种解决方案。

关键观点2: 大规模KV存储的挑战

挑战包括水平扩展、垂直扩展和可用性。水平扩展时，面临Gossip通信量膨胀和资源浪费问题；垂直扩展时，面临数据容量和处理量扩展问题。

关键观点3: 内存KV Squirrel的挑战和架构实践

Squirrel解决了水平扩展、垂直扩展、可用性、数据同步等挑战，通过Gossip优化、forkless RDB、工作多线程等技术，实现了高吞吐、低延迟的KV存储。

关键观点4: 持久化KV Cellar的挑战和架构实践

Cellar解决了数据容量、处理量扩展和可用性挑战，通过Bulkload数据导入、线程调度模型优化、内存引擎无锁化等技术，实现了持久化、大容量、数据高可靠的KV存储。

关键观点5: 未来的发展规划

未来计划包括服务层、系统层和硬件层的探索，如云原生、Kernel Bypass技术、计算型硬件和RDMA网络的应用，以及向量引擎的支持，以提升运维自动化水平和服务性能。

文章预览

总第584 篇 |  2024年第004篇 KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。 文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容能对大家有所帮助或启发。 1 美团 KV 存储发展历程 2 大规模 KV 存储的挑战 3 内存 KV Squirrel 挑战和架构实践 3.1 Squirrel水平扩展的挑战 3.2 Gossip优化 3.3 Squirrel 垂直扩展的挑战 3.4 forkless RDB 3.5 工作多线程 3.6 Squirrel可用性的挑战 3.7 两机房容灾 3.8 跨地域容灾 3.9 双向同步冲突自动解决 4 ………………………………