Kafka如何做到1秒处理1500万条消息？

文章预览

—  扫描二维码  — 加入架构集结群    对技术感兴趣的同学可进群（备注:Java） Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。 例如，在 New Relic 的生产环境中，Kafka 群集每秒能够处理超过 1500 万条消息，而且其数据聚合率接近 1Tbps。 可见，Kafka 大幅简化了对于数据流的处理，因此它也获得了众多应用开发人员和数据管理专家的青睐。 然而，在大型系统中 Kafka 的应用会比较复杂。如果您的 Consumers 无法跟上数据流的话，各种消息往往在未被查看之前就已经消失掉了。 同时，它在自动化数据保留方面的限制，高流量的发布+订 ………………………………