AutoMQ 如何节省 Kafka 的 90% 的跨 AZ 流量费用

文章预览

Apache Kafka 作为日志采集、CDC、数据入湖的通道，Kafka 需要较多的机器资源来应对高吞吐流量和磁盘资源来应对数据存储，在大数据体系中 Kafka 占据着不可忽视的成本。 在部署运维 Kafka 时，SRE 通常关注的是 ECS 机器成本和 EBS 存储成本，这个成本可以在部署的那刻就可以被预估。但在实际运行一段时间后，可能会发现账单里面的跨 AZ 流量费用（AWS、GCP）占到整体成本的 80%～90%。与阿里云等国内主流公有云不同，在 Google Cloud 和 AWS 上，都需要对所有跨 AZ 的流量进行收费。当进行多AZ部署时，如果应用具有较大的流量，则会产生大量的跨AZ费用。Kafka 作为流量密集型应用进行多AZ部署时，这块流量费用往往占据成本中的大量比重。 01 Apache Kafka 惊人的流量费用 为了业务可以在单 AZ（可用区）故障时能继续提供服务，高可用团队会要求应用和 Kafka 集群 ………………………………