干货 | 携程基于Kafka的数据校验代理在FinOps领域的应用

文章预览

作者简介 懿涵，携程HybridCloud团队云原生研发工程师，关注云原生、IaC领域。 为了有效管理云成本，基于携程混合多云和自建PaaS为主的现状，混合云团队研发了FinOps计费系统。本文将介绍计费系统基于Kafka构建的接入体系在数据质量与治理方面的挑战，并分享基于自研Kafka Gatekeeper构建度量及治理自助化自动化的实践。 一、现状与问题 1.1 现状 1.2 问题描述 1.3 解决方案 二、设计与核心实现 2.1 Kafka的相关背景知识 2.2 Kafka Gatekeeper的设计和实现 三、总结 一、现状与问题 1.1 现状 图1-1 如图1-1所示，携程目前使用了混合多云的模式，同时也以自建PaaS服务为主，因此计费系统除了需要从云商获取账单等信息，还需要接入几十种自建PaaS服务的用量信息。其主要结构如下: 1）TripCostAllocationProtocol: 为了计费接入的扩展性，计费系统设计了计费协议，兼容混合 ………………………………