SimbaSchema在数据云平台中的可观测性实践与应用

文章预览

建立可观测性体系是很多数据部门的理想。从Logs、Metrics、Traces和Meta抓取系统状态，到建立数据模型和指标体系，全流程均通过数据来支持运维。建立可观测性体系具备其行业标准，即所有数据平台类基础设施理论上都应提供Infomation Schema可观测性标准接口。 数据云平台SimbaSchema SimbaSchema是SimbaOS数据模型服务 ，是DataSimba的Infomation Schema可观测性事实标准。通过访问数据模型，可以查询到全平台的系统数据信息及使用历史信息，支持平台管理、数据运维和数据开发角色进行大数据诊断、智能运维、数据治理、安全合规和计量计费等场景分析和应用。 可观测性实践 数据云平台SimbaSchema可从 研发、存储、计算、质量 和 安全 层面进行 全面的可观测实践 。 其中 计算 作为数据平台的重中之重，以Task对象为例，Task对象作为数据管道的实现，除了理解数据 ………………………………