敏捷的数据工程实践

文章预览

（星标我们，洞见更多！） 随着数据在越来越多的企业中被应用，数据技术的发展可谓突飞猛进。不仅基于 Hadoop 的大数据生态在持续完善，我们也能看到很多新兴的分布式技术如潮水般涌现。 虽然数据技术发展飞快，但是对于做数据开发的我们，整个数据项目开发过程还是很痛苦。我们接触过的客户常常这样抱怨： 搞不懂数据怎么算出来的，反正很复杂 数据库里面好几百个SQL，代码都很长 经常延迟出数据，流水线总是出问题 …  这是什么原因呢？我们发现这常常是由于团队的数据工程实践做得不够好。 想要规模化实施企业数据项目开发，除了数据技术之外，数据工程实践也得跟上。 这篇文章的内容是结合我们在多个客户的数据项目经验，给大家分享一些行之有效的数据工程实践。 数据工程与敏捷数据工程 首先，我们需要了解一下什么是数 ………………………………