大数据环境下该如何优雅地设计数据分层

文章预览

0x00 前言 最近出现了好几次同样的对话场景： 问：你是做什么的? 答：最近在搞数据仓库。 问：哦，你是传统行业的吧，我是搞大数据的。 答：…… 发个牢骚，搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公司，都需要对数据仓库有一定的重视，而不是谈一句自己是搞大数据的就很厉害了。数据仓库更多代表的是一种对数据的管理和使用的方式，它是一整套包括了etl、调度、建模在内的完整的理论体系。现在所谓的大数据更多的是一种数据量级的增大和工具的上的更新。 两者并无冲突，相反，而是一种更好的结合。 话说，单纯用用Hadoop、Spark、Flume处理处理数据，其实只是学会几种新的工具，这是搞工具的，只是在数据仓库中etl中 ………………………………