2017年，大数据工程师应该如何充实自己的专业工具箱

文章预览

随着互联网应用的普及、智能硬件的发展，数据产生的速度呈现了持续爆炸式的增长，数据产生的价值也已不仅取决于空间维度，同时开始在时间维度进行延展，因此提高计算的时效性，更快的从数据中挖掘出信息和知识就意味着能够获取更大的价值。这在阿里双十一大促这样的场景中表现的尤为明显，用户行为和商品变化信息带来的价值都是短暂有效的，因此大数据后台系统需要在线收集用户行为和商品变化等信息，实时调整搜索和推荐策略，为用户和商家提供更精准的服务。 在实时计算领域，Apache Storm、Samza、Spark Streaming、Kafka Stream、Flink 等开源流式计算引擎层出不穷，呈现百家争鸣之势，Google 也顺势推出了开源的 Beam 计算 ………………………………