技术解读：Twitter实时大数据Streaming进化，从Storm到Heron

今天我们来解读文章《Twitter Heron: Streaming at Scale》，聊一聊从Storm到Heron，Twitter在大规模实时流处理的逐渐进化。这篇文章的作者是符茂松，他是Twitter的资深工程师、Heron的作者之一。Twitter的需求首先我们来看Twitter的需求。1.实时地发现趋势。比如最近疫苗出问题了，它应该能够自动发现”疫苗“，然后自动推送给大家。2.实时讨论。比如今天上午正在开苹果的发布会，我们就能一起实时地讨论这一事件。3.更重要的是实时推荐，因为广告的点击率决定了现在整个公司的收入。4.实时搜索，比如地震发生后，很多人都会在Twitter上搜索“Earthquake”来得到最新的消息。所有以上这些，都有一个共同的词：实时。因此，在Twitter里，Storm就是用来提供数据到来时的毫秒级别的处理能力，它有很多重要的属性：1.保证消息被处理：如果有时消息没有被处理，会 ………………………………