小心，美国人又要在基础软件上弯道超车了......

文章预览

0 1 被"惹恼"的数据库巨佬 2021年，DataBricks的创始人和CTO，Spark的发明人马泰·扎哈里亚在斯坦福做了一次演讲。 在演讲中，他提到了DataBricks遇到的一个烦人的问题，D ataBricks经常需要在云上调度上百万个Spark任务 ，并且跟踪这些任务的状态（等待、运行、完成、失败）。 这些任务非常小，用进程/线程来管理并不合适，太重了，并且进程线程的调度是单机的，DataBricks需要跨越多个计算机调度。 Databricks团队选择Postgres作为任务调度和状态跟踪的数据库，尽管Postgres成熟稳定，但是管理超大规模的分布式任务，在短时间内记录一百万个任务的状态变化，压力太大了。 Matei Zaharia抱怨说： PostgreSQL太慢了！ 这可“惹恼”了听演讲的一位大佬迈克尔.斯通布雷克。 迈克尔.斯通布雷克可不是普通大佬，应该是巨佬，数据库领域只有4个人获得了图灵奖。 (1)查尔 ………………………………