主要观点总结
优步详细介绍了他们在Apache Kafka 3.6.0中引入的分层存储功能的工作。该功能旨在解决运行大型Kafka集群的组织在可伸缩性和效率方面的挑战。分层存储允许Kafka将其存储功能从本地代理磁盘扩展到远程存储系统，如HDFS、Amazon S3等，使Kafka集群能够独立于计算资源而扩展存储，降低成本和运维复杂性。该功能的优势包括弹性和成本效益等。然而，一些专家认为它可能引入新的复杂性和潜在故障模式，并指出需要注意的局限性。引入分层存储可能会使大规模数据流的管理更加高效且更具经济效益，但在部署到生产环境之前，建议在其特定的环境中进行彻底的测试并监控其性能。
关键观点总结
关键观点1: Apache Kafka 3.6.0中的分层存储功能介绍
优步在Apache Kafka中添加了分层存储功能，旨在解决可伸缩性和效率问题。
关键观点2: 分层存储的工作原理
分层存储将日志段从本地复制到远程存储系统中，通过两个存储层制定单独的保留策略。
关键观点3: 分层存储的优势
包括弹性、隔离性和成本效益等。远程对象存储系统通常比快速的本地磁盘便宜，使Kafka的存储更便宜并且几乎不受限制。
关键观点4: AWS对分层存储的发展
AWS通过Amazon MSK的分层存储功能进一步发展了这一概念，提高了Kafka集群的可用性和弹性。
关键观点5: 行业专家的观点
一些专家认为分层存储可能引入新的复杂性和潜在的故障模式，并关注从远程存储中获取数据的性能影响。
关键观点6: 分层存储的局限性和注意事项
分层存储功能仍需要支持多个日志目录或压缩主题。使用分层存储时需要监控，并引入新的指标来跟踪远程存储操作。
文章预览
作者 | Matt Saunders
译者 | 刘雅梦
策划 | 丁晓昀 交通出行公司优步（Uber）详细介绍了他们在主流的分布式事件流平台Apache Kafka 中添加新的分层存储功能的工作。该功能是在 Apache Kafka 3.6.0 中添加的，目前还处于早期访问阶段，旨在帮助运行大型 Kafka 集群的组织来解决可伸缩性和效率方面的挑战。 分层存储允许 Kafka 将其存储功能从本地的代理（Broker）磁盘扩展到远程存储系统上，如 HDFS、Amazon S3、Google Cloud Storage 和 Azure Blob Storage。这一增强使 Kafka 集群能够独立于计算资源而扩展存储，从而潜在地降低了成本和运维的复杂性。 根据 优步的博客文章，该项目的动机是为了克服 Kafka 集群通用扩缩方式的局限性。 “Kafka 集群存储通常通过添加更多的代理节点来进行扩缩。但这也会给集群增加不必要的内存和 CPU，与将旧的数据存储在外部存储中相
………………………………
