专栏名称: DataFunSummit
DataFun社区旗下账号,专注于分享大数据、人工智能领域行业峰会信息和嘉宾演讲内容,定期提供资料合集下载。
今天看啥  ›  专栏  ›  DataFunSummit

云原生环境下的I/O策略:从Uber Presto看性能与成本的平衡

DataFunSummit  · 公众号  ·  · 2024-08-04 18:00

文章预览

本文探讨了将数据密集型分析应用从本地迁移到云原生环境这一普遍的行业趋势。我们发现,与云存储相关的独特成本模型要求我们对性能优化有更细致的了解。 扫码下载白皮书 【内容概要】 本文探讨了将数据密集型分析应用迁移到云原生环境的趋势,深入分析了云存储成本模型对性能优化的影响。通过对Uber Presto生产环境的数据进行观察和分析,文章揭示了传统I/O优化没有考虑存储API调用的财务成本,可能在云环境中导致高成本问题。 通过实证研究,我们发现 Presto 在Uber生产环境中的数据访问模式具有显著的碎片化特征,例如超过50%的数据访问小于10 KB,超过90%的数据访问小于1 MB。这些碎片化的数据访问模式在云端环境中与传统数据平台环境有着完全不同的意义和影响。 文章以案例研究的形式,提供了I/O优化的逻辑和策略,旨在帮助读者设计 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览