直播火热预约中！9.24腾讯大数据×星火计划开启向量化实践新篇章！

文章预览

过去十年，随着高性能NVME SSD盘和高性能网卡在大数据平台上大量普及，大数据计算引擎所存在的瓶颈也从IO Bound逐步转向CPU Bound。业界包括Snowflake，Databricks/Photon以及Arrow社区的DataFusion都在探索如何通过Native语言开发的Vectorized Query Execution Engine来优化大数据计算的性能。 腾讯天穹DB在向量化引擎方面进行了做了大量的性能和稳定性优化工作，例如研发orc writer，thive udf/udaf等完善天穹DB向量化引擎进而推进对天穹现有业务的支持，并且同时完善spark built-in函数支持算子的spill功能，研发复杂嵌套表field下推和parquet lazy loading等技术来持续提升天穹DB的计算性能。在腾讯广告的多个业务，wxg实验平台的业务取得最多5倍的性能加速比。此外，天穹DB向量化引擎团队也积极参与社区研发，把内部版本包括Query Trace Tool等在内约160+个patch回馈Velox社区，促进共同发 ………………………………