7倍性能提升｜阿里云AnalyticDB Spark向量化能力解析

文章预览

1. AnalyticDB Spark产品架构 AnalyticDB Spark （后简称ADB Spark） 是在 阿里云瑶池旗下 的 云原生数据仓库AnalyticDB MySQL 产品架构下提供的开源Spark引擎，用于满足客户复杂的离线处理场景和机器学习场景。 ▶︎ ADB Spark上层面向用户提供多种调度入口，包括控制台，DMS以及Spark常用的spark-submit脚本等。 ▶︎   中间的管控服务提供资源、元数据、多租户以及安全管理等能力。 ▶︎   下层提供 弹性Serverless形态的Spark ，Spark集群通过统一的元数据服务管理库表信息，并通过统一的管控底座申请弹性资源。 ▶︎   底层是ADB Spark支持的数据源，一类是OSS/MaxCompute等通过AnyTunnel/STS Token进行授权访问的数据源，另一类是用户VPC下如ADB/RDS/HBase等需要通过ENI弹性网卡技术打通不同VPC网络才能访问的数据源。 整体架构图如下： 本文主要介绍在当前架构下，ADB Spark如何通过 ………………………………