天穹数仓自治能力在大模型时代的新实践

主要观点总结

本次分享主题为“天穹数仓自治能力新实践”，内容包括大数据自治的背景、天穹大数据自治能力建设和落地策略、未来规划和展望。分享嘉宾张功贯是腾讯数据技术架构师，具有多年数据仓库、数据平台及算法系统架构设计与工程实现经验。文章还介绍了SQL智能体的构建和优化过程，以及未来打造湖仓智能自治解决方案的规划。

关键观点总结

关键观点1: 大数据自治的背景

包括数据采集、数据接入、计算、存储等一系列问题，目的是管理数据的整个生命周期。

关键观点2: 数仓模式的演进

从传统数仓到大数据数仓，再到数智数仓时代，数仓技术不断发展，数据处理流程也从ETL变为ELT，再发展到EtLT。

关键观点3: 天穹大数据自治能力建设和落地策略

采用双引擎策略，结合SQL智能体和传统机器学习，推动平台自治。通过构建感知力、观测力、诊断力和优化力，实现对数据相关进程的细粒度感知和智能优化。

关键观点4: SQL智能体的构建和优化

结合大语言模型对于SQL的理解力，构建SQL智能体，实现SQL的正确性解析和转换、SQL长度优化和逻辑简化等功能。

关键观点5: 未来规划和展望

计划打造湖仓智能自治的解决方案，支撑大数据平台的智能化应用，推动大数据自治向更高层次发展。

文章预览

导读   随着大数据技术的不断发展，数据治理和自治能力的提升变得尤为重要。本次分享题目为“天穹数仓自治能力新实践”。 主要包括以下几大部分： 1.  大数据自治的背景 2.  天穹大数据自治能力建设和落地：双引擎策略 3.   未来规划和展望 分享嘉宾｜ 张功贯 腾讯 数据技术架构师   编辑整理｜明君 内容校对｜李瑶 出品社区｜ DataFun 01 大数据自治的背景 1.   大数据自治涵盖的范畴 大数据自治是一个广义的概念，涵盖从数据采集到数据接入、计算、存储、应用等一系列问题。它不仅包括数据治理，还涉及数据研发和业务发生问题的解决。大数据自治的目的是管理数据的整个生命周期，从数据产生到数据使用，再到数据销毁。 2.   业务、技术的快速发展 在过去的三十年中，数仓的发展历程经历了从传统数仓到大数据数仓，再到数字数仓 ………………………………