专栏名称: 无人之路
无人之路,自己领航。
目录
相关文章推荐
今天看啥  ›  专栏  ›  无人之路

Ace数据开发周记:2024年11月第四周 - 减少上下文切换,降低认知负担

无人之路  · 公众号  ·  · 2024-12-14 19:33
    

文章预览

2024年11月第四周 20241125~20241201 (一)技术债:UDF Ace这次数仓重构,一个重点是用SQL替换掉UDF。原数仓非常依赖Java UDF(User Defined Function, 用户自定义函数,用Python、Java等语言来实现复杂的业务逻辑,以弥补SQL表达能力的不足)。这些UDF存在的问题包括: 存在日久,代码几易其手,耦合的逻辑非常复杂。比如在功能使用的session划分里,耦合了低速、Unused和Drive Session等多重逻辑。 Java UDF和MaxCompute的SQL编码和运行环境分离,使得测试、联调非常不方便,以致于UDF代码的修改很难经过充分的测试。 更重要的一点:这些UDF功能是可以通过SQL来实现的,因此失去了存在的必要性。可能是第一任开发者在SQL上缺乏经验,于是采用了我认为比较费力的方式。只是因为历史路径依赖,得以存续至今。 经过重构,Ace使用几十行SQL代码就实现了之前几百行Java代码实 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览