淘宝亿级图片素材调度与处理的工程实践

文章预览

因为业务需要，笔者有幸参与设计和开发了涉及数十亿量级的图片素材调度、处理和索引使用的平台-产业AI素材库，在平台的建设落地过程中，踩了许多坑，也有了一些工程落地上的实践总结，希望分享给大家。 导入实践总结 素材库建设之初，涉及的图片素材单次导入不过百万，不过随着算法侧针对图片素材训练的模型的“胃口”急速增长，单次图片素材导入的需求直接突破到了数十亿级。在实践中发现，最开始完全借助于dataworks平台节点调度能力的那套架构，面对如此海量的数据导入已经捉襟见肘：数据的导入和处理已无法在24小时内完成，甚至超过一周（超过24小时会触发dataworks session 超时的异常），成为了图片素材快速投入训练和使用的阻碍。于是，我们重新设计了一套导入链路，以解决这个问题。简化的导入框架设计如下：  ▐    1.  ………………………………