文章预览
大家好，这里是 NewBeeNLP。今天分享 OPPO 多模态预训练模型在端云场景的落地实践。 具体内容分成三个主题： 1. 端侧图文检索技术研究 2. 文图生成 & 理解态模型的应用优化 3. 文图生成模型的端侧轻量化 分享嘉宾｜ 陈宸 博士 OPPO 高级算法工程师 出品社区｜ DataFun 01 端侧图文检索技术研究 1. 解决了什么问题？ 首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索。从 CLIP 模型出现后开始做自然语言搜索。目前正在解决端侧性能、搜索效果、安全等问题。技术难度并不大，重点在于提高搜索速度。并且要保持与云侧模型相同的精度，供断网时使用。 2. 算法优化 算法优化集中在压缩算法。用 CLIP 模型做图文匹配，算法简单，训练支持大规模并行，但对细粒度理解有问题。采用 ALBEF 单流场景，最后需要把图片和 Query
………………………………
