ICLR 2025 | IDEA、清北等提出ChartMoE：探究下游任务中多样化对齐MoE的表征和知识

文章预览

最近，全球 AI 和机器学习顶会 ICLR 2025 公布了论文录取结果：由 IDEA、清华大学、北京大学、香港科技大学（广州）联合团队提出的 ChartMoE 成功入选 Oral (口头报告) 论文。据了解，本届大会共收到 11672 篇论文，被选中做 Oral Presentation（口头报告）的比例约为 1.8%  值得一提的是，同类功能在 OpenAI 商业化方案中需支付高达 2 万美元 / 月的服务费用，而团队开源了所有代码、数据、和 Demo： 论文链接： https://arxiv.org/abs/2409.03277 代码链接： https://github.com/IDEA-FinAI/ChartMoE 模型链接： https://huggingface.co/IDEA-FinAI/chartmoe 数据链接： https://huggingface.co/datasets/Coobiw/ChartMoE-Data 研究动机与主要贡献：  不同于现阶段使用 MoE 架构的原始动机，ChartMoE 的目标不是扩展模型的容量，而是探究 MoE 这种 Sparse 结构在下游任务上的应用，通过对齐任务来增强模型对图表的理解 ………………………………