ACL 2024 | 开创行业新标准！阿里云与苏大联合发布首个权威金融NLP基准

文章预览

©PaperWeekly 原创 · 作者 |  朱杰 单位 |  阿里云 研究方向 |  NLP、LLM应用 背景 随着大型语言模型（LLMs）在自然语言处理（NLP）领域的突破性进展，对于评估这些模型的新基准测试的需求变得迫切。特别是在中文金融领域，现有数据集在规模和多样性上的限制，使得对 LLMs 进行全面评估面临挑战。 为了解决这一问题，本文提出了 CFLUE（Chinese Financial Language Understanding Evaluation），一个针对中文金融语言理解评估的基准测试，也是目前中文金融领域数量最多、最全面、并且被国际顶会认可的 Benchmark。 论文标题： Benchmarking Large Language Models on CFLUE: A Chinese Financial Language Understanding Evaluation Dataset 收录会议： ACL 2024 论文链接： https://arxiv.org/abs/2405.10542 代码链接： https://github.com/aliyun/cflue 相关工作 在英文金融领域，已经存在多个评估数据集，如 FINQA、TAT-QA ………………………………