文章预览
近日,自然语言处理领域权威国际会议NAACL2024(2024年北美计算语言学大会)在墨西哥城成功举行,由王选所万小军团队独立完成的研究论文《Defining and Detecting Vulnerability in Human Evaluation Guidelines: A Preliminary Study Towards Reliable NLG Evalution》荣获会议杰出论文奖(Outstanding Paper Award)。 《Defining and Detecting Vulnerability in Human Evaluation Guidelines: A Preliminary Study Towards Reliable NLG Evaluation》 论文链接: https://aclanthology.org/2024.naacl-long.441.pdf 本篇论文主要针对当前自然语言生成(NLG)人工评价面临的评价指南不规范影响评价结果可靠性和可重复性的问题,首次对评价指南存在的缺陷进行了分类、定义和标注,并进一步探索了利用大模型进行缺陷检测的可能性,最后对评价指南的撰写提出了切实可行的建议。 该项工作由万小军老师指导两名北大硕士生阮洁和王文清完
………………………………