赛尔原创@Findings | CodeBERT: 面向编程语言和自然语言的预训练模型

论文名称：CodeBERT: A Pre-Trained Model for Programming and Natural Languages论文作者：冯掌印，郭达雅，唐都钰，段楠，冯骁骋，公明，寿林钧，秦兵，刘挺，姜大昕，周明原创作者：冯掌印论文链接：https://arxiv.org/pdf/2002.08155.pdf转载须标注出处：哈工大SCIR摘要我们提出了面向编程语言和自然语言的预训练模型CodeBERT。CodeBERT通过预训练的方式学习一个通用表示来支持下游和编程语言相关的应用，比如自然语言代码检索，代码文档生成等。CodeBERT使用Transformer作为基本的网络结构，采用了混合目标函数：掩码语言模型（MLM）和替换词检测（RTD）。实验结果表明，CodeBERT在下游的自然语言代码检索和代码文档生成任务上都取得了SOTA效果。为了进一步研究CodeBERT学到了哪些类型的知识， ………………………………