文章预览
Web2Code：一款用于网页转代码的全套数据集（含训练数据和评估框架），得分显著提升 发布时间：2024 年 06 月 28 日 代码编写 Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs 摘要：多模态大型语言模型（MLLMs）在跨图像、视频和音频等多种任务中表现卓越。然而，它们在理解网页截图和生成 HTML 代码方面却表现不佳。为此，我们提出 Web2Code，包含一个大规模网页到代码数据集和评估框架，旨在提升 MLLMs 在这两方面的能力。我们利用预训练 LLMs 增强现有数据集并生成多样网页图像，输入为网页图像和指令，输出为 HTML 代码，并加入网页内容的自然语言 QA 对以深化理解。我们还开发了评估框架来测试 MLLMs 在这两方面的能力。实验证明，我们的数据集不仅提升了我们提出的任务性能，也在一般视觉领域表现更佳。我们期待这项工
………………………………
