《大型语言模型 (LLM) 对比研究》美海军最新报告

文章预览

在过去几年中，大型语言模型（LLM）的能力迅速提高， OpenAI  的 GPT-4 就是最突出的例子。本案例研究探讨了 GPT-4 用于协助研究任务的两种方式：数据分析和撰写执行摘要。我们之所以选择这些任务，是因为它们在国防分析研究所（IDA）的项目中很常见，而且经常被作为适合大型语言模型的任务提出。首先，使用 GPT-4 完成了 数据清理 、探索、建模和可视化等任务。将其质量和速度与人类完成相同任务进行了比较。发现单独使用人工智能时，分析质量不够高，但有了人类伙伴后，分析质量大大提高。使用 GPT-4 节省了约 60% 的数据分析任务时间，并为该领域节省大量成本提供了机会。然后，使用 GPT-4 为三份公开的 IDA 出版物生成了执行摘要（EXSUM），并将其与人工生成的执行摘要进行了比较。发现大型语言模型生成的内容提要往往无法为技术性较强 ………………………………