大模型评估公司 Vals AI 将与法律科技公司、律所联合开展 AI 基准研究

文章预览

10 月 17 日，大模型 评估公司 Vals AI 宣布将联合法律科技公司、律所等各方开展 AI 基准研究，关注各种法律 AI 工具的准确性。 当下，生成式 AI 缺乏足够的透明度，市场也缺乏对这些工具的基准研究。 在过去一年里，很多法律科技公司发布了关于其 AI 产品的基准报告，各种结果显示 AI 的表现普遍高于人类，但对于某些法律任务，特别是法律研究，错误率仍然很高。 这些报告引发了人们对 AI 在专业服务中可以发挥效用的质疑，使律师、律师事务所和其他法律服务提供商感到困惑和不确定。 今年 5 月，斯坦福大学发布了一份名为《“无幻觉？评估领先的 AI 法律研究工具的可靠性》的论文 —— 虽然该研究因采用的方法论而受到法律行业的广泛拒绝，但它强调了法律 AI 工具缺乏透明度的现实问题。 这篇论文重点分析了两家头部法律研究公司 Thomson R ………………………………