IBM推出创新框架用“黑盒”方式，评估大模型的输出

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 相比性能、评测排名，大模型输出的内容准确性、安全性和可解释性更加重要，无法做到这些商业化落地也就无从谈起。 IBM的研究人员开发一种框架通过黑盒的方式，无需访问大模型的内部结构、参数或训练数据，就能评估大模型的输出、置信度等。 论文地址：https://arxiv.org/abs/2406.04370 为了能激发出大模型在输出上的变异性，研究人员提出了六种不同的提示扰动策略： 1）随机解码，它通过使用不同的解码技术，例如，贪婪搜索、束搜索和核心采样等，来生成多个输出，从而反映出模型对其响应的不确定性。 2）释义，通过将提示的上下文进行释义，比如使用反向翻译技术，将文本从一种语言翻 ………………………………