如何快速地设计并评估few shot示例的效果：OpenICL上下文示例学习框架推荐及实现源码

文章预览

今天是2023年11月18日，星期六，北京，天气晴。 在昨天的文章中，我们谈了谈 《IN-CONTEXT LEARNING WITH ITERATIVE DEMON- STRATION SELECTION》 这一工作，该工作提出了迭代示例选择（IDS）的方案，IDS利用Zero-shot-CoT，迭代选择多样化但仍与测试样本密切相关的示例作为ICL示例，并对比了不同构造方式的效果。 常用的 ICL示例构造 方式如下： 而最近在做评估方面的工作， 在看Opencompass源码的时候，看到了其中对于prompt的一些生成策略，主要来自于OpenICL框架，OpenICL是一个用于上下文学习(In-context learning)工具包，同时也是一个LLLM评估的开源工具包，其中具体实现方式以及源码读了一通，很有趣。 ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ ‍ 这对我们 ‍ ‍ 如何快速地设计并评估few shot示例的效果很有帮助。推荐大家看看，其中还牵引出了好几个构造方案， 本文对这些工作进行 ………………………………