主要观点总结
文章介绍了机器之心AIxiv专栏及其报道内容，重点介绍了大型语言模型（LLMs）的挑战和小型语言模型（SLMs）的优势。文章详细阐述了SLMs的定义、增强方法、应用、与LLMs的协作以及可信赖性方面的问题。同时，文章还探讨了未来研究方向和SLMs的应用前景。
关键观点总结
关键观点1: 机器之心AIxiv专栏介绍及内容概述
机器之心AIxiv专栏是发布学术、技术内容的栏目，过去数年报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。
关键观点2: 大型语言模型（LLMs）的挑战
由于庞大的参数和高计算需求，LLMs面临时间和计算成本挑战。在部署和应用中，存在高GPU内存占用、计算成本高、部署限制等问题。
关键观点3: 小型语言模型（SLMs）的优势
SLMs具有低延迟、成本效益和易于定制等优势，适合资源有限环境和领域知识获取。与LLMs相比，SLMs在效率、成本和灵活性方面具有优势。
关键观点4: SLMs的定义
文章给出了小语言模型的定义来填补目前定义上的空白，提出了一个广义的定义，认为SLMs的参数范围应介于能展现专门任务涌现能力的最小规模和在资源限制条件下可管理的最大规模之间。
关键观点5: SLMs的增强方法、应用与LLMs的协作
文章详细介绍了SLMs的增强方法，包括参数共享的模型架构、从人类反馈中优化偏好、知识蒸馏的数据质量等。SLMs的应用涉及多个领域，如问答、代码执行、推荐系统等。SLMs作为代理辅助LLMs快速获取先验知识，增强LLMs的功能。
关键观点6: SLMs的可信赖性
文章关注了SLMs的可信赖性问题，包括鲁棒性、隐私性、可靠性、安全性和公平性等方面。讨论了小型语言模型在可信度方面的挑战和未来研究方向。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 本篇综述的作者团队包括宾州州立大学的博士研究生王发利，张智维，吴纵宇，张先仁，指导教师王苏杭副教授，以及来自伦斯勒理工学院的马耀副教授，亚马逊汤先锋、何奇，德克萨斯大学休斯顿健康科学中心黄明副教授团队。 摘要： 大型语言模型（LLMs）在多种任务中表现出色，但由于庞大的参数和高计算需求，面临时间和计算成本挑战。因此，小型语言模型（SLMs）因低延迟、成本效益及易于定制等优势优点，适合资源有限环境和领域知识获取，正变得越来越受欢
………………………………
