轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了

主要观点总结

本文主要介绍了两项关于计算机视觉领域的小模型研究。首先是新加坡科技设计大学的研究者推出的TinyLlama模型，该模型参数规模为11亿，适用于边缘设备，如智能手机和物联网设备。TinyLlama模型具有Llama 2架构和分词器，训练过程中使用了大量数据和优化技术，展现出出色的性能。其次是德克萨斯工农大学的Xiaotian Han发布的SLM-LiteLlama模型，该模型参数规模较小，但仍表现出强大的性能。这两项研究都展示了小模型在性能和计算效率方面的潜力。

关键观点总结

关键观点1: TinyLlama模型的介绍和特点

参数规模仅为11亿，适用于边缘设备；基于Llama 2架构和分词器；使用大量数据和优化技术训练；在下游任务中表现出色，显著优于同等大小的现有开源语言模型。

关键观点2: SLM-LiteLlama模型的介绍和特点

参数规模为460M，是对LLaMa 2的开源复刻版本；在RedPajama数据集上进行训练；在MMLU任务上表现出与其他模型相当或更好的成绩。

关键观点3: 两项研究的实验成果和性能表现

TinyLlama在各种下游任务中表现优秀，超越了一些大型模型；SLM-LiteLlama在参数大幅减少的情况下仍取得良好成绩。

文章预览

点击蓝字 关注我们 关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ 计算机视觉研究院 学习群 ｜ 扫码在主页获取加入方式 论文地址： https://arxiv.org/pdf/2401.02385.pdf 项目地址： https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md 计算机视觉研究院专栏 Column of Computer Vision Institute 小身板，大能量。 当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语言模型。因此，深入探究小型模型显得尤为重要。 接下来我们要介绍的这两项研究，可能满足你对小模型的需求。 TinyLlama-1.1B 来自新加坡科技设计大学（SUTD）的研究者近日 ………………………………