当前炼制“大语言模型”的两个现象

文章预览

先说第一个现象。 自从LLaMA和ChatGLM开源后，再加上各种五花八门的“Self Instruct”数据在网上逐渐汇合，大模型两大要素都齐备了，基座模型有了，命令调教数据也越来越多了。于是，最近新冒出的大模型与日俱增。也许，我们可以重新定义新阶段的大模型“涌现能力”：当开源模型与instruct数据数量小于一定规模的时候，就几乎看不到新的大模型出现，而当开源模型及instruct数据数量达到一定规模，新的“大模型”数量就会以指数速度增长，进而达到“人手一个大模型”的阶段。现在大家发愁的不是没有”大模型“，而是发愁给大模型起个啥名字才好，起名字的时间成本可能要高于炼大模型的时间成本，貌似动物园里动物的名字快被用光了，需要换个赛道起名字了。 当然，我是举双手赞成大模型的各种形式的开源的，开源促进生态繁荣，毫无疑 ………………………………