2024 年你应该选择哪个开源大模型？

文章预览

↓ 推荐关注↓ 自 2017 年《Attention Is All You Need》公布 Transformer 架构以来，自然语言处理取得了巨大的进展。 随着2022年11月 ChatGPT 的发布，大型语言模型（LLM）引起了广泛关注。 本文将分享 2024 年大模型的现状，并帮助你决定选择哪种开源模型用于自己的用例。 Transformer 模型 最初的 Transformer 架构分为两个相互关联的部分：左侧的编码器和右侧的解码器。 编码器的任务是将输入词编码成深度向量表示。解码器的任务是生成新的词。 首先，需要将输入句子进行分词，也就是说，将单词（字符串）映射为标记（数字）。例如，单词“the”可以映射为标记342。 然后，这些标记会被转换为高维嵌入向量。在这个高维向量空间中，类似的词嵌入彼此接近。因此，我们的标记数字342被编码为一个512维的向量。 位置编码被添加到嵌入向量中，以保持句子中单词 ………………………………