昨晚 Mistral 也发布了自己的一个 12B 小模型 Mis-20240719153354

文章预览

2024-07-19 15:33 本条微博链接 昨晚 Mistral 也发布了自己的一个 12B 小模型 Mistral NeMo。 #ai# 模型有 128K 上下文长度，推理、世界知识和编码准确性都是最好的。 Mistral NeMo在训练过程中考虑了量化（quantisation），可以进行 FP8 无损推理。 模型经过多语言训练，在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语方面特别强大。 Mistral NeMo 使用了基于 Tiktoken 的新 Tokenizer Tekken它在超过 10 ………………………………