LG开源韩语大模型Exaone 3.0，8万亿token训练数据

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ LG的AI研究机构开源了首个开放权重的大模型——EXAONE 3.0。 EXAONE 3.0是一个指令微调模型有78亿参数，经过了8万亿token高质量数据进行了综合训练。支持韩语和英文两种语言，尤其是对韩语的支持非常出色。 在KMMLU、KoBEST - BoolQ、KoBEST – COPA等基准测试中，高于Llama 3.1-8B、Gemma 2-9B等知名开源模型。 开源地址：https://huggingface.co/LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct 论文地址：https://arxiv.org/abs/2408.03541 EXAONE 3.0使用了目前主流的解码器仅变换器架构，与传统变换器相比，摒弃了编码器部分，专注于通过解码器生成输出序列，减少了模型的复杂性，同时提高了处理长距离依赖关系的能力。 在上下文长度方面，EXAONE ………………………………