整理自然语言处理、推荐系统、搜索引擎等AI领域的入门笔记,论文学习笔记和面试资料(关于NLP那些你不知道的事、关于推荐系统那些你不知道的事、NLP百面百搭、推荐系统百面百搭、搜索引擎百面百搭)
今天看啥  ›  专栏  ›  关于NLP那些你不知道的事

BaiChuan2技术报告细节分享&个人想法

关于NLP那些你不知道的事  · 公众号  ·  · 2023-09-18 08:46
写在前面大家好,我是刘聪NLP。已经好久没有动手写东西了,主要是前一阵子一直在忙着新书《ChatGPT原理与实战》的宣传,再加上自己的一点拖延症,明明周一就要写好的BaiChuan2技术报告分析,一直拖到了今天。争取下半个月让自己卷起来,Fighting!目前比较多的开源模型基本上都是没有一个完整技术报告的,baichuan2这次给了技术报告,已经堪比llama2,是「真开源」。让我们先看一下Baichuan2相较于Baichuan1的区别和提升吧。主要改进在于:模型覆盖的语种变多:支持更多语言;训练数据量增加:数据增多导致模型能力更强;词表扩张:数据压缩更多,模型解码效率提高;开源中间步骤模型:更多checkpoint更方便学术研究;垂域支持:通用模型vs垂域大模型。下面主要从预训练、人类偏好对齐、模型安全性、模型评估四个方面进行细节分享&说说自己一些 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照