专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥  ›  专栏  ›  斌叔OKmath

关于 LLM 预培训的新短期课程!虽然提示或微调现有模型对于许多-20240718081242

斌叔OKmath  · 微博  ·  · 2024-07-18 08:12
    

文章预览

2024-07-18 08:12 本条微博链接 关于 LLM 预培训的新短期课程! 虽然提示或微调现有模型对于许多一般语言任务很有效,但预训练对于当前模型中代表性有限的专业领域或语言很有价值。 本课程将引导您完成 LLM 预训练流程: 1. 数据准备:学习使用 HuggingFace 获取、清理和准备训练数据。 2.模型架构:配置变压器网络,包括修改现有模型。 3. 训练:使用开源库设置并运行训练。 4. 评估:使用流行的评估策略对性能进行基准测 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览