专栏名称: 专知
专知,为人工智能从业者服务,提供专业可信的人工智能知识与技术服务,让认知协作更快更好!
目录
相关文章推荐
今天看啥  ›  专栏  ›  专知

不可错过!李磊老师CMU2025春季课程《大型语言模型》,学习设计和实现LLM系统的核心技能

专知  · 公众号  ·  · 2024-11-25 11:00
    

文章预览

https://llmsystem.github.io/llmsystem2025spring/ 人工智能的最新进展在很大程度上得益于大型语言模型(LLMs)及其他生成式方法的发展。这些模型通常非常庞大(例如,GPT-3拥有1750亿参数),并且需要越来越大的数据量进行训练(例如,ChatGPT使用3000亿个token进行训练)。训练、部署、微调以及评估LLMs需要现代硬件和软件栈支持的复杂工程。开发可扩展的大型语言模型系统对于推动人工智能的发展至关重要。 在本课程中,学生将学习设计和实现LLM系统的核心技能。这包括在海量数据上高效训练LLM的算法与系统技术、高效的嵌入存储与检索、数据高效的微调、通信高效的算法、人类反馈强化学习的高效实现、基于GPU及其他硬件的加速、模型压缩以便部署,以及在线维护。我们将讨论机器学习、自然语言处理和系统研究中关于LLM系统的最新进展。 课程描述与目 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览