文章预览
https://llmsystem.github.io/llmsystem2025spring/ 人工智能的最新进展在很大程度上得益于大型语言模型(LLMs)及其他生成式方法的发展。这些模型通常非常庞大(例如,GPT-3拥有1750亿参数),并且需要越来越大的数据量进行训练(例如,ChatGPT使用3000亿个token进行训练)。训练、部署、微调以及评估LLMs需要现代硬件和软件栈支持的复杂工程。开发可扩展的大型语言模型系统对于推动人工智能的发展至关重要。 在本课程中,学生将学习设计和实现LLM系统的核心技能。这包括在海量数据上高效训练LLM的算法与系统技术、高效的嵌入存储与检索、数据高效的微调、通信高效的算法、人类反馈强化学习的高效实现、基于GPU及其他硬件的加速、模型压缩以便部署,以及在线维护。我们将讨论机器学习、自然语言处理和系统研究中关于LLM系统的最新进展。 课程描述与目
………………………………