大模型新课来了！宾夕法尼亚大学最新《大模型》课程

文章预览

课程描述 本课程深入探讨大语言模型（LLMs），重点关注其设计、训练和使用。课程从注意力机制和Transformer架构开始，随后介绍预训练的实用方面和高效部署，最后讲解提示（prompting）和神经符号学习等高级技术。课程旨在为学生提供批判性分析LLM研究的技能，并将这些概念应用于现实世界中的场景。建议具备扎实的机器学习、编程和深度学习基础。 https://llm-class.github.io/ 涉及主题 LLMs 的发展历史 Transformer 架构 模型训练技术 提示工程（Prompt Engineering） 伦理考量和安全措施 高级集成技术（例如，RAG、智能体、神经符号学习） 每周安排 第1周： 课程介绍 第2-3周： Transformer架构 第4-5周： 预训练（数据准备、并行化、扩展法则、指令微调、对齐、评估） 第6周： 适应（参数高效的微调技术和设计空间） 第7周： 提示技术 第8周： 快速高效的推理 ………………………………