Talk预告｜马里兰大学贺帅：Transformer中的结构冗余性探索

主要观点总结

本文介绍了TechBeat人工智能社区第613期线上Talk的相关信息，包括嘉宾贺帅的介绍、分享主题、时间、地点等。Talk的主题是“Transformer中的结构冗余性探索生成”，贺帅将探索LLM中不同模块之间的冗余变化，并介绍一种提高性能和压缩率的方法。

关键观点总结

关键观点1: Talk主题：Transformer中的结构冗余性探索生成。

贺帅将分享他在Transformer大型语言模型（LLM）结构冗余性方面的探索，包括不同模块之间的冗余变化，以及提高性能和压缩率的方法。

关键观点2: 嘉宾介绍。

贺帅是马里兰大学的一名博士生，研究兴趣包括深度学习、模型压缩和自然语言处理等。

关键观点3: Talk时间和地点。

Talk将于北京时间7月31日（周三）20:00在TechBeat人工智能社区准时开播，可以通过长按识别二维码一键预约TALK。

关键观点4: Talk内容的大纲。

Talk将包括问题阐述、背景介绍、Transformer模型的冗余性分析、未来工作方向等内容。

关键观点5:

提供相关的论文链接供听众预习，并在Talk的交流区参与互动，留下问题和对嘉宾进行提问。

文章预览

本期为 TechBeat人工智能社区 第 613 期 线上Talk。 北京时间 7 月31日 (周三)20:00， 马里兰大学博士生 贺帅 的Talk将准时在TechBeat人工智能社区开播！ 他与大家分享的主题是:  “ Transformer中的结构冗余性探索生成 ” ， 届时 他将对LLM中不同模块（包括 Blocks、MLP 和注意层）之间的冗余变化展开探索。 此外，他还提出了一种联合删除注意层和 MLP 层的方法，从而提高性能和压缩率。 Talk·信息 ▼ 主题：‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍Transformer中的结构冗余性探索 嘉宾：马里兰大学 · 博士生 - 贺帅 时间：北京时间  7 月31日(周三)20:00 地点：TechBeat人工智能社区 http://www.techbeat.net/  长按识别二维码，一键预约TALK！ Talk·介绍 ▼ 基于 Transformer 的大型语言模型 (LLM) 的扩展已在各种任务中展现出良好的性能。然而，它也引入了冗余结构，对实际部署提出 ………………………………