把MLA和稀疏激活带到端侧！港科大广州和伦敦大学学院团队联合发布软硬协同设计的边缘语言模型PLM

文章预览

本文由 PLM 团队撰写，PLM 团队是由香港科技大学（广州）的校长倪明选教授，伦敦大学学院（UCL）AI 中心汪军教授，香港科技大学（广州）信息枢纽院长陈雷教授联合指导。第一作者邓程是香港科技大学（广州）的研究助理，研究方向为端侧大模型和高效模型推理；参与成员包括中科院自动化所的孙罗洋博士，曾勇程博士，姜纪文硕士，UCL 吴昕键，港科大广州的博士生肖庆发和赵文欣，港科大的博士后王嘉川以及香港理工的助理教授（研究）李昊洋。通讯作者为邓程博士，陈雷教授和汪军教授。 在大模型「卷参数」的浪潮中，一个亟待解决的课题始终存在：如何让百亿级能力的 AI 跑进手机、嵌入设备、实现万物互联？ 内存墙、算力墙、I/O 墙 这三座边缘设备的「大山」令许多大模型铩羽而归。 近日，香港科技大学（广州）倪明选校长和陈雷教授 ………………………………