统计物理与信息论视角下，结构化噪声与神经网络初始化研究｜周一直播·AI by Complexity读书会

文章预览

导语 复杂性怎样量化和驱动下一代AI系统是我们 「 AI by Complexity 」读书会 尝试去回答的问题。在本期读书会中，邀请了ICTP徐奕舟做“结构化噪声下PCA的信息论极限”主题分享，来回答如何通过统计物理和随机矩阵理论工具，构建算法来达到信息论极限；清华钱班翁康宇做“神经网络的初始化和信息论”主题分享，来回答如何理解神经网络初始化阶段的物理规律等问题，希望从统计物理和信息论的研究视角给大家带去启发。 直播将于北京时间7月1日晚20:00-22:00线上公开进行，欢迎感兴趣的朋友参与讨论交流！ 主题一：破解数据噪声难题：结构化噪声下PCA的信息论极限 内容简介 我们考虑了贝叶斯推断中的一个典型问题：主成分分析（PCA）中的低秩信号被加性结构化噪声所干扰。当噪声是独立同分布的高斯噪声时，无论是信息论极限还是算法极限都 ………………………………