【MIT博士论文】非参数高维模型：稀疏性、效率、可解释性

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 本论文探讨了机器学习中的集成方法，这是一种通过联合训练较简单的基模型来构建预测模型的技术。 本论文探讨了机器学习中的集成方法，这是一种通过联合训练较简单的基模型来构建预测模型的技术。本文考察了三种类型的集成方法：加性模型、树集成模型和专家混合模型。每种集成方法都有特定的结构：加性模型可以涉及具有单变量或双变量的基学习器，树集成模型使用决策树作为基学习器，而专家混合模型通常采用神经网络。本文的重点是考虑这些方法中的各种稀疏性和结构约束，并开发基于优化的方法，以提高训练效率、推理能力和/或可解释性。 在第一部分中，我们研究了在组件选择约束和额外的结构约束（例如层级交互）下的加性模型与交互 。我们提出了不同的基于优化的公式，并提出 ………………………………