大模型的能力边界在哪里？

文章预览

↑ 点击 蓝字  关注极市平台 作者丨袁洋@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/634467074 编辑丨极市平台 极市导读   假如我们有无限的资源，比如有无穷多的数据，无穷大的算力，无穷大的模型，完美的优化算法与泛化表现，那么由此得到的预训练模型是否可以用来解决一切问题？本文从范畴论的角度给出一个答案。  >> 假如我们有无限的资源，比如有无穷多的数据，无穷大的算力，无穷大的模型，完美的优化算法与泛化表现，请问由此得到的预训练模型是否可以用来解决一切问题？ 这是一个大家都非常关心的问题，但已有的机器学习理论却无法回答。它与表达能力理论无关，因为模型无穷大，表达能力自然也无穷大。它与优化、泛化理论也无关，因为我们假设算法的优化、泛化表现完美。换句话说，之前理论研究的问题在这里不存在了 ………………………………