专栏名称: 孔某人的低维认知
孔某人低维认知中世界的投影,世界很复杂,但人的认知总是过于简单。 ####关注领域:LLM技术及应用、认知科学、决策规划、机器学习、提升生产率的技术方案等。
今天看啥  ›  专栏  ›  孔某人的低维认知

GPT Pretraining:A General Approach to Approximate ProblemSolving

孔某人的低维认知  · 公众号  ·  · 2024-08-06 16:30

文章预览

GPT Pretraining: A General Approach to Approximate Problem Solving【2024.8】 0、前言 本文的标题看起来像是一篇论文,但实际上并不是。本文只是单独的抛出一个我认为重要的视角,也就是标题: GPT的预训练阶段是一种通用的近似求解问题的工具。 虽然这里用了近似这个词,但实际上很多工作中它看起来已经非常准确率,只是在它仍然做不到对于任何复杂度的问题都能够100%准确。 这并不是一个比较新的视角,但确实是一个一般不容易认识到的视角。事实上我自己在半年前AlphaGeometry公布的时候,当时对其评价并不算高。 与之前文章一样,本文是面向于应用层读者的,以及应该为应用层提供辅助设施的中间件层读者。学界的读者应该都已经或多少了解该视角了。 1、已有工作 Physics of Language Models系列研究 前些天介绍的 Physics of Language Models  的工作都是该结论的直 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览