今天看啥  ›  专栏  ›  信息平权

从白炽灯到小家电

信息平权  · 公众号  ·  · 2025-03-06 21:01
    

主要观点总结

本文讨论了关于英伟达和Manus的相关话题,包括推理算力的计算框架、token的消耗和算力需求的增长,以及GPU使用的学习曲线和优化的限制。文章还提到了需求侧的关注点和电力建设的周期性考量,以及未来token时代的发展趋势。

关键观点总结

关键观点1: 推理算力的计算框架

文章重新梳理了推理算力的计算框架,指出当下的算力估算方式基于DAU、每日query次数和每次query token的计算逻辑,但这种方式存在低估,因为人的阅读能力有限,token越长,门槛越高,受众越小。

关键观点2: Manus和推理模型的发展

Manus的展示引入了机器自身对token的无上限消耗这一巨大变量,改变了计算方式。推理模型如o1/r1/豆包等加入联网搜索和多步推理,中间消耗大量input token,使得每次query的算力需求可能上了数量级。

关键观点3: GPU的使用和学习曲线

全球对GPU的部署和使用还不够普及,学习曲线不断提高。DeepSeek是其中的优等生,但很多人无法复制其优化水平。优化有上限,而且并非所有人都能学会。

关键观点4: 算力的供需周期和担忧

考虑供给方的产能扩张和需求方的增长,算力存在供需周期的担忧。除了硬件产能的扩张,软件优化也能压榨存量算力。但单纯依赖chatbot模式,算力需求远远不够满足。

关键观点5: 未来的发展趋势

文章对未来token时代的发展进行了展望,认为类似于Manus的技术将会进一步发展,同时呼吁对电力建设的周期性考量以及需求侧各类小家电实现PMF的关注和小心求证。


文章预览

盘前英伟达还在暴跌,国内大家兴奋了一天的Manus,发现见过一些“世面”的美国人并不兴奋。的确Devin、Artifacts、各家的compute use已经在推特上火过一遍又一遍。但抛开短期的各种利空压力(宏观、capex周期、供应链噪音、模型叙事等等),来重新梳理下推理算力的计算框架。当下没人会基于此交易NV,但可能对长期思考有一点帮助。 简单来说, 过去的推理需求都是基于chatbot 。阿里、腾讯、字节他们目前的算力估算方式,脱不开 DAU*每日query次数*每次query token 的计算逻辑,再兼顾 同时在线 以及 峰值在线人数 带来的最高并发和冗余支持。坦白说, 这非常“互联网思维”。 而上述最大的低估,就是一直以人去读token,人的阅读能力显然是有上限的,且 token越长、门槛越高、受众越小 。用这个逻辑去推算力需求,很容易证伪。 而o1/r1/豆包深度思考 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览