大模型日报（9月5日 学术篇）

主要观点总结

本文主要介绍了AI学习社群、H100 GPU的市场指南、HotChips2024上关于Blackhole Enstorrent（TT）和Tesla TTPoE的展示、AMD Zen5和其他CPU相关信息、AI泡沫的讨论、Physics of Language Model阅读笔记，以及两个AI项目的介绍。其中包括了AI技术的前沿动态、市场分析、技术细节和未来趋势等内容。

关键观点总结

关键观点1: AI学习社群

搭建一个AI学习社群，让大家能够学习到最前沿的知识，共建更好的社区生态。提供了多个交流渠道。

关键观点2: H100 GPU市场指南

介绍了H100 GPU的市场价格趋势，包括短期和长期租赁价格，以及大型和小型集群的价格波动。分析了租赁和购买H100 GPU的优缺点。

关键观点3: HotChips2024展示

介绍了Blackhole Enstorrent（TT）的新一代Blackhole（BH）芯片和Tesla TTPoE在HotChips2024上的展示。BH芯片采用RISC-V架构，具有高性能和低功耗优化。TTPoE是一种基于以太网的点对点传输协议，支持lossy网络，具有低延迟和高带宽的特点。

关键观点4: CPU相关信息

介绍了AMD Zen5和其他CPU的基本信息和前端设计、执行部件、内存改进等细节。

关键观点5: AI泡沫的讨论

探讨了关于AI泡沫的争议，分析了AI大型机（高价GPU服务器）在AI产业中的角色，以及降低成本对推动AI产业繁荣的重要性。

关键观点6: Physics of Language Model阅读笔记

介绍了当前大型语言模型（LLM）的发展与特点，包括语言结构学习与推理过程。讨论了相对位置编码、旋转嵌入、推理能力等细节。

关键观点7: 两个AI项目介绍

介绍了ESP-AI和mirascope两个AI项目。ESP-AI是一个基于ESP开发板的智能对话解决方案，具备语音唤醒、识别、理解和合成等功能。mirascope是一个简单的Python LLM库，为软件工程师提供更好的开发体验。

文章预览

我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 「奇绩大模型日报」知识库现已登陆飞书官方社区： https://www.feishu.cn/community/article/wiki?id=7355065047338450972 点击「订阅社区精选」，即可在飞书每日收到《大模型日报》每日最新推送 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 学习 0 1 H100 GPU 市场指南 价格趋势 H100 GPU 的市场价格在短期内会维持，但随着时间推移会下降。租赁条件变得更灵活，租赁时长缩短。对小型集群（16-512 GPUs）来说，6 个月租期价格约为 $2.60/h，12 个月为 $2.40/h，长期租赁低于 $2.20/h。大型集群的价格波动较大，租赁和购买成本逐渐趋于平稳，市场预计 H100 GPU 的供需会逐步改善。 租赁 vs 购买 对于 H100 GPU 的选择，租赁更具灵活性 ………………………………