专栏名称: 斌叔OKmath
橙旭园CEO 教育博主 教育部双创优秀导师。前微软员工。橙旭园儿童编程创始人。
今天看啥  ›  专栏  ›  斌叔OKmath

用日常设备在家中运行自己的 AI 集群的相当令人难以置信的设置。-20240823091559

斌叔OKmath  · 微博  ·  · 2024-08-23 09:15

文章预览

2024-08-23 09:15 本条微博链接 用日常设备在家中运行自己的 AI 集群的相当令人难以置信的设置。 @exolabs_ 和 @__tinygrad__ 后端。 关键是 exo 根据当前网络拓扑和可用的设备资源对模型进行最佳拆分。 参见图中代码,展示了分区策略。 👉拓扑: 因此,“拓扑”对象表示可用设备的整个网络、它们的功能及其连接。它灵活地表示网络中设备的连接方式及其功能。分区策略使用它来决定如何在可用设备上划分模型。 为了理解名称 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览