为是科技CEO刘运渠：算力网卡技术与未来DPU架构｜公开课预告

文章预览

作为AGI时代重要的基础设施，智算集群能够为大模型的海量数据处理、复杂算法执行提供强大的算力支持。 众所周知，在大模型的训练或推理过程中，通常需要同时执行多个任务与算法。为了加快大模型计算效率，开发者会结合大模型的特点，制定多种并行计算优化策略，比如数据并行、模型并行、张量并行、流水线并行，甚至混合并行等。不过，这些并行计算策略在加快大模型计算效率的同时，也给智算集群带来进一步的挑战，比如不同计算节点间的通信延迟、数据一致性问题等。 为解决上述问题，为是科技推出基于自研容损RDMA技术打造的算力网卡，能够在现有网络环境下，通过只更换网卡，即可完成RDMA端到端对TCP协议的替换。同时在有损网络环境下，使RDMA的传输速率保持在几乎满载的状态。通过算力网卡，能够更有效地管理智算集群不同 ………………………………