今天看啥  ›  专栏  ›  爱可可-爱生活

[LG] Vidur: A Large-Scale Simula-20240511061336

爱可可-爱生活  · 微博  · AI  · 2024-05-11 06:13

文章预览

2024-05-11 06:13 本条微博链接 [LG] Vidur: A Large-Scale Simulation Framework For LLM Inference 网页链接 提出LLM推理性能模拟框架Vidur,通过运算符自动化探查和预测建模实现了高保真模拟,并提供了配置搜索工具Vidur-Search帮助生产环境部署优化。 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览