【TPI-LLM：一款高性能的边缘设备语言模型推理系统，能够在资-20241003133009

文章预览

2024-10-03 13:30 本条微博链接 【TPI-LLM：一款高性能的边缘设备语言模型推理系统，能够在资源有限的设备上运行大型语言模型，保护用户隐私，减少延迟。目前，TPI-LLM 能够在 4 台内存为 5GB 的笔记本电脑上以完整精度运行 Yi-34B 模型，以及在 8 台内存为 3GB 的设备上运行 Llama 2-70B 模型】’TPI-LLM: A High-Performance Tensor Parallelism Inference System for Edge LLM Services.' GitHub: github.com/Lizonghang/TPI-LLM #边缘计算# #语言模型# #隐私保护# ………………………………