专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
今天看啥  ›  专栏  ›  爱可可-爱生活

【llm_client:一个用Rust开发的本地LLM接口工具,-20241127131802

爱可可-爱生活  · 微博  · AI  · 2024-11-27 13:18

文章预览

2024-11-27 13:18 本条微博链接 【llm_client:一个用Rust开发的本地LLM接口工具,支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统,能将LLM的概率性输出转换为确定性信号,大幅提高输出可靠性。支持自动构建、简单的模型预设、灵活的配置选项以及多种API集成】 'The Easiest Rust Interface for Local LLMs and an Interface for Deterministic Signals from Probabilistic LLM Vibes' GitHub: github.com/ShelbyJenkins/llm_clie ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览