2024-11-27 13:18
本条微博链接
【llm_client:一个用Rust开发的本地LLM接口工具,支持多平台(Mac/Windows/Linux)的CPU和GPU运行。特色是提供了级联提示工作流(Cascading Prompt Workflow)系统,能将LLM的概率性输出转换为确定性信号,大幅提高输出可靠性。支持自动构建、简单的模型预设、灵活的配置选项以及多种API集成】 'The Easiest Rust Interface for Local LLMs and an Interface for Deterministic Signals from Probabilistic LLM Vibes' GitHub: github.com/ShelbyJenkins/llm_clie
………………………………