KoboldCpp

KoboldCpp 把 llama.cpp 推理内核、Web 聊天界面和 API 服务打包成一个可执行文件：下载模型后双击启动，浏览器里即可对话、写作或通过 OpenAI 兼容接口调用，无需任何配置。
支持 GGUF 量化、多 GPU 分载、长上下文（context shifting），内置角色扮演与写作增强功能，是本地部署最简单方案之一。
适合场景：不想折腾环境的本地大模型用户、离线写作与聊天、快速搭建本地 API。
上手方式：下载对应平台的可执行文件，放入 GGUF 模型后启动即可。