本地模型部署与推理工具推荐

本地部署工具把模型跑在自己的电脑或内网服务器上，数据不出设备，也绕开 API 按量计费。选型看量化与显存优化（决定消费级显卡能否跑动）、推理速度、以及是否有现成客户端。Ollama 这类工具把安装和拉模型简化到了命令行的程度，是最低门槛的入门方式。