LiteLLM

LiteLLM 把 100 多家模型提供商的 API 统一成 OpenAI 兼容格式：业务代码只写一套，切换模型只改配置，大幅降低多模型集成的维护成本。
提供代理服务器、负载均衡、预算与用量控制、密钥管理、缓存与重试等生产级能力，支持自托管，是团队统一管理模型调用的基础设施。
适合场景：需要同时用多家模型的公司、做模型降级与容灾的应用、想集中管控 API 成本的团队。
上手方式：pip install litellm 后启动代理，OpenAI SDK 指向代理地址即可。