MLC-LLM

MLC-LLM 基于 Apache TVM 把大模型编译为可在任意设备运行的通用部署格式：手机（Android/iOS）、浏览器（WebGPU）、桌面与嵌入式设备都能本地运行开源模型，无需服务器。
通过针对性编译优化与量化，让消费级硬件获得可用的推理速度，支持流式输出与多种模型格式转换。
适合场景：端侧 AI 应用、离线移动端助手、浏览器内运行大模型。
上手方式：按文档使用 MLC 命令行转换模型，再部署到目标平台。