exo

exo 让多台普通设备（笔记本、树莓派、旧手机）通过网络组成分布式推理集群，一起运行大模型：无需数据中心级硬件，人人可拥有的「个人 AI 集群」。
支持自动分片加载模型、动态拓扑与多设备协作，兼容主流开源模型，提供简单的 CLI 与 API 使用方式。
适合场景：硬件资源有限但想跑大模型的玩家、分布式推理实验、教学演示。
上手方式：按文档在设备上安装 exo，加入同一网络后自动组网加载模型。