边缘AI

边缘AI是什么

边缘AI（Edge AI）指把 AI 模型部署在设备本地（手机、摄像头、耳机、IoT 设备等）直接推理，而不是把数据上传到云端处理。过去 AI 主要在云端跑（数据传上去、结果传回来），边缘 AI 则是"把模型装进设备里"——2026 年手机上的实时翻译、相机里的智能识别、智能音箱的语音唤醒，都是边缘 AI 在起作用。

与云端 AI 的区别

• 延迟：云端推理受网络往返影响（几百毫秒到数秒），边缘推理毫秒级响应，适合实时场景（自动驾驶、手势识别）。
• 隐私：数据不出设备，敏感信息（照片、语音、健康数据）不上云，隐私风险显著降低。
• 可用性：离线也能运行，弱网/无网环境照常工作。
• 代价：设备算力与内存有限，模型需经压缩量化（如 INT8/INT4 量化）才能在端侧跑，精度与模型大小需要权衡。

主流实现方式

把大模型"塞进"设备主要靠三类手段：模型压缩（量化、剪枝、蒸馏减小体积）、端侧推理引擎（如 MNN、ONNX Runtime、Core ML 等针对硬件优化）、以及芯片级加速（NPU/神经网络处理单元）。混合部署是常见工程形态：轻量模型在端侧、复杂任务仍走云端，兼顾速度与能力。

应用与趋势

典型场景：手机端实时翻译与相册智能分类、智能家居离线语音控制、工业质检摄像头本地判定、可穿戴设备健康监测。趋势是"端云协同"——端侧做实时与隐私敏感的推理，云端负责训练与复杂生成，边缘 AI 与云端 AI 不是替代关系，而是分工关系。