News brief
正文
机与IoT设备端侧部署设计,极大推动了AI在消费级硬件的无网离线应用。
今日,国内AI初创公司星动纪元在GitHub上正式开源其最新端侧大语言模型NanoLM-3B。该模型采用创新的Grouped Query Attention与稀疏MoE混合架构,在仅3B参数的体积下,推理性能全面对标主流7B模型,且显存占用降低40%。在MMLU与HumanEval评测中,NanoLM-3B分别取得了72.5和81.3的高分。项目上线仅6小时,Star数已突破3000。该模型专为手
News brief
机与IoT设备端侧部署设计,极大推动了AI在消费级硬件的无网离线应用。