Meta开源Llama-4模型，首次支持百万级上下文与多模态

今日，Meta公司正式宣布开源其最新一代大语言模型Llama-4系列，包含8B和70B两个参数规模的版本。与上一代相比，Llama-4在架构上进行了重大升级，首次原生支持高达100万Token的超长上下文窗口，并实现了文本、图像、音频和视频的多模态统一输入与理解。在技术细节上，Llama-4采用了全新的分组查询注意力机制和旋转位置编码优化，使得在处理超长文本时的显存占用降低了40%，推理速度提升了2.5倍。在MMLU、MATH及多模态理解基准测试MMMU中，70B版本的Llama-4均刷新了开源模型的当前最佳记录，性能直逼闭源商业模型。Meta CEO在社交媒体上表示，开源是推动AI技术民主化的最佳途径，Llama-4的权重、代码及微调工具链已在Hugging Face和GitHub上全面开放，并采用更为宽松的商用许可协议。此举引发了开发者社区的热烈反响，发布仅数小时内，相关仓库的Star数已突破5万，多家云服务商也同步上线了一键部署服务。