美团开源万亿参数大模型LongCat-2.0
7月6日消息,美团正式开源其万亿参数大模型LongCat-2.0。该模型总参数1.6T,平均激活约48B,架构上引入LongCat稀疏注意力和N-gram Embedding,旨在提升长上下文处理效率 2026-7-6 02:43:18 Author: blog.upx8.com(查看原文) 阅读量:6 收藏

7月6日消息,美团正式开源其万亿参数大模型LongCat-2.0。该模型总参数1.6T,平均激活约48B,架构上引入LongCat稀疏注意力和N-gram Embedding,旨在提升长上下文处理效率与代码理解能力。美团称为业界首个在五万卡国产算力集群上完成推理的万亿参数模型。针对国产算力芯片显存与带宽受限的特点,LongCat-2.0从模型、芯片适配与部署三方面进行了协同优化:模型层通过稀疏注意力和ScMoE架构缓解I/O与显存压力;芯片适配层利用Super Kernel减少算子启动开销;部署层采用 PD 分离部署兼顾首 Token延迟与每个输出 Token的生成时间。开源包含BF16、FP8 及 INT8等多精度版本,和针对国产算力优化的推理代码。

—— 凤凰网科技


文章来源: https://blog.upx8.com/%E7%BE%8E%E5%9B%A2%E5%BC%80%E6%BA%90%E4%B8%87%E4%BA%BF%E5%8F%82%E6%95%B0%E5%A4%A7%E6%A8%A1%E5%9E%8BLongCat-2-0
如有侵权请联系:admin#unsafe.sh