- 知识
美团开源万亿参数大模型LongCat-2.0
时间:2010-12-5 17:23:32 作者:探索 来源:探索 查看: 评论:0
内容摘要:6月30日,美团正式宣布新一代万亿参数大模型 LongCat-2.0发布并全面开源。该模型基于五万卡国产算力集群完成全流程训练与推理,具备以下核心指标:参数规模:总参数达 1.6T,平均激活参数约 4
6月30日,美团美团正式宣布新一代万亿参数大模型 LongCat-2.0发布并全面开源。开源该模型基于五万卡国产算力集群完成全流程训练与推理,参数具备以下核心指标:
- 参数规模:总参数达 1.6T,大模平均激活参数约 48B,美团动态激活范围在 33B~56B之间。开源
- 预训练数据:数据规模超过 30T tokens,参数涵盖中文、大模英文、美团多语言及代码等多种数据类型。开源
- 上下文能力:原生支持 1M超长上下文窗口。参数大模