阿里正式开放Qwen3.8-2.4T-A95B模型权重

阿里云“魔搭ModelScope社区”宣布,阿里Qwen团队正式开放Qwen3.8-2.4T-A95B模型权重。这是Qwen-Max级别模型首次开源权重。Qwen3.8-2.4T-A95B是一个因果语言模型,总参数达2.4T,采用MoE稀疏架构,每个Token仅激活95B参数。模型每个MoE层包含512个专家,每个Token选择10个路由专家,并同时激活 1 个共享专家。上下文方面,原生支持262,144 Token,并可扩展至1,010,000 Token。模型还进行了多步Multi-Token Prediction训练。开源意味着开发者可以基于模型进行复现、微调和二次开发。官方云端版Qwen3.8-Max基于该开放权重模型,并额外增加了多项生产环境能力。

—— 凤凰网科技
 
 
Back to Top