阿里开源Qwen3-Next-80B-A3B系列模型
北京时间12日凌晨，阿里通义千问发布了下一代基础模型架构Qwen3-Next，并且开源了基于该架构的 Qwen3-Next-80B-A3B 系列模型。新模型结构相比 Qwen3 的 MoE 模型结构，进行了以下的核心改进：混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化，以及提升推理效率的多 token 预测机制。基于 Qwen3-Next 的模型结构，通义千问训练了Qwen3-Next-80B-A3B-Base模型，该模型拥有 800 亿参数仅激活 30 亿参数。该Base模型实现了与Qwen3-32B dense模型相近甚至略好的性能，而它的训练成本仅为 Qwen3-32B 的10%不到，在32k以上的上下文下的推理吞吐则是其的十倍以上。
—— 通义千问
北京时间12日凌晨，阿里通义千问发布了下一代基础模型架构Qwen3-Next，并且开源了基于该架构的 Qwen3-Next-80B-A3B 系列模型。新模型结构相比 Qwen3 的 MoE 模型结构，进行了以下的核心改进：混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化，以及提升推理效率的多 token 预测机制。基于 Qwen3-Next 的模型结构，通义千问训练了Qwen3-Next-80B-A3B-Base模型，该模型拥有 800 亿参数仅激活 30 亿参数。该Base模型实现了与Qwen3-32B dense模型相近甚至略好的性能，而它的训练成本仅为 Qwen3-32B 的10%不到，在32k以上的上下文下的推理吞吐则是其的十倍以上。
—— 通义千问
