腾讯Hy4 flash开源:最高支持百万Token上下文

周三,腾讯混元宣布开放 Hy4 flash 系列模型权重,包括Hy4 flash、Hy4 flash-FP8以及Hy4 flash-base。相关模型及部署资料已上线GitHub等平台。其中,Hy4 flash 为指令模型,Hy4 flash-FP8是经过FP8量化的指令模型,主要用于降低部署所需的计算和显存资源;Hy4 flash-base则为预训练基础模型,尚未进行面向对话场景的指令微调。

腾讯披露的开源资料显示,Hy4 flash总参数约2200亿,其中包括约635亿Engram参数,每个Token激活参数约120亿。该模型采用混合专家架构,支持文本和图像输入、文本输出,上下文窗口最高可达100万Token。

—— 凤凰网科技
 
 
Back to Top