研究：非英语AI用户需要支付更多Token费用
AI人工智能研究语言公平联盟（CLEAR）最新研究显示，AI模型在处理不同语言时所需的词元（tokens）数量存在巨大差异。由于分词器工具多针对英语等主流语言优化，非英语语言用户往往面临“词元税”，导致使用成本更高、延迟更长，且有效上下文窗口更小。研究发现，在包含200种语言的模型中，Token成本差距可达17倍，且语言脚本类型（如藏文、高棉语等）对差异影响显著。专家建议，AI实验室应将语言处理效率作为核心指标，并发布按语言计费的公平性记分卡，通过改进数据质量和重新设计分词器来减少这种不平等现象。
—— Rest of World
AI人工智能研究语言公平联盟（CLEAR）最新研究显示，AI模型在处理不同语言时所需的词元（tokens）数量存在巨大差异。由于分词器工具多针对英语等主流语言优化，非英语语言用户往往面临“词元税”，导致使用成本更高、延迟更长，且有效上下文窗口更小。研究发现，在包含200种语言的模型中，Token成本差距可达17倍，且语言脚本类型（如藏文、高棉语等）对差异影响显著。专家建议，AI实验室应将语言处理效率作为核心指标，并发布按语言计费的公平性记分卡，通过改进数据质量和重新设计分词器来减少这种不平等现象。
—— Rest of World
