Qwen 3.5多模态模型token数量深度解析
r/LocalLLaMA2026/04/20 10:59机翻/自动摘要/自动分类
0 阅读
摘要
本文基于Qwen官方数据，对3.5代多模态模型的token数量进行深度分析。核心发现：1）Qwen 3.5在Qwen 3的36万亿token基础上，通过多模态训练将token总量提升至42-48万亿；2）增长主要来自视觉token的引入和多模态数据对齐；3）保守估计避免了过度乐观预测。该研究为评估大模型参数规模提供了关键参考，对AI模型研发和部署具有重要指导意义。
正文
Qwen 3.5在继承Qwen 3基线数据（36万亿）的基础上，通过引入多模态训练显著提升了总量。相较于纯文本训练，该版本增加了视觉文本，并通过图像与文本的配对编码扩展了数据表示维度。基于官方资料，保守估计其总数量在42至48万亿区间，较前代增长15%-30%。这一增长主要源于：1）新增的视觉流；2）多模态数据对齐带来的额外开销；3）数据集多样性的提升。该估算避免了过度乐观预测，为模型规模评估提供了可靠参考。