Qwen3.8-Flash-Next每秒70词元？本地加速之前，先看模型究竟改了什么

看到“Flash-Next在本地跑到70词元/秒”，很容易理解为：模型没变，只是终于有人把部署优化好了。但2026年9月8日发布在NVIDIA开发者论坛的这套方案，作者自己就交代了一个关键变化：每次生成激活的路由专家，从10个减到了5个，再通过训练补偿损失。这不是单纯换几个启动参数。作者原帖

本文在9月14日复核该模型卡、部署仓库，以及另一套9月10日的单机测量记录。重点不是替它们排速度榜，而是弄清：快在哪里、靠什么快、付出了什么代价。这些都是方案作者自报，不是本站对DGX Spark或16GB显卡的实测。

“10选5”不是裁掉一半模型，而是改变每轮出场阵容

混合专家模型可以想成一家有很多专业人员的咨询公司：每处理一个词元，只请其中几位参与计算。这个高速版本没有把全部专家池删去一半，而是减少每次调用的人数。作者给出的活跃参数量从约60亿降至48亿；少调用专家不等于磁盘文件也缩成一半。模型卡

少请人之后，作者又训练了一个始终参与工作的“共享专家”，让它模仿原来10专家版本的输出分布：训练约3775万参数，其余权重冻结，使用14,667条覆盖代码、数学、工具调用和长上下文的样本。这相当于少开几路会，同时让一位常驻成员学习怎样补上遗漏。补偿训练说明

因此应把它称为修改路由计算量、补偿训练、量化和推理优化的组合，不能归类为“保持模型完全不变的无损部署提速”。这里也与GSQ-RCO为权重分配量化精度的工作不同，二者不能混称为同一种优化。

作者自己的表格，也没有证明能力完全保住

*图：作者模型卡真实表格截图。“This model”指5专家版本，“Original”指该作者的10专家对照；不是本站制作的排行图。*

模型卡将一般能力概括为约47，对照为51.8；工具使用一栏为85—89，对照86，输出速度则写为约67—70与约57词元/秒。更细的说明是：8位输出头版本做了6轮，能力得分47.6；最终附带的4位输出头版本做了3轮，为46.6。这几种口径不能揉成一个精确的“无损提速百分比”。原始测试口径与输出头差异

工具分数接近，至多说明作者这些测试里的表现接近；不能证明中文、多轮规划、复杂代码修改和长文本可靠性都不变。论坛早期还有“质量差距可能在2%以内”的探索性说法，本文不把这个愿望当作已经成立的结论。

同一台Spark，为什么还会看到36、45甚至100？

另一位开发者madeye在9月10日记录了不同方案：单台DGX Spark，GB10芯片、128GB统一内存，使用NVIDIA发布的NVFP4检查点、特定vLLM版本、MTP三词元推测解码、FP8上下文缓存，并将大块词表数据按需从磁盘读取。该次测试温度为0、关闭思考，不能与另一套开启思考的代码任务直接算加速比。方案与原始测量说明

*图：madeye仓库真实表格截图。前三行涉及输出，后两行涉及输入；100.18明确标注为多个请求的合计吞吐。*

几个数字分别回答不同的问题。单请求输出速度是一个回答开始后“写得多快”：该测量中的普通文字为36.83，代码为45.75词元/秒。首词元等待是点击发送后等多久才开始写，英文缩写为TTFT；这里对应0.236秒和0.201秒。输入处理速度是“读材料多快”：32,791词元新输入约1824.95词元/秒，但等到首个输出仍用了17.968秒。并发总吞吐则是多人同时使用时的合计产出；四请求100.18，不是每个人都能得到100。逐请求样本与计算方法

把它们看成餐厅更容易理解：读菜单、等第一道菜、上菜速度和全餐厅每分钟出多少菜，是四个指标。把“全餐厅出菜量”写成“每桌出菜速度”，数字很好看，体验却会对不上。

这组单请求结果取三次384词元输出的中位数、排除两次预热，并且不含首词元等待；四请求结果只是一批256词元输出的合计，包含输入处理。连表格内部的统计定义都不同，更不能摘出最大值当作统一速度。

两套配置最该对照的，不是标题里的大数字

核对项	azampatti高速版本	madeye的9月10日记录
设备	单台DGX Spark，128GB统一内存	单台DGX Spark，128GB统一内存
主体路线	混合INT4/FP8/BF16，目标模型路由10→5并补偿训练	NVIDIA NVFP4检查点，混合精度与磁盘按需读取
MTP	当前仓库默认深度3，草稿仍走10专家；另有重训预测头	深度3，裁缩草稿词表，目标模型验证仍用完整词表
配置上下文	默认262,144；不能等价8路同时满长度	配置262,144；本次长输入测到32,791
可比性	当前默认模板和早期测速条件会变化	思考关闭、温度0，小样本实时快照

配置来自两份原始仓库，而不是从论坛标题倒推。高速版本当前README默认使用medium模板，旧帖子和模型卡又可能采用默认思考模板；不要把今天的默认值当成早期70词元/秒测试已经使用的完整条件。高速版本当前配置 · madeye配置与限制

MTP，即多词元预测，也不是单独一个“必定提速”开关。草稿能被接受多少，与文本类型、思考过程、预测头和软件实现都有关；少写思考过程还可能缩短总等待，却不代表底层每秒生成速度按同一比例增加。

128GB统一内存，不是“16GB显卡加一块快SSD”

madeye记录的那次加载仅模型权重就用了76.48GiB，此外还要给缓存、计算和系统留空间。作者把47.68GiB的FP8词表按需放在磁盘读取，不代表任意权重都能用相同方式搬到SSD而不付代价。DGX Spark的CPU与GPU还共享同一内存池，简单把数据从“GPU侧”换到“CPU侧”，也不会凭空多出另一池内存。权重、词表与统一内存说明

所以，对普通16GB显卡用户，这条新闻的直接价值是学会检查优化到底动了哪里，而不是照抄70词元/秒。应分别核对目标权重与路由、量化格式、硬件内存、推测解码、上下文和测量方式；缺哪项，就保留哪项不确定性。本文没有在RTX 5070 Ti上运行这些配置，也不提供其速度或上下文保证。

真正值得借鉴的是部署者把代价写清楚，而不是一个孤立的“70”。快模型、快推理软件、短回答，以及多人合计产出更高，可以同时发生，但不是同一件事。

*封面为 AI 生成的专题概念图，用于表达专家路由与加速取舍；不是设备实拍、测试现场或性能证据。*

本文为公开资料整理与技术学习参考，不提供采编、转载或发布服务。