27B 缩到 7.89GB：Saluki 真能让普通电脑干活吗？

2026 年 10 月 8 日，Underdog 发布 Saluki 27B 1.0，在 ConwayResearch 的 Hugging Face 仓库开放下载：把 Qwen3.8-27B 压缩到标称 7.89GB，并宣称保留九项评测平均约 96% 的成绩。对不想持续购买云端订阅的产品经理、设计师和运营来说，诱惑很直接：现有电脑能不能多一个本地助手？发布方模型卡、官方发布帖

已有消费级显卡的电脑出现了可用案例，但7.89GB指权重文件，不是显存需求：“文件不到 8GB”不等于“8GB 显卡完全装得下”，更不代表所有办公电脑都能顺畅运行。“96%”也只是九项成绩的汇总，不能理解为每项工作都只损失 4%。

7.89GB 缩小的是权重文件，不是任务难度

Saluki 不是从零训练的新基础模型。NOTICE 明确列出 Qwen3.8-27B，以及 ISTA-DASLab 的 GSQ-RCO 低比特版本作为上游。它保留 27B 级参数规模，用较低精度存储权重；这会减少文件和内存负担，也可能损失能力，不能理解为无损压缩。

本体文件是 Underdog-Saluki-27B-1.0-IQ2-mix.gguf，许可为 Apache 2.0，发布方说明可用标准 llama.cpp 运行。默认开启思考模式；本体只接收文本，读图还要额外加载 629MB 或 928MB 的视觉文件。模型支持工具调用，但读取文件、执行脚本仍要靠外层应用，下载一个 GGUF 不会自动变成全能 Agent。模型卡文件与运行说明

普通电脑能不能跑：先分清内存与显存

系统内存与显卡显存不是同一个容量。模型运行还需要会话缓存和计算缓冲区；上下文越长，占用通常越大。文件标注的 GB 与报告使用的 MiB 也不能直接比数字，1GiB 等于 1024MiB。

下面是已找到的证据，不是最低配置清单。CPU 和 8GB 数据来自 Michael Leung 的单机报告；12GB 推算及 16GB 数据来自 AIハードウェア図鑑的测量。

16GB 表里的数值是加载后占用，不是工作峰值；作者以全 GPU 层加载参数运行，但未逐层检查 llama-server 日志。系统显示、后台应用和运行过程仍会消耗资源，不能把它推导成任意机器的容量保证。测量条件与限制

做成了网页和小项目，但不是开箱即用的替代品

对设计师，最直观的是页面案例。Michael 在 CUDA 版 llama.cpp b11540、48 层 GPU、16K 上下文、q8_0 缓存下关闭思考，报告约 2 分 28 秒得到一个可打开的 3D 地球 HTML。实际生成约 9.7 token/s，低于短基准的 14.8；后续长会话则耗时约 15.5 分钟，输出仍有贴图问题。同机最初用 Vulkan、8K 上下文开启思考，等了27.5分钟，上下文耗尽仍未得到HTML。配置、输出与失败记录

对项目负责人，另一个案例更接近真正干活：AIハードウェア図鑑用 RTX 5060 Ti 16GB、llama.cpp b11218 和 Claude Code 2.1.293，在小型 Python 项目中解释代码、修复 bug、添加 CSV 读取及测试。三类任务各跑三次，完成 8/9 次；完成的修复与功能添加通过了作者另跑的 pytest。一次添加任务因输入达到 41,263 token、超过 40,960 上限而中断。代码任务原始表

但接入使用了修改后的其他量化版本聊天模板，不是原版 Saluki 模板的开箱验证；9 次小项目任务也不能代表大型项目的成功率。上述案例说明它值得尝试页面草稿和范围明确的代码任务，没有证明中文 PRD、会议纪要或 Excel 处理已经可靠。办公用途应先拿脱敏小样检验遗漏、数字和格式；财务计算要交给确定性程序复核。

该作者还记录了同一道税额题：在修改模板、温度0的配置下重复出错，换运行软件及设置后结果改变。它不是不同问题的通用错误率，也没证明谁导致差异，却提醒我们：能写代码不等于能独立确认每个数字。算术案例与条件差异

“保留96%能力”有算术依据，但不是能力保底

发布方模型卡列出了以下成绩，最后一列用“Saluki得分÷对照得分”算得。工具调用关闭思考、温度为0，使用 BFCL v4 的120项子集；并行调用为100项；SWE-bench 的50项范围见官方发布图。其余带星号的对照成绩来自公开资料，发布方承认测试环境不同；IFEval、IFBench 为 prompt-loose，AIME 为 avg@4。完整成绩与口径、官方比较图

把每项的“Saluki 得分÷对照得分”先算出来，再对九项等权平均，得到约 96.05%，与宣传吻合。不过，模型卡没有明确写出汇总公式，这只能说明按上述算法可以复算出接近宣传的数字。相对成绩也不是任务成功率：工具调用是通过88/120项，约73.3%，不是88%成功，更不是104.8%成功。

平均值掩盖了三个重要差别。第一，120%的并行调用相对成绩，会抵消数学和推理的下降，不能因此说数学也保留96%。第二，九类测试被等权计入，不代表你的工作时间也按这些比例分布。第三，部分基线不是同环境测得，缺少逐样本结果与不确定性分析，不能把“多通过4项”认定为稳定超过原模型。发布方自己也提示小样本和运行波动。模型卡限制

发布方还自报，约五分之一的并行调用回复有小格式问题，外层工具不能默认每次都拿到可直接执行的请求。工具调用限制

因此，“96%”作为这组成绩的描述有依据，作为日常工作“几乎无损”的保证则不成立。还要避免版本混用：第三方另有带 MTP 的8.35GB文件，不能把它的速度贴到原版7.89GB文件上。版本差异说明

值不值得试，取决于你已经有什么电脑

已有8GB显卡且系统内存充足，可以把它当作短任务实验：检查 CUDA 版本、上下文和思考开关，接受等待并核验输出。已有16GB显卡，更值得试固定范围的页面、脚本或小项目；12GB先检查实际占用，别照搬16GB的长上下文设置。

只有普通办公本，就先保持观望，不能拿 i9＋64GB 的结果证明它适合你。需要稳定长任务、复杂计算或无人值守，也不要把96%当作兜底，更没必要为了一个平均分先买新显卡。

本地运行也不自动保证隐私：外层工具、日志和联网权限仍需检查。Saluki 值得关注的，是让27B级模型进入更多现有电脑；能否进入你的工作流，要看交付质量、总等待时间和复核成本，而不是只看下载体积。