35B模型跑上手机:MiniCPM-V的“3GB内存”意味着什么?
35B模型怎样在手机上看图?从按需读取专家权重,到约16.6GB的端侧文件,讲清内存、储存、视觉任务与设备门槛;13+ tok/s来自指定iPhone配置的官方报告。
AI 工具与开源生态动态
AI 工具、模型与开源生态的资料整理与解读,低成本建立持续判断力
35B模型跑上手机:MiniCPM-V的“3GB内存”意味着什么?
35B模型怎样在手机上看图?从按需读取专家权重,到约16.6GB的端侧文件,讲清内存、储存、视觉任务与设备门槛;13+ tok/s来自指定iPhone配置的官方报告。
本地 Qwen 27B:你的 AI 订阅费,还值得继续交吗?
有人用本地 Qwen 27B 停用了付费 API,但这不等于所有职场人都能取消订阅。对照用户案例、官方评测和 OpenJet 作者报告,拆解可迁移的工作、速度限制,以及电费、硬件和复核时间如何影响省钱账。
RTX 3060 也能跑68GB大模型?21 tok/s背后的真正门槛
作者报告RTX 3060可将68GB量化模型跑到约21 tok/s,但暖缓存、6G测试限制、定制分支与长输入等待都影响体验。结合另一份笔记本实验,拆解文件体积、输出一致性和实际工作效率之间的差别。
27B 缩到 7.89GB:Saluki 真能让普通电脑干活吗?
8GB 显卡能运行,不等于整台普通电脑都适合。对照原始模型卡与作者运行报告,拆解 Saluki 的硬件门槛、网页与小项目案例,以及“保留96%能力”的统计口径和实际损失。
AI 总有“客服味”?Humanlike 2.0 想让本地模型说人话
Humanlike 2.0试图减少本地模型的助手腔,同时修补指令和工具行为。但23.5%的“像真人”成绩来自模型评委,中文效果尚未验证。对照作者案例与评测,看看哪些表达任务值得尝试,哪些工作仍需保住准确性。
GLiNER2.5-Decide:哪些选择题,不必再让大模型长篇推理?
Fastino 发布可本地运行的结构化决策模型。它怎样给候选答案打分、让多个判断遵守共同约束?结合英文测试、CPU 与 GPU 延迟,以及多语言版本的区别,解释它适合分担哪些工作、不能替代什么。
Bonsai 2 27B 资料评测:5.95GB 保留了什么,又牺牲了什么?
从14项公开测试、两种三值封装和社区同硬件速度对照,拆解 Bonsai 2 的压缩收益与能力代价。98.2% 是平均分比值,不是每项能力都几乎无损;文件更小,也不代表任意显卡能跑满长上下文。
17GB对100GB:Qwen3.8-27B与Flash-Next做同一批任务,省下的容量换来了什么?
同做89项终端任务,17GB的27B首轮完成35项,100GB的Flash-Next完成45项;最多两次是46对53,最多四次是48对60。本文追到9月13日后续结果,区分模型能力、环境故障和返工时间;测试为苹果MLX四位量化,不是GSQ-RCO IQ3_S,也不能套到16GB显卡。
Qwen3.8-Flash-Next每秒70词元?本地加速之前,先看模型究竟改了什么
同样叫Flash-Next,70词元/秒背后可能是另一条计算路径:每词元激活专家从10减到5,再训练共享专家补偿。本文对照单台DGX Spark的两套原始资料,拆开量化、MTP、输入速度、输出速度和并发吞吐,不把128GB统一内存结果套到16GB显卡。