FreeToken来头不小，是由加州大学伯克利分校和麻省理工学院联手推出的开源推理引擎，专门为了让混合专家（MoE）模型在消费级硬件上跑得更顺。它用了一种叫q*动态协同调度的策略，一旦GPU显存吃紧，就把一部分计算活儿甩给CPU。实测下来，8GB显存的RTX 4060就能带动35B模型，每秒大约能生成39个Token。这一手，等于把个人自托管大模型的门槛又往下压了一截。
FreeToken到底干了啥？
项目背后是伯克利和MIT的团队，参与者里有Matei Zaharia、Ion Stoica、Song Han和Kurt Keutzer，算得上全明星阵容。MoE模型参数虽多，但每次推理其实只激活其中一部分专家，所以理论上没必要把全部参数都塞进显存。可问题来了——显存不够时，传统做法要么把数据搬到内存，速度直接崩掉；要么预先静态卸载几层到CPU，灵活性太差。
FreeToken的思路完全不同。它内部有个叫q*的动态协同调度器，一旦GPU缓存没命中，就会根据当时的实际互连带宽，动态决定这一层该在CPU还是GPU上算。再加上快速权重格式和整层双缓冲，权重传输和计算几乎能完全重叠——换句话说，GPU正在算这一层的时候，下一层的权重已经提前运过来了。
动态内存和语义锚点：不只是快，还很省心
除了调度策略，FreeToken还配了一个弹性内存管理器。以前跑模型，KV缓存和常驻专家之间的显存分配都是写死的，想改就得重新加载模型。现在这个管理器能在运行中动态调整，完全不用重启。
另一个亮点是语义锚点检查点机制。处理长对话或智能体任务时，如果你想改一下工具参数，或者插入一段外部结果，传统做法往往会让整个提示词缓存全部失效，然后从头重算一遍。FreeToken则会在逻辑任务边界缓存好中间状态，之后哪怕有改动，也只需要重算受影响的那一段，其余部分直接复用。这个设计对agent类应用特别友好。
数据对比：比Ollama和llama.cpp快多少？
- 解码速度：同样的MoE模型下，比Ollama和llama.cpp快3到4倍。
- 预填充速度：提升6到30倍，差距还要夸张。
- 和KTransformers那种静态卸载不同，FreeToken会实时计算每一层的最优分配方案，而不是提前定死。
实际跑分也挺有意思。在RTX 4060笔记本（8GB显存）上跑Qwen3.6-35B，能到每秒39个Token；RTX 5090上跑过DeepSeek-V4-Flash（284B）；单块工作站GPU甚至带得动GLM-5.2（753B）。要知道，这些模型以前怎么也得靠多卡服务器才推得动。
硬件支持和获取方式
FreeToken支持Linux和Windows，NVIDIA RTX 30/40/50系列都能用。工具可以从FlashML.ai和GitHub上直接下载，完全开源。
社区怎么看？有没有坑？
社区里已经有不少人开始算账了：把这套带宽自适应的MoE服务，配上二手RTX 3090/4080和标准DDR4/DDR5内存，自托管门槛确实能大幅压低。但也有爱较真的网友提出质疑：q*的理论计算，真能反映真实环境里的调度延迟、内存争用和专家驻留变化吗？毕竟理论最优和实际跑起来，往往是两码事。
这对生产部署有什么影响？
对企业来说，FreeToken的意义可能不只是省显卡钱。如果你在做AI应用，又不想被单一云厂商绑死，用这套工具在内部服务器或混合云环境里跑MoE模型，确实是个新选择。当然，真要稳定跑业务，网络、存储、运维这些该考虑的一点也少不了。
说到这，顺嘴提一句：如果你们公司打算上云，找个靠谱的阿里云代理商能省不少心。像易枫顺 - 阿里云官方旗舰级代理商这类服务商，可以帮你规划云服务器ECS的配置，避免盲目堆资源。毕竟FreeToken这类开源项目再香，生产环境的稳定性还是得靠云服务兜底。
FAQ
Q: FreeToken和llama.cpp有什么区别？
A: FreeToken是为MoE模型量身定制的动态协同调度方案，可以在CPU和GPU之间实时分配计算任务；llama.cpp则侧重于单设备上的优化。实测同样的MoE模型，FreeToken解码速度快3~4倍，预填充快6~30倍。
Q: 8GB显存真的能跑35B模型吗？
A: 能跑。FreeToken在RTX 4060 8GB笔记本上运行Qwen3.6-35B，每秒能生成约39个Token。因为MoE模型每次只激活部分专家，再配合CPU内存分担，显存小也能带得动，无非速度比高端卡慢一些。
Q: FreeToken支持哪些显卡？
A: 目前支持NVIDIA RTX 30、40、50系列，Linux和Windows系统都可以用。工具可以从FlashML.ai和GitHub获取。社区里比较推荐的性价比方案是二手RTX 3090/4080配大内存DDR4/DDR5。
关于易枫顺
深圳市易枫顺网络科技有限公司是阿里云官方旗舰级代理商。提供云服务器ECS、云数据库RDS、对象存储OSS等阿里云全系产品官方特惠折扣与代金券申请，以及多云成本优化、企业上云一站式服务。客服热线：19520841949 - 易枫顺
来源：InfoQ
