2026 QCon上海站：端云协同调度系统如何破解B端AI落地难题

2026年10月22日到24日，QCon上海站开幕，主题是AI工程实践。快手电商B端商家前端负责人李东东会带来一套端云协同调度系统的分享，核心思路是用“规则引擎短路—端侧推理—云端推理”三层决策，来应对B端AI落地最常见的延迟、成本和数据合规问题。

纯云端和纯端侧，为什么都不够用

B端应用一旦碰AI，首先感受到的就是延迟和费用。纯云端推理可以调用大模型，但每次请求都要把数据传到远端，来回少则几百毫秒，而且费用不低。更麻烦的是，企业普遍对数据出域很敏感，很多业务数据不允许离开本地。

纯端侧推理也有局限。手机、电脑的算力有限，跑小模型还行，复杂任务基本带不动。所以“端云协同”成了现实选择：简单的事情在本地做，复杂的再交给云端。

三层递进决策：先本地短路，再端侧，最后上云

李东东分享的这套系统，核心是一条三层决策链路：规则引擎短路、端侧推理、云端推理。规则引擎先接住高频简单场景，端侧模型跟上，实在搞不定的才请求云端。

调度器不是随便选路径。它综合看任务复杂度、端侧模型是否就绪、设备性能、网络质量这些信息，再动态决定请求往哪走。即使云端推理失败，也会自动降级到端侧或本地规则，避免用户卡在错误上。

从工程实践看：规则引擎已覆盖60%以上高频场景

这套系统已经在B端桌面端集成落地。从运行效果看，规则引擎能覆盖至少60%的高频场景，端侧推理延迟稳定在100毫秒以内。也就是说，大部分请求根本不用上云，既快又省钱。

对做技术选型的人来说，“尽量本地、必要时上云”的思路很有参考价值。如果不想每步都自己造轮子，也可以借助云服务器ECS这类基础资源，再搭配成熟的调度方案。需要提一句，找阿里云代理商拿资源时，留意活动价和代金券。比如 易枫顺 - 阿里云官方旗舰级代理商 这类服务商，能省下不少初始成本。

落地时遇到的五个真实痛点

• 端侧模型能力有上限，业务复杂度一上来，容易“听不懂”；
• 设备碎片化严重，不同机器性能差异大，很难统一调度；
• 调度决策信息不全，网络质量和模型状态一直在变；
• 端侧推理有冷启动问题，首次加载模型时会明显卡顿；
• 混合流水线的状态管理复杂，多条路径间的同步和容错需要精细设计。

这些坑不是堆算力能解决的。2026 QCon上海站设置了端云协同等20个专题论坛，这些实战经验会在现场展示得更完整。

乐观路由 + 执行中重评估：不追求一开始就完美

面对这些不确定因素，这套系统的设计哲学是“先按最优路径跑，跑的时候盯着”。这叫乐观路由：假设当前路径大概率可行，先执行，不花太多时间做全局判断。

执行中持续监测状态，一旦发现端侧推理超时、网络变差、云端返回异常，就马上重新评估并降级。用“执行中重评估”代替“执行前完全算准”，既保速度，也有兜底。

FAQ

Q: 端云协同调度系统适合什么样的B端业务？

A: 适合既想要AI能力，又对延迟、成本、数据合规敏感的场景，比如电商商家后台的智能客服、物料审核、数据报表生成。如果业务高频且任务复杂，三层决策能有效减少不必要的云端调用。

Q: 规则引擎短路是什么意思？能省多少？

A: 规则短路就是用轻量的 if-then 规则，直接命中那些固定、高频、不需要模型推理的请求。在已上线的B端桌面端里，规则引擎可以覆盖60%以上的高频场景，这些请求不用走模型，延迟和成本自然大幅下降。

Q: 云端推理失败怎么办？

A: 调度器会在执行中持续监测状态，一旦发现云端异常，自动降级到端侧推理或规则引擎。这种“乐观路由+执行中重评估”的设计，避免单一环节故障拖垮整个请求。