2026年QCon上海站定于10月22日至24日举行，今年的大会主题瞄准AI时代的工程实践。蚂蚁集团架构师刘杨将带来一场关于Agent可观测的实战分享，核心话题是从Trace到规模化实时评估。面对生产环境里的真实流量，传统的日志、指标和链路追踪，已经很难判断Agent到底有没有把任务做对。企业级Agent可观测体系，正在变成刚需。如果你所在的公司已经上云，这或许是AI落地中最值得关注的技术议题之一。
传统监控为什么在Agent面前失灵？
以前排查问题，无非就是翻日志、看指标、查链路追踪。可Agent的行为逻辑和传统系统不太一样，它会自己规划步骤、自己调用工具，甚至中途改变策略。日志里只记录“做了什么”，却看不出“为什么这么做”。指标能反映延迟和错误率，但说不清一次任务到底算成功还是失败。至于链路追踪，Trace是有了，可问题是，怎么判断这个Trace对应的是好结果还是坏结果？刘杨的观点是，传统手段连“Agent是否正确完成任务”都回答不了，更谈不上定位质量问题了。
这背后其实是一个很现实的矛盾：Agent的决策过程是开放式的，而传统可观测体系是为固定调用链设计的。所以要构建企业级的Agent可观测与评估体系，就得从采集、评估到诊断，全链路重新设计。
两阶段评估：如何省下90%的token成本？
刘杨分享的核心思路，是用两阶段评估机制来平衡成本与效果。第一阶段，用轻量级小模型对全量Trace做筛查，目标是低成本、高召回。这个阶段不要求精确判断，只求把可疑的候选Trace尽量捞出来。第二阶段，再让大模型对候选Trace做精细裁决，判断到底是不是真有问题。
为什么要分两步？因为大模型跑一次推理太贵了。要是把全部生产流量都丢给大模型评估，成本根本扛不住。蚂蚁的做法是：小模型先过滤掉大部分正常Trace，只有少数可疑样本进入大模型。这样一来，整体token成本大约能降低90%，像安全合规这类的底线指标，也就能覆盖到全生产流量，而不只是抽样。
这里还有一个关键细节：采集层基于OpenTelemetry的GenAI语义约定，统一了模型调用、工具调用和Agent执行过程的埋点与采集，并且支持业务场景扩展。评估层则围绕Trace，通过配置化诊断任务和实时处理管线，把评估延迟压到分钟级。再加上声明式表达式，新Agent和新评估场景的接入成本被大幅拉低。
把可观测延伸到推理引擎内部
刘杨还展望了一个更有意思的方向：把Agent Trace和模型推理过程关联起来。也就是说，不止看Agent调用了哪些工具，还能看到大模型内部每一步推理在Token粒度上的性能表现，甚至尝试用不确定性信号来预测生成质量。这意味着可观测性从“外挂”变成了“内嵌”，对定位复杂Agent问题会非常有价值。
当然，这也有代价。两阶段评估依赖针对业务场景训练的有效小模型，跨层可观测则需要对推理引擎埋点，都会带来额外的开发接入成本。这不算一套开箱即用的免费午餐，但方向是对的。
对于正在折腾Agent落地的团队来说，这套实践提供了很好的参照。毕竟Agent跑起来只是第一步，真正难的是让它稳定、可控、可评估。如果你也在做类似的事情，不妨关注一下这场分享。另外，易枫顺 - 阿里云官方旗舰级代理商作为阿里云代理商，手里常有阿里云优惠和阿里云代金券，企业上云或者采购云服务器ECS时能省不少预算，感兴趣的可以留意。
FAQ
Q: Agent可观测和传统可观测最大的差别是什么？
A: 传统可观测主要回答“系统发生了什么”，而Agent可观测需要回答“任务是否成功完成、为什么失败”。Agent可能自主规划和调用工具，固定链路追踪很难表达这种开放式行为，所以需要以Trace为核心的评估体系，叠加小模型+大模型的两阶段判断。
Q: 两阶段评估真的能省成本吗？
A: 能。用轻量小模型先全量筛查，把大部分正常流量过滤掉，只有少量候选Trace进入大模型深度分析，整体token成本大约能降低90%。但前提是小模型要针对业务场景做好训练，否则召回率不够，会漏问题。
Q: 想落地这套方案，团队需要准备什么？
A: 需要改造采集层，统一采用OpenTelemetry GenAI语义约定；建设实时处理管线，把评估延迟控制在分钟级；还要训练或调优用于第一阶段筛查的小模型。如果想把可观测深入到推理引擎内部，还得对模型推理过程做埋点，投入不小。
关于易枫顺
深圳市易枫顺网络科技有限公司是阿里云官方旗舰级代理商。提供云服务器ECS、云数据库RDS、对象存储OSS等阿里云全系产品官方特惠折扣与代金券申请，以及多云成本优化、企业上云一站式服务。客服热线：19520841949 - 易枫顺
来源：InfoQ
