大会看点:AI Native时代的工程实践
QCon上海站定在2026年10月22日至24日。前几届大会,大家聊得比较多的还是架构演进和性能调优;这次核心主题直接对准AI Native。所谓AI Native,不是简单把模型API接进来,而是从底层基础设施到应用层,全部围绕AI的工作方式重新设计。
大会涉及的技术方向包括:
- 架构:AI应用怎么拆服务,数据流怎么走,容错怎么做。
- Agent运行:多Agent协作、工具调用、状态管理、失败恢复。
- AI基础设施:GPU集群调度、存储、网络,以及推理优化。
- 数据系统:训练数据、评测数据、线上反馈的采集和处理。
- 安全:模型安全、隐私保护、内容风控。
- 具身智能:机器人、自动驾驶等软硬结合场景。
这些议题背后有一个共同逻辑:AI系统已经进入工程化深水区,光有模型还不够,整个系统必须稳定、可控、高效。
杨林枫:从算子调优到推理自治
阿里巴巴高级技术专家杨林枫会来做主题分享。他的背景挺有意思:斯坦福大学博士,MindSpore核心贡献者,主导过昇腾算子编译器SWFT的设计与研发。现在他是Atrex Kernel Agent核心研发者,同时支持阿里百炼MaaS大规模GPU集群的性能优化。
简单说,他做的事情就是让AI推理这趟高速列车跑得更快,还要更稳。
自动优化闭环怎么运转
杨林枫讲的自动优化流程,不是从空对空的Benchmark里开始,而是从真实生产环境里长出来的。
- 第一步,根据卡型、模型和典型工况,探索部署配置。GPU型号不同,模型结构不同,输入长度分布不同,最优配置可能差好几倍。
- 第二步,从运行Trace里识别热门算子,生成可复现的Benchmark。这里的难点是:线上Trace不能直接当Benchmark用,必须做脱敏和归并处理。
- 第三步,通过Atrex Kernel Agent的循环,完成性能分析、代码生成、验证与优化。这个循环可以反复跑,像是一个自带检查机制的工程师。
- 第四步,把优化后的算子回接到推理框架,做端到端回归和灰度上线。单算子快了没用,模型整体吞吐和延迟达标才算数。
闭环的意思,就是这些步骤不是一次性走完。每次上线后的新Trace,又会成为下一轮优化的起点。
真实生产里的坑:采样、过拟合和波动
这套方案要解决的不是学术难题,而是生产环境里的实际问题。杨林枫在演讲里会重点提到几个痛点。
- 生产工况变化快,长尾多。采样少了代表不了真实流量,采样多了又会占用系统资源,影响线上服务。这个平衡很难拿捏。
- 线上Trace脱敏和归并麻烦。用户数据不能直接用,特征分布不同,直接拿过来的Benchmark可能失真。
- Agent容易过拟合公开Shape,或者把测量的噪声当成优化收益。一个算子看起来快了,可能只是波动,不是真的有效。
- 单算子性能提升和端到端效果之间存在鸿沟。瓶颈转移、内存带宽限制、调度开销,任何一环都可能吃掉收益。
这些问题听起来很细,但恰好在AI Native工程化中最容易被忽视。
为什么这套方案值得关注
这次分享的亮点在于:优化任务从真实生产Trace中产生,而不是从公开Benchmark里挑几个好看的案例;部署配置探索和算子优化被串成一条线;Agent Loop负责多轮优化的同时,外层循环控制正确性和终止条件,防止它跑偏;最终看的是模型端到端结果,不是单个算子的数字。
对正在做AI基础设施、模型推理、Agent开发的人来说,这套思路能直接借鉴。即便不自己训练模型,日常要处理大模型接口调用和并发优化的团队,也能从这里找到判断优化效果的方法。
如果你正在做云资源规划,或者需要评估云服务器ECS的算力选型,找阿里云代理商了解实际情况会高效很多。易枫顺 - 阿里云官方旗舰级代理商长期跟进阿里云资源,能在实例规格和成本控制上给出更贴近业务的建议。
FAQ
Q: 2026 QCon上海站的具体时间和地点?
A: 大会定于2026年10月22日至24日在上海举行,主题聚焦AI Native时代的工程实践。建议关注官方后续发布的详细议程和参会指引。
Q: 杨林枫的分享主要解决什么问题?
A: 主要解决MaaS场景下AI推理性能优化难落地的问题。他从运行Trace中提取热门算子,通过Atrex Kernel Agent自动生成、验证和优化算子,最后用端到端回归确认收益,避免单算子优化看起来快但实际无效。
Q: 自动优化流程里的Agent Loop有什么作用?
A: Agent Loop负责性能分析、代码生成、验证与优化,可以多轮迭代。外层循环会控制正确性和终止条件,防止Agent过拟合或者把测量波动当成收益。整个流程以模型端到端结果为准,确保真实有效。
关于易枫顺
深圳市易枫顺网络科技有限公司是阿里云官方旗舰级代理商。提供云服务器ECS、云数据库RDS、对象存储OSS等阿里云全系产品官方特惠折扣与代金券申请,以及多云成本优化、企业上云一站式服务。客服热线:19520841949 - 易枫顺
来源:InfoQ