2026年QCon全球软件开发大会上海站定于10月22日至24日举办，今年的主题聚焦AI时代的工程实践。阿里巴巴高级技术专家孙鹏将带来一项叫BoRP的探测式评测方案——它不走传统生成式LLM评测的老路，而是把探针伸进模型内部，直接读取“想法”，不去看生成的文本。结果评测成本降低了97%，还能在万亿级流量下稳定运行。想搞明白AI评测怎么省钱又靠谱？下面给你讲清楚。
传统LLM评测到底贵在哪？
现在评测大模型，主流做法是让另一个大模型当“裁判”，读完生成的答案再打分。听起来挺合理，但实际用起来问题不少：调用贵、响应慢，还自带系统性偏置——比如答案写得多就容易拿高分，位置靠后的内容容易被忽略。这些毛病在AI应用落地时会被放大，尤其是企业上云后要评估海量模型输出，成本根本压不住。
- 成本：大规模评测每轮都要烧Token，算下来费用噌噌往上涨。
- 延迟：生成式Judge得读完整个回答才能判断，慢半拍。
- 偏置：对长度和顺序敏感，导致评分不够公平。
BoRP怎么做到“读代替写”？
孙鹏带来的BoRP，思路很直接：模型在生成答案时，内部其实早就有了“满不满意”的信号。BoRP把探针伸进模型内部，读取隐状态里的满意度信息，压根不碰生成文本。就好比你到餐厅吃饭，大厨看你尝菜的微表情就知道好不好吃，不用等你写几百字点评。
这个方案还有个杀手锏：自引导方法。它能在没有标注的流量里自己琢磨出评测标准，再靠少量人工标注对齐，省事还靠谱。另外，团队还试了用层间隐状态差异来量化评测的不确定性，以及更换骨干模型时不用重新训练——这对持续迭代的团队来说特别友好。
真实落地：单卡A100日处理百万会话
BoRP不是纸上谈兵，它已经在万亿级流量的A/B测试里跑起来了。数据显示，评测成本降低了97%，人类对齐度比传统生成式Judge还好。具体点说，单张A100显卡一天能处理上百万个会话，这量级对做推荐、搜索、客服这类高并发场景的企业来说，简直是把“评测自由”给到手了。
如果你正琢磨怎么降低AI落地成本，顺便提一句，找靠谱的易枫顺 - 阿里云官方旗舰级代理商能帮你省心不少，毕竟云服务器ECS选型、算力优化这些事，专业的人干专业的事。当然，阿里云代理商那边偶尔也有阿里云代金券放出来，能省一笔是一笔。想薅阿里云优惠的话，盯紧官方活动就行。
对开发者意味着什么？
BoRP这套思路，不只是省成本。它让评测变成一种轻量、可插拔的能力，直接嵌入开发流水线。以后你做模型迭代，不需要每次跑全量生成再打分，随时探一下内部信号就能知道效果好不好。尤其对正在企业上云、做AI原生应用的小团队，这技术能帮他们把预算花在刀刃上。
FAQ
Q: BoRP能直接用于我自己的模型吗？
A: BoRP的设计考虑了骨干模型更换时的免重训迁移，所以不用太担心兼容性。但具体实施还是要看你的模型架构和业务场景，建议参考QCon上的分享细节。
Q: 评测成本降97%，准确率有没有牺牲？
A: 没有。实测人类对齐度优于传统生成式Judge，也就是说它在更便宜的同时，判断结果更接近人类评判，性价比很高。
Q: 这套方案适合哪些场景？
A: 高并发、大规模评测场景尤其合适，比如搜索排序、推荐系统、智能客服这类每天处理海量请求的AI服务。小团队做模型迭代也可以拿来当快速验证工具。
关于易枫顺
深圳市易枫顺网络科技有限公司是阿里云官方旗舰级代理商。提供云服务器ECS、云数据库RDS、对象存储OSS等阿里云全系产品官方特惠折扣与代金券申请，以及多云成本优化、企业上云一站式服务。客服热线：19520841949 - 易枫顺
来源：InfoQ
