如何构建优秀的评估 - 第10部分：衡量过程，而不仅仅是结果。就像高中数学一样，仅仅得到正确答案是不够的……
How to build great evals - part 10 Measure the steps, not just the result. Much like high school math, it isn’t sufficient just to get the right answ...
Madhu GuruAI2026-09-10
如何构建优秀的评估 - 第10部分测量步骤，而不仅仅是结果。就像高中数学一样，仅仅得到正确答案是不够的，到达那里的步骤是关键的。两个代理轨迹可能产生相同的答案（42!!），但其中一个搜索了正确的来源，检索了正确的文档，进行了4次干净的工具调用并计算了结果。另一个进行了17次调用，重复搜索了3次相同的内容，从2次错误中恢复，最终到达目的地。很明显，哪一个更好。以下是你需要做的事情：
1/ 明确定义整个工作流程
2/ 定义每个步骤的任务
3/ 思考如何衡量每个步骤 - 是单独的评估还是更大评估的一部分
4/ 定义你的中位数和困难任务 - 在评估中反映它们
现在，每次查看评估结果时，首先研究步骤，然后是最终结果。
Madhu Guru：如何构建优秀的评估 — 第9部分
评估路线图问题
大多数评估失败是因为团队将它们视为静态的工件，而用户期望和行为已经发生了变化。你的评估需要一个路线图，随着你的产品和实际使用模式的发展而发展。
参考译文：如何构建优秀的评估 - 第10部分测量步骤，而不仅仅是结果。就像高中数学一样，仅仅得到正确答案是不够的，到达那里的步骤是关键的。两个代理轨迹可能产生相同的答案（42!!），但其中一个搜索了正确的来源，检索了正确的文档，进行了4次干净的工具调用并计算了结果。另一个进行了17次调用，重复搜索了3次相同的内容，从2次错误中恢复，最终到达目的地。很明显，哪一个更好。以下是你需要做的事情：
1/ 明确定义整个工作流程
2/ 定义每个步骤的任务
3/ 思考如何衡量每个步骤 - 是单独的评估还是更大评估的一部分
4/ 定义你的中位数和困难任务 - 在评估中反映它们
现在，每次查看评估结果时，首先研究步骤，然后是最终结果。
Madhu Guru：如何构建优秀的评估 — 第9部分
评估路线图问题
大多数评估失败是因为团队将它们视为静态的工件，而用户期望和行为已经发生了变化。你的评估需要一个路线图，随着你的产品和实际使用模式的发展而发展。
原文
How to build great evals - part 10Measure the steps, not just the result.Much like high school math, it isn’t sufficient just to get the right answer, the steps to get there are critical.Two agent trajectories might produce the same answer (42!!).but one of them searches the right sources, retrieves the right document, makes 4 clean tool calls and calculates the result. The other makes 17 calls, searches the same thing 3 times, recovers from 2 errors and eventually gets there. It’s clear which one is better.Here’s what you need to do:1/ clearly define your whole workflow2/ define the tasks in each step3/ think through how you measure each step - separate evals or is it a slice of a bigger eval4/ define your median and hard tasks - reflect them in your evalsNow any time you look at eval results, study the steps first and the final results next.Madhu Guru: How to build great evals — Part 9The Eval Roadmap Problem Most evals fail because teams treat them as static artifacts while their users expectations and behaviors have evolved. Your evals need a roadmap that evolves with your product and actual usage patterns.Take a