Evals | 爱折腾的工程师

本文基于 Anthropic Engineering 的《Demystifying evals for AI agents》，面向开发者系统讲解 AI 智能体评估方法论：为什么传统单轮 LLM eval 不够，Agent eval 的 task、trial、transcript、outcome、grader、harness 如何协作，如何组合确定性评分器、LLM judge 与人工评审，以及如何处理非确定性、创造性解法、grader 脆弱、环境污染和 eval 饱和等挑战。文章配套架构图、对比图、指标趋势图和路线图，帮助团队从真实失败案例出发构建可维护的 Agent 评估体系。