Evaluation | 爱折腾的工程师

AI Agent 评估指南：从模型分数到轨迹质量的范式迁移

NVIDIA 这篇 Agent 评估指南最值钱的不是那 5 条 Tip，而是它戳破了一层窗户纸：模型基准回答的是『引擎够不够强』，Agent 评估回答的是『系统在你的技术栈里能不能反复跑通』。本文用一个『订单查询 Agent』贯穿全文，把 TSR、Tool Call Accuracy、Trajectory Efficiency 三件套讲清，附评估驱动开发（EDD）循环与最小可行评估栈清单。

把『基于 URL 写一篇博文』这条 prompt 救回来：一个 Claude Skill 的设计、打造与三轮评测实录

为什么「基于这个 URL 写一篇博文」这条 prompt 几乎注定塌？prompt-optimizer skill 用 5 维度心智模型 + 5 步工作流把它救回来。本文先讲清楚它从概念构思到定型上线的 4 阶段开发过程、设计动机和实现原理，再把一份完整的双轨评测（质量评测 21/21 vs 4/8、触发评测三轮迭代 F1 0.90 → 1.00、全样本 3/3 全票一致）拆给你看，附 8 张数据信息图。读完你会知道——评测 skill 不只是看分数，更是看分数停在 100% 之后还有什么可以改。

AI Agent 评估指南：从模型分数到轨迹质量的范式迁移

把『基于 URL 写一篇博文』这条 prompt 救回来：一个 Claude Skill 的设计、打造与三轮评测实录

FEATURED TAGS