标签: Evals

2 篇文章

很多团队以为 Agent 能不能上线取决于模型,其实更早卡住的是治理层
我现在越来越觉得,很多 Agent 项目最后能不能上线,关键根本不在模型。模型当然重要,但它通常不是第一个把项目卡死的地方。更常见的现实是:团队刚把原型跑起来,接下来就被一连串更难回答的问题绊住——谁来审计?谁来兜底?错误动作怎么算?权限怎么切?出事后能不能还原发生了什么? OpenAI 在 2026 年发布的《Building Governed …
我为什么越来越不相信“编码代理看起来不错”这种评估,真正有用的是技能级评测
我现在越来越不相信“这个编码代理看起来还不错”这种判断了。因为它通常只意味着两件事:要么演示做得顺,要么你刚好让它撞上了一个适合发挥的样例。真正进入工程环境之后,问题不是它能不能偶尔写出一段对的代码,而是它在重复任务里能不能稳定地走对流程、少犯同一类错、让审阅成本真的下降。 OpenAI 在 2026 年初公开的《Testing Agent Ski…