用Jev给harness的/goal做自定义verifier,查目标是否真完成
09-24上一次:Elvis Saravia 称 Google 论文指出自动优化 agent harness 会让评测分上升但真实任务变差,并给出防止方法
8 月 22 日 – 9 月 24 日,同一件事上还说过 18 次
09-22Elvis Saravia 推荐 AML 的 Agent Memory Challenge,用 150 个软件任务测试检索陈旧上下文问题
09-21Elvis Saravia 预告将发布用 Jev 构建 System 1 + System 2 agent harness 的指南
09-21Elvis Saravia 建议把 Jev 合集喂给 agent 以生成新用例
09-20Elvis Saravia 认为 Jev 类 System One 模型在持续评测、长时程 agent 验证器与递归自改进 harness 三方向值得关注
09-16Elvis Saravia 转述 Salesforce 基于 Nemotron-3-Super-120B 训练企业 agent 模型 Koa
09-15Elvis Saravia 称多 agent harness 同步是难点,并转述 Plasma AI 发布 Radio 方案
09-15Elvis Saravia 建议用 TypeScript 或 Python 从零构建 agent harness 以真正理解其机制
09-15Elvis Saravia 建议用 TypeScript 或 Python 从零构建 agent harness 以真正理解其原理
09-14Elvis Saravia 判断:AI 工程师应学习构建 agent harness,以获取 agent 的独特价值
09-12Elvis Saravia 主张自建并优化 agent harness 能更快拿到更好代码、输出与成本
09-04Elvis Saravia:评测单元应是完整求解器(模型+工具+记忆+执行环境+控制回路),仅评基座模型会漏掉智能体实际失败点
09-02Elvis Saravia:openJiuwen 开源 harness 展示静态 agent harness 可被推进多远
08-29Elvis Saravia 赞同 Sam 观点:拥有自己的智能体、工具链和智能,基于开源和模型无关构建
08-26Elvis Saravia 推荐关于 agent harness 评估的论文:12 个开源模型在 26 种配置下回答 3,679 道题
08-25Elvis Saravia 推荐阅读:Prime Agent 开源自我改进 harness 出现
08-24Elvis Saravia:探讨 agent harness 如何支持递归自我改进(RSI)
08-22Elvis Saravia:开源 harness 是未来,正基于 Pi 和 Hermes Agent 构建