Jev 应用图谱重构:判断类模型如何进入真实流程

从判断原语、GEO 双案例到证据边界:把 60 条公开记录读成一条可验证的工作流

Posted by iceyao on Tuesday, September 22, 2026

引言:真正的问题不是 Jev 能做什么

Jev 应用图谱不像一份典型的产品宣传页,也不像一份 API 文档。它更像一份经过整理的证据清单:60 条公开记录,覆盖 9 类场景;每条记录都有输入、判断、后续动作、启发,以及一组专门用来限制过度解读的证据边界。

这份材料描述的模型能力其实很窄。Jev 是 TypeSafe AI 的 System One 系列模型,核心职责可以压缩成三个动词:判断、选择、评分。它不负责写长文,不负责执行动作,也不能因为出现在某个工作流里就自动获得联网、视觉或权限能力。

按“通用模型能做什么”的方式提问,这个能力集合似乎不够宏大。但换一个问题,答案就完全不同了:

如果一个模型只在给定材料上做一次有限判断,它应该被放进生产流程的哪一个位置?

图谱没有用能力雷达图回答,而是给出了 60 个具体的“插入点”。这也是阅读它的第一把钥匙:判断类模型的价值,不主要体现在它能不能独立完成任务,而体现在它是否能把某个流程中的模糊环节变成可消费、可回退、可复核的信号。

Jev 应用图谱总览

下文不再按照原页面的目录顺序逐节复述,而是沿着一条工程主线重组材料:先建立“输入—判断—动作”的判断契约,再进入 #module-geo 的两个核心案例;随后把 10 条 GEO 可借鉴记录重新归并成四种能力,回看其余场景里的通用工作流,最后讨论实验方法与证据边界。


先给结论:把 60 条案例读成一份“判断契约”

把 60 条记录放在一起看,它们几乎都能被还原成三段:

  • CONTEXT:程序准备好文本、状态、问题和候选项;
  • Jev:在这个边界内做判断、选择或评分;
  • ACTION:代码、流程或人工复核消费结果,执行后续动作。

这不是官方 SDK 的统一架构,也不是 60 个项目共享的框架。图谱把它称为常见工作流的解释性示意,并特别说明各案例的感知、生成、执行与安全职责仍需分别判断。它真正提供的是一条分工约定:模型只负责中间那次判断,其他职责不要顺手交给它。

通用工作流与职责分工

从这条约定出发,可以把每个案例抽象成一份“判断契约”:

契约字段 要回答的问题 典型承担者
输入 材料、状态、问题和候选是什么? 代码、检索器、传感器或其他模型
判断 是存在性判断、有限选择还是评分? Jev
输出 下游程序能消费什么类型的结果? Noul / Choice / Score / Boolean
动作 结果会触发什么流程?是否可回滚? 业务代码、工具或人工
失败策略 不确定、冲突或调用失败时往哪退? 配置、强模型、人工和权限系统

这份契约比“模型能力很强”更接近工程现实。因为一旦输入边界、输出原语和失败策略都被写清楚,模型就不再是一个需要自由发挥的黑盒,而是流程中的一个判断组件。


一、先看清数字:60 条记录不等于 60 个部署

1.1 四个数字和两种来源

页面顶部的统计是:

数字 含义
60 公开应用记录
09 应用场景模块
27 官方来源记录
33 项目与作者记录

27 条官方记录来自 TypeSafe AI、Vercel、LangChain 的一手资料,具体包括 20 条教程或示例、4 条工作流评测、3 条演示。另外 33 条由 30 个开发者项目和 3 项作者实验构成。

但这四个数字不能直接被翻译成“60 个客户”或“60 个成熟系统”。原文明确说明,记录中包含教程、演示、评测、原型与作者实验;它们不等同于 60 个成熟商业部署。

还有一个容易被忽略的计数细节:60 条独立任务对应 59 个去重原始 URL。Doom 与 Wikiracing 共用同一篇发布文章 typesafe.ai/blog/introducing-system-one-models-and-jev,所以图谱将它们计作两个任务,而不是两个客户或两个独立出处。

资料口径也被明确标出:原研究资料截至 2026 年 9 月 20 日,HTML 整理日期为 2026 年 9 月 21 日;本页没有新增联网核验,也没有调用 Jev API 进行独立复测。

1.2 九类场景:模块是分类,标签才是线索

60 条记录按照主要用途分为 9 个模块,每条记录只计入一个模块:

编号 模块 案例数
01 GEO 与营销——从品牌提及,到官网表达 2
02 知识检索与证据——找得到,还要有依据 9
03 文档与数据工程——让非结构化材料进入流程 9
04 业务分流与风控——标准化判断,保留人工入口 7
05 Agent 编排与安全——选工具,查风险,看进展 9
06 浏览器与设备自动化——从状态理解,到受控动作 7
07 开发与运维——从代码差异里,找出重点 7
08 内容与媒体审核——从一篇文章,细到一句表达 7
09 交互与能力评测——看清任务,也看清指标口径 3

九类场景模块与案例分布

单看模块数量,GEO 与营销反而最小,只有 JEV-41 和 JEV-56 两条。但页面又为 10 条记录打上了“GEO 可借鉴”标签:

JEV-41、JEV-56、JEV-09、JEV-10、JEV-11、JEV-16、JEV-17、JEV-34、JEV-55、JEV-58

这两个数字回答的是不同问题:2 条是模块归类,10 条是能力迁移线索。 如果只读模块,就会把 GEO 限定成两个功能;如果只看标签,又容易忘记这些记录原本属于不同场景、证据等级也不同。后文会保留这两个层次。


二、建立共同语言:一张卡片与四类输出原语

2.1 五个段位决定一条记录能否比较

60 条记录来自官方文档、GitHub 项目和作者实验,来源形式并不统一。图谱没有按来源把它们分成三堆,而是把每条记录强制整理成五个段位:

  • 01 · 输入——材料或状态是什么;
  • 02 · Jev 判断——判断、选择还是评分;
  • 03 · 后续动作——下游流程如何消费结果;
  • 启发——可以迁移到哪里;
  • 证据与边界——原始记录、实际承担环节、可信度边界、核验方式与原始链接。

案例卡片解剖

这五个段位其实对应五个阅读问题。

第一,模型到底看到了什么?JEV-09 处理的是两个商品目录,JEV-05 处理的是带行号的服务条款,输入不同,能力边界就不同。第二,模型到底输出了什么?Noul、Choice、Score 和 Boolean 的下游消费方式并不相同。第三,结果是否真的进入了流程?如果没有后续动作,一条记录很可能只是一次孤立演示。

第四,启发是不是事实?“可以把品牌别名归一成实体”是解释性迁移,不代表 JEV-09 已经证明了某个 GEO 业务的效果。第五,证据能支持到哪一步?代码接入只能支持“存在集成”,不能自动支持“线上采用”或“带来收益”。

图谱把这两层故意拆开,并给每条记录附上类似这样的页脚:

资料截至 2026.09.20 · A·官方一手 / B·项目/作者一手;原研究未调用 Jev API,本页为可视化重编,未新增联网核验或独立复测。流程图与启发为解释性整理。

这不是排版上的重复,而是证据口径的一部分。

2.2 四类输出原语:模型的结果如何进入代码

案例卡片中的 02 · Jev 判断,最终落在四类输出原语上:

  • Noul:非线性或概率型判断,例如“是否存在品牌提及”“这段证据是否可用”;
  • Choice:在有限候选中选择,例如部门、动作、路由或下一跳;
  • Score:给对象一个可比较的分值,用于排序或分级;
  • Boolean:对单一命题给出真假判断。

四类输出原语

原语不是标签游戏,而是下游接口:

  • Boolean 通常进入一个门禁或条件分支;
  • Choice 进入查表、路由或有限动作执行;
  • Score 需要额外定义阈值,阈值实际上把一部分判断权收回到配置中;
  • Noul 需要置信度策略、重复调用观察和人工入口,不能直接触发不可逆动作。

JEV-26(Vercel 支持工单分流)把三类原语放在同一条链路里:是否请求退款是 Boolean,所属部门是 Choice,严重程度是 Score。而 JEV-18(SEC 文件行业分类)虽然是 Choice,却在确定程度不足时回退到更粗粒度的父级分类。这就是“原语 + 兜底”,而不是把每个结果都强行压成一个精细标签。

2.3 判断只负责判断,其他事情各归其位

图谱中反复出现的边界声明,实际上构成了一条统一的职责规则:

  • JEV-10:模型可以筛选相关、可用、冲突或有提示注入风险的段落,但不能代替权限控制,也不能保证消除全部注入;
  • JEV-27:工具调用前的风险检查不能替代沙箱、权限隔离或人工批准;
  • JEV-36:语义 HTTP 路由不能充当身份认证、授权或访问控制;
  • JEV-21:发票金额由代码校验,模型的结构化判断不等于真实付款。

可以将这些边界概括为:

职责 典型内容 主要承担者
确定性计算 候选召回、字符串核对、金额计算、日历校验、格式输出 代码
语义判断 相关性、可用性、冲突、支持关系、风险与有限选择 Jev
失败处理 升级、回退、告警、人工确认 流程与人工
安全控制 认证授权、沙箱隔离、人工批准、不可逆动作保护 代码与权限系统

JEV-13 的级联校验正好说明这种分工:小模型先抽取字段,Jev 逐字段核对,不确定或失败时升级到更强模型;初始字段生成和最终兜底并不由 Jev 独自完成。


三、进入 #module-geo:GEO 的两端不是一个总分

3.1 从品牌被提到,到品牌自己讲清楚

原页面给 GEO 与营销模块的副标题是:从品牌提及,到官网表达。

这里的 GEO 不是一个笼统的“AI 时代 SEO 分数”,而是至少包含三个可以拆开的观测点:

  1. AI 回答是否提到了目标品牌;
  2. 回答中的引用链接是否真实、相关并支持相邻论断;
  3. 官网是否把产品、受众、价值和信任依据讲清楚。

这三件事的失败模式不同:品牌没被提及是召回问题,认错同名实体是归一问题,引用不能支持论断是证据问题,官网说不清楚则是表达问题。把它们压成一个“GEO 得分 78”,反而会让问题无法定位。

3.2 JEV-41:AI 回答里,品牌被提到了吗?

JEV-41 来自开发者项目 usenotra,标题是“AI 回答里,品牌被提到了吗?”。它的描述是:Notra 在 GEO 模块中调用统一评价客户端,对 AI 回答中的品牌提及进行判断,并保留禁用与回退配置。

按照卡片结构拆开:

  • 01 · 输入:目标品牌与 AI 回答;
  • 02 · Jev 判断:评估是否存在品牌提及;
  • 03 · 后续动作:业务模块接收结构化结果。

原文给出的启发很克制:GEO 监测可将实体提及、引用链接和排名分成独立检查,避免互相替代。

这个案例真正有价值的工程细节,在“证据与边界”里。第一,GEO 模块调用的是统一评价客户端;同一客户端还支撑路由与反馈分类,说明判断能力被抽成了一个可复用的组件。第二,项目保留了禁用与回退配置,核验记录中出现 evaluateMention、getEvaluationClient、typesafe-ai/jev 以及 .env 开关。

这给出了一个比“模型准不准”更早的上线顺序:先让判断可被关闭、可被回退、可被观测,再评估它是否值得扩大使用。 但边界同样明确:已见接入代码及开关,无法从代码确认线上启用比例、客户数量及实际效果。代码里有,不等于线上正在运行。

3.3 JEV-56:官网,把业务讲清楚了吗?

JEV-56 来自 replynodes,标题是“官网,把业务讲清楚了吗?”。ReplyNodes 抓取 SaaS 官网为 Markdown,然后检查产品、目标受众、价值主张、差异化、信任依据和行动指引。

它的三段位是:

  • 01 · 输入:官网正文与表达检查项;
  • 02 · Jev 判断:判断清晰度与信息完整性;
  • 03 · 后续动作:生成多维表达检查结果。

它同时使用 Boolean / Choice / Score 三种输出:某项信息是否存在可以是布尔判断,表达属于哪一类可以是有限选择,清晰度则可以是评分。模型并不是给整站生成一段漂亮文案,而是在已有内容上执行一组可追踪的检查。

原文的迁移建议是:先审查关键信息是否清楚,再用真实转化数据验证改进。 这句话把“诊断”和“效果”分成了两步:模型分数只能帮助发现问题,不能直接代表 SEO/GEO 排名、真实访客调研或客观企业评级。

GEO 与营销:两条记录,两端问题

3.4 两条记录合起来,才看见 GEO 的完整闭环

JEV-41 看的是外部有没有提到你,对象是 AI 回答,方法是监测;JEV-56 看的是你自己有没有讲清楚,对象是官网,方法是表达诊断。

两条记录共享的不是行业,而是拆解方式:把一个大问题拆成可单独判断的小问题,把结果交给下游流程,最后再用真实业务指标验收。GEO 因此不应被设计成一个孤立的总分,而应是一组可定位的信号:提及、实体、引用、表达、信任、行动指引,各自有输入、输出、阈值与失败处理。

这也解释了“模块 2 条、标签 10 条”的差异:GEO 的迁移价值不在于它已经拥有多少专属功能,而在于其他领域的判断原语可以被搬到 GEO 工作流里。


四、从 10 条 GEO 标签,归并出四种能力

图谱第七节把 10 条“GEO 可借鉴”记录接回 GEO 业务,并明确声明:这些是应用迁移建议,不计作新增案例,也不代表已经验证的商业效果。

从 10 条记录到 4 个试验方向

4.1 品牌提及与实体归一:先确认“是不是它”

关联案例:JEV-41 + JEV-09。

JEV-09 的原始问题是两个商品目录可能用不同名称描述同一产品。Jev 比较记录,判断相同实体、不同实体或需要人工处理,输出 Score / Noul。把这套思路迁移到品牌监测,可以先把目标品牌、别名与 AI 回答配对:

  1. 先判断是否存在实质提及;
  2. 再核对同名实体是否指向目标品牌;
  3. 最后把引用 URL 与回答中的位置单独记录。

先测的指标应该包括提及识别精确率、召回率和同名误合并率。误合并尤其需要单独看:漏掉一次提及会损失一条数据,把另一家公司算成目标品牌则会污染整个监测口径,而且很难在后续排序中发现。

JEV-09 还保留了“需要人工处理”的出口。这比强制二选一更适合品牌场景:规则不清时降低自动化粒度,先把疑点留在队列里。

4.2 信源筛选与引用审校:把“可信”拆成流水线

关联案例:JEV-34、JEV-10、JEV-11、JEV-55。

这四条记录拼成的不是一个“引用分数”,而是一条可审计的链路:

选搜索策略 → 筛选候选段落 → 判断论断是否被支持 → 验证引文是否存在 → 交给人确认。

JEV-34 负责搜索前选择搜索来源、时间范围和查询方向,搜索本身来自外部 Search1API;Jev 的职责是选择与判断,不能把外部搜索写成模型自身联网能力。

JEV-10 负责在生成答案前检查检索段落是否相关、可用、冲突或包含提示注入,并保留矛盾提示。边界是模型筛选不能代替权限控制,也不能保证消除全部注入。

JEV-11 把两个经常被混为一谈的问题分开:Jev 判断引用片段是否支持相邻论断,代码再核对引用文字是否真实存在。前者是语义支持关系,后者是确定性字符串校验,混在一起就很难知道失败发生在哪一步。

JEV-55 将引用句与论文证据片段配对,让 Jev 判断支持、矛盾或无关,最后由人确认。只取摘要时证据较弱,检索、Claude 和字符串验证承担其他环节,Jev 并不独立完成全文取证。

因此,先测指标不能只看“引用准确率”,至少还要观察相关性、错引检出率和有效证据误删率:前者发现漏放,后者发现错杀。

4.3 商业意图与问句特征:把问句变成结构化信号

关联案例:JEV-16 + JEV-17。

JEV-16 面对多层标签体系,逐层选择相关类别,把复杂分类转成多次有限候选上的 Choice 判断。它提示 GEO 可以按行业、场景和需求拆分意图层级,模糊样本则回退到更粗的类别。

JEV-17 的方法更接近特征工程:生成模型提出特征问题,Jev 为葡萄酒评论提取数值或类别特征,再把结果输入 CatBoost 等传统预测模型。迁移到 GEO,可以把问句中的行业、场景、预算、比较和采购信号变成结构化特征,再用真实业务数据验证它们是否与线索价值相关。

这里的关键不是让模型直接宣布“这个用户很有价值”,而是让模型产生一组可以被后续系统统计和验证的字段。先测标签一致性、歧义率,以及这些特征与线索价值的关联。原文同时提醒,这些官方内容属于离线研究,样本内或留出集成绩不能直接外推经营收益。

4.4 官网表达与内容质检:先测一致性,再看转化

关联案例:JEV-56 + JEV-58。

JEV-56 检查产品清晰度、目标受众、价值主张、差异化、信任依据和行动指引;JEV-58 则把 27 篇作者文章和 10 篇人为构造的 AI 风格文本作为材料,执行 21 项写作模式检查。

作者报告的规模是 37 篇 × 21 题 = 777 项判断,但时间和费用是作者口径,原报告没有被本次独立复测。它给出的启发是:内容质检应拆成可标注的小问题,人工评审一致性比单一总分更值得先测。

这一点与 JEV-02、JEV-01 的稳定性案例相互印证:正确率和重复调用一致性要分别记录,概率稳定性也不能直接等同于判断正确率。对官网或内容团队来说,先确认不同评审者是否能对同一条检查项达成一致,再观察改版后的真实转化,通常比先追求一个漂亮总分更可靠。

4.5 把四种能力接成一个最小实验

图谱给出的操作建议可以直接改写成实验入口:先建立带人工标签的小样本集,记录模型版本、问题、阈值和原始响应,再分别观察质量、覆盖率、延迟与成本。

这四个维度不能互相替代:质量回答“判断对不对”,覆盖率回答“多少输入能得到可用结果”,延迟回答“能不能进入当前流程”,成本回答“是否值得持续调用”。在四个维度都可观测之前,不宜把某条公开演示写成生产方案。


五、回看其余 58 条:判断类模型反复落在哪些位置

除 GEO 模块的 2 条外,其余 8 个模块共有 58 条记录。逐条重述会变成目录,按工作流形态归纳更容易看清它们的共同结构。

5.1 有限候选上的选择:模型不负责召回

这是 Choice 最典型的场景。候选集合先由程序生成,模型只在其中选择:

  • JEV-28 从网页 DOM、目标和操作历史中选择浏览器动作与元素;
  • JEV-29 在 Android 界面中选择点击或输入;JEV-30 在 macOS 桌面状态中选择动作与控件;
  • JEV-07 从预设金融分析函数和有限参数中选择组合;JEV-08 先筛技能目录,再选择候选技能;
  • JEV-23 将家居指令映射到设备、动作;JEV-24 在 Doom 的限定动作中选择下一步;JEV-25 从维基候选链接中选择下一跳;
  • JEV-35 在 Neo4j 相邻节点和关系中选择下一步;JEV-48 按请求难度选择模型档位;JEV-49 将邮件路由为 invoice 或 general;JEV-59 从程序列出的合法棋步中选择下一步。

共性是候选质量决定上限:DOM 元素、合法棋步、函数目录、技能清单和图节点都由其他组件准备,模型不做候选召回。

边界也高度重复。JEV-28 的机票演示只到结果展示,不选票、不订票;JEV-29 的 Uber 演示停在付款或确认前;JEV-57 只是在 MuJoCo 中做无人机仿真,视觉感知、实时控制和安全否决由传统代码负责;JEV-35 无密钥时可能使用明确标识的替代答案,无密钥演示不构成真实 Jev 推理证明。

JEV-59 的 80 局国际象棋实验则说明了“动作合法”和“策略水平”是两件事:程序提供合法棋步可以保证操作有效,但作者内部 Elo 不确定,不能等同于 FIDE 等级分或通用推理能力。

5.2 作为质量闸门:判断、改写和计算分离

第二类是把一个大判断拆成多个小检查,并把确定性部分留给代码:

  • JEV-06 只判断文本行的拼接关系与块类型,文本拼接、字符保留和 Markdown 输出由程序完成;
  • JEV-13 让小模型先抽取字段,Jev 逐字段核验,不确定时升级更强模型;
  • JEV-14 选择日期的年月日组成部分,日历有效性与缺失信息由程序检查;
  • JEV-15 由正则先找到邮箱、电话、金额等候选,Jev 选择语义对应项,精确复制与标准化由代码完成;
  • JEV-39 让 Jev 做结构化代码质量检查,再由另一个生成模型组织评审文字;
  • JEV-44 检查 HTTP 200 响应正文中的错误堆栈、维护提示和其他语义故障;
  • JEV-47 对照提交说明与代码差异,检查未说明改动、调试残留和疑似凭据,但不能替代专业 secret scanner。

这些案例共同指向一句工程原则:判断归判断,改写归改写,计算归计算。 职责拆开之后,每个环节才能独立统计、回放和纠正。

5.3 判断驱动的分流:低置信度时降低粒度

第三类是多材料联合判断,然后输出有限类别并保留人工入口:

  • JEV-01 将理赔材料与承保条件拆成多个判断,观察概率稳定性并分流人工复核;
  • JEV-18 给 SEC 文件分配 SIC 行业类别,置信度不足时回退到更粗的父级分类;
  • JEV-19 根据告警、资产、设备和授权信息,建议关闭、排队、隔离或升级;
  • JEV-21 交叉核对发票、采购单、合同、交付和审批记录,给出暂停、纠正、拒付或批准建议;金额仍由代码校验;
  • JEV-22 检查客服承诺是否有授权和执行证据,并在差异出现时升级;
  • JEV-26 将工单分到部门,判断严重度以及是否请求退款;
  • JEV-42 按日志诊断价值与优先级把内容送入下游分析;JEV-43 将 Issue/PR 整理成类别、严重度、紧急度和疑似重复的处理队列。

这里有两个可迁移的设计。

第一,置信度不足时降低粒度:不够确定就回退到父级分类,或者输出“疑似重复”“需要人工处理”,不要强行生成过细标签。第二,只读起步:JEV-43 当前不回写 GitHub,JEV-49 只处理模拟邮件,不发送邮件也不付款。先从可回滚、可观察的动作开始,才有机会积累真实评估样本。

5.4 把语义状态转成系统信号

第四类最接近“模型作为传感器”:把模糊状态变成下游系统可以消费的信号。

  • JEV-44 把“HTTP 200 但正文表示故障”转成异常信号;
  • JEV-50 将家庭设备状态判断接成 Home Assistant 传感器、自动化动作和 Assist 路由,但它是非官方集成,不能推定规模化控制安全;
  • JEV-46 判断 Agent 是否围绕已被证伪的假设反复尝试,并输出继续、警告、重规划或停止建议;
  • JEV-52 对视频转录逐句检查回避问题、自相矛盾和宣传性信号;
  • JEV-32 根据字幕轨道识别赞助或广告区间,映射到播放器的可跳过时间轴;输入是字幕,不能写成 Jev 直接理解视频画面;
  • JEV-53 根据带词级时间戳的西班牙语转录识别粗俗词和严重程度,再由 ffmpeg 插入提示音。

这些输出不是为了让人读一段自然语言,而是为了被传感器、播放器、异常处理器或自动化规则消费。它们也更需要明确失败策略:JEV-44 默认故障时放行,JEV-46 默认不自动停止,系统把误伤风险留在可观测的告警层,而不是让模型直接执行不可逆动作。

5.5 三种“看起来成功”的记录,为什么不能直接当效果

横向对比边界标签,还会反复遇到三类情况:

情形 具体表现 相关案例
mock、dry-run 或替代答案 端到端测试使用 mock judge;dry-run 不调用模型;无密钥时使用明确标识的替代答案 JEV-45、JEV-38、JEV-35
固定答案或录制回放 演示使用预先保存的结果,不能代表每次调用都实时完成判断 JEV-32、JEV-42
演示停在关键动作之前 只展示搜索结果,不选票;停在付款/确认前;只到结果展示 JEV-28、JEV-29、JEV-42

这些做法在原型阶段完全合理,问题出在传播时丢失限定语:87% 可能只是成本模型推算,吞吐量可能未被复验,准确率可能只适用于作者测试集。一旦边界被删掉,记录就会从“公开实现”变成“效果承诺”。


六、把案例落成实验:一条 GEO 工作流如何验收

从图谱的案例可以整理出一条更适合实际项目的实验顺序。

第一步:先定义判断对象,不要先定义总分

把 GEO 目标拆成最小问题:是否提及、是否为目标实体、是否存在引用、引用是否支持论断、官网是否出现目标受众、价值主张是否清楚。每个问题都应该能说清输入材料、候选集合和预期输出原语。

第二步:建立带人工标签的小样本集

样本不需要一开始就很大,但必须覆盖同名实体、隐含提及、相互矛盾证据、缺失字段和边界内容。对每条样本保存人工结论、模型版本、问题文本、阈值和原始响应;否则出现差异时无法区分是模型变了、提示词变了还是数据变了。

第三步:让确定性组件先把边界收窄

搜索、候选召回、URL 抽取、字符串存在性、位置记录、金额计算和权限检查,不要交给一个自由回答模型。JEV-11 的“语义支持关系 + 字符串存在性”拆分,JEV-15 的“正则候选 + 语义选择”,都是相同的工程思想:先把可确定的部分固定下来,再让模型处理真正需要语义判断的部分。

第四步:为不确定结果预设出口

图谱里的失败策略可以归纳为四种:

  • 保留原路径:JEV-48 判断失败或不确定时保留原模型;
  • 降低粒度:JEV-18 回退到父级分类;
  • 升级模型:JEV-13 不确定时交给更强模型;
  • 告警或转人工:JEV-44 放行并记录异常,JEV-22 与 JEV-55 将差异交给人工确认。

策略选择取决于错误代价,但共同前提是:Jev 不独自决定不可逆的事情。

第五步:质量、覆盖率、延迟和成本分别验收

质量高不代表覆盖率高,覆盖率高也不代表延迟和成本适合生产。GEO 场景尤其要把稳定性单独拿出来:JEV-02 建议把正确率和重复调用一致性分别记录,JEV-01 也提醒概率稳定性不能直接等同于判断正确率。

一个可以直接带进项目评审的最小清单是:

验收维度 要问的问题
质量 判断与人工标签的一致程度如何?错放和错杀分别是多少?
覆盖率 多少输入能得到结构化、可消费的结果?
稳定性 同一输入重复调用是否会频繁改变结论?
延迟 判断耗时是否允许进入当前链路?
成本 单次调用和失败重试的总成本是否可接受?
可回退性 关闭、超时、低置信或冲突时是否有安全路径?

七、最后看证据:来源、实现和效果不能跳级

图谱第八节给出的核心提醒是:

一手资料可以说明项目公开了什么。独立复现、生产采用与真实业务收益,需要各自的证据。请将来源身份、实现存在性和效果可信度分别判断。

证据口径的三层可判性

7.1 第一层:来源身份

A·官方一手共 27 条,来自 TypeSafe AI、Vercel、LangChain;B·项目/作者一手共 33 条,来自开发者仓库和实验作者。官方身份说明发布方是谁,不能直接证明生产部署或业务收益;项目/作者一手也可能包含原型、仿真、mock 测试或录制回放。

7.2 第二层:实现存在性

代码接入、教程示例和厂商演示能证明“这件事被公开写下来过”,但不一定能证明它在真实环境中运行。JEV-37 的核验只把 README 中的 SQL 示例与 jev.c 的扩展实现对照,没有执行数据库或远程推理。

因此,看到 jev_noul、jev_choice、AI.run、AsyncTypeSafeClient、evaluateMention、getEvaluationClient 等函数名,只能确认接入语义成立;还需要进一步确认 API 是否真实调用、调用比例、错误处理和运行环境。

7.3 第三层:效果可信度

生产采用、业务收益和独立复现是三个不同的命题。图谱明确没有对案例调用 Jev API,也没有新增联网核验或复跑作者实验。

三个作者实验的数据可以说明实验报告了什么,但不能跳级成普遍结论:

  • JEV-58 报告 777 项写作检查,时间与费用为作者口径;
  • JEV-59 报告 80 局棋局,内部 Elo 不外推为标准棋力;
  • JEV-60 报告 WebMCP 组合 49/49 任务多数尝试通过、逐次 141/147 成功,DOM 组合 25/49 通过,但这些数据受接口、框架和任务集影响,本次未复跑。

7.4 三个最容易传播错的结论

不要把输入材料当成客户。 JEV-05 使用 GitHub 服务条款作为材料,不代表 GitHub 采用 Jev;JEV-16 使用 CPC、Shopify、MeSH 等分类体系,不代表这些组织是客户;SEC 文件、Hermes 技能目录和公开商品目录也都是测试材料或实验输入。

不要把演示当成模型能力边界。 JEV-24 的 Doom 演示不能证明原生视觉能力;JEV-32 输入的是字幕而不是视频画面;JEV-57 只在 MuJoCo 仿真中运行;JEV-23 也没有证明规模化家庭部署和控制安全。

不要把作者自报当成独立复现。 777、80 局、49/49 和 141/147 都可以作为原文记录引用,但必须带上样本范围、统计口径和未复测声明。

这份图谱最值得借鉴的表达方式,可能不是它列出的案例,而是它如何表达“还不知道”:已见接入代码,线上采用范围未知、开发者演示,分数不代表 SEO 排名、非官方集成、只获取摘要时证据较弱。对于技术选型,能够明确说出边界的资料,通常比只谈优势的资料更有用。


结语:把判断留在它该在的位置

重读这 60 条记录,可以把文章压缩成五个结论:

  1. Jev 的落地形态是“原语 + 分工”,不是独立对话。 Noul、Choice、Score、Boolean 决定下游接口,模型只承担判断链路中的一格。
  2. 候选空间的质量决定选择上限。 DOM、合法棋步、技能目录和搜索结果都需要由程序或外部组件先准备。
  3. 确定性工作必须留在模型之外。 字符串核对、金额计算、日历校验、权限控制和原文保留不能因为接入模型就被模糊化。
  4. GEO 的价值在于把大问题拆成可验证的小信号。 JEV-41 监测外部提及,JEV-56 诊断官网表达,另外 8 条标签记录补上实体、证据、意图和内容质检能力。
  5. 公开案例首先证明“有人这样做过”,而不是“这样做一定有效”。 来源身份、实现存在性、生产采用、业务收益和独立复现必须分别判断。

如果要把“判断”设计成一个可测量的接口,至少先回答三组问题:输入材料与候选是什么,输出原语与置信度是什么,失败时保留原路径、降低粒度、升级模型、告警还是转人工。只要这三组问题还没有答案,模型就很容易从一个受控的判断组件滑向一个负责“顺便把一切都做了”的黑盒。

而这正是应用图谱最适合留下的提醒:判断类模型能不能进入你的流程,答案不在案例数量里,而在你能不能提前想清楚哪些判断可以错、错了怎么发现、发现之后往哪退。


原文:Jev 应用图谱|60 个公开案例,9 类应用场景(资料截至 2026.09.20,HTML 整理日期 2026.09.21) 本文为对该文档的阅读整理与结构化重构;文中案例编号、数据口径、结论与边界均依据原文,未新增联网核验或独立复测。

「真诚赞赏,手留余香」

爱折腾的工程师

真诚赞赏,手留余香

使用微信扫描二维码完成支付