Lingee BenchLingee Bench
面向企业业务任务与流程的 Agent 评测基准，回答一个核心问题：在明确的业务上下文与资源约束下，Agent 能否在业务系统中完成可核验的业务成果。按三层评测架构组织能力：基础能力层（通用领域 500 题）、业务流程层（企业管理领域 900 题，财务 / 供应链 / 制造各 300）、组织协同层（后续扩展）。评测集由分布相同的公开组 65 题（首批开源、离线可复现）与保留组 1335 题构成，以受控评测测量污染；任务在完全内置依赖的 Docker 环境中离线执行，经确定性规则与 LLM Judge 双通道评分。
四套评测集
点击卡片展开任务构成与难度分布。卡片数据为公开组口径；公开/保留双组的防污染机制详见白皮书。
以可核验的专业工作包度量基础能力：多表核对、供应商比较、知识库检索、文档校验、日程处理等，覆盖十大类，判分对象是落盘产物而非执行过程。
十大类
数据分析文档审查与校验数据筛选与处理故障诊断知识库检索日程管理报告阅读问答合规与政策核对内容生成图片处理难度分层
单轮与多轮两种任务形态；按场景类别、操作类型与难度分层配比控制，多轮任务逐轮落盘、后一轮须基于前一轮结论。
评分方式
规则校验覆盖产物契约（文件与 result.json 必填字段）、数值链勾稽、格式规范与安全合规；语义质量由 LLM Judge 按分级档位 rubric 评定（引用接地、无编造等）。双通道权重逐题声明、随题目封板冻结，任务得分与领域宏平均两级聚合。
场景重点：凭证、报销、对账、报表分析、税务。数据严谨性与合规约束最强——凭证借贷平衡、会计期间、单据状态均按业务规则校验，预期输出经业务专家人工确认。
任务类型
凭证录入财务报表编制业财对账往来核销预算监控资产与折旧出纳与票据税务合规成本与结账难度分层
按 L1–L4 四级标定：L1 单步查询与录入、L2 多步凭证与报表流程、L3 跨模块对账与异常归因为主体，L4 深度推理为补充；以单轮任务为主、少量多轮链路。每业务模块对四类高价值异常（业务规则违反/空结果/异常状态/输入错误）各至少配 1 题。
评分方式
规则校验覆盖金额、会计期间、借贷平衡与凭证状态；语义质量（异常分析证据、建议合理性）由 Judge 按分级档位评定。致命项一票否决：借贷不平衡的凭证保存为有效结果、越权修改业务数据直接归零。
场景重点：订单、库存、采购、物流协同。计划与协同复杂度高——签单口径、交付逾期、回款风险等跨单据跨期间数据关联，检验端到端业务任务能否闭环。
任务类型
销售订单信用管理采购协同库存查询自动补货临期预警供应链风控需求预测贸易合规难度分层
按 L1–L3 三级标定：L1 查询与单据基础操作、L2 订单创建与跨表核对、L3 信用风控与跨单据关联判断；行业作为任务标签维度支持切分统计。
评分方式
规则校验核对订单与出入库单关联、数量一致性与库存变化；数值核验执行结果表契约——只读指定结果表、缺失不按零计、同一业务键只列一行且多产物一致。语义质量（交付异常与回款风险的数据依据、建议针对性）由 Judge 评定；空结果须正确提示而非报错。
场景重点：BOM、生产计划、产能、质量。工业场景链路最长——工序检验统计口径、首检与巡检分账、缺陷 Top5 对比等场景考察跨环节数据整合与业务推理。
任务类型
主生产计划排程多厂区需求分配物料主数据管理8D 质量分析工序异常处理缺料响应生产进度报告难度分层
按 L1–L3 三级标定：L1 基础数据查询、L2 排程与主数据多步管理、L3 跨环节异常处理与深度质量分析；多轮任务占比最高，逐轮落盘、后一轮须基于前一轮结论。
评分方式
规则校验核对 BOM 关系、生产计划约束、工单状态与检验计数（比率一位小数精确比较、不设舍入容差）；内容质量由多项判据按 0–4 五级分档评定。
任务形态
Lingee Bench 以「从任务完成到业务闭环」为主线组织评测：不仅度量孤立操作，更度量 Agent 能否在业务系统中推动任务链达到可核验的正确终态。三个关键词概括任务设计取向：
①面向真实业务流
基础能力层以可核验的专业工作包为评测单位；业务流程层以端到端业务任务链为评测单位——从凭证录入到过账结账、从订单到出入库，同时核对业务产物、业务状态与必要控制。题目基于场景与公开资料重构合成，题面不可被搜索命中；数据全部由公开资料合成。
②全程可审计
终态评分：评分只认环境真实终态与产物日志，拒绝 Agent 自报成功，全程轨迹可事后审计。每分可归属——分数归属于「Agent × Harness × 环境 × 评测器」的组合；规则分与 Judge 分双通道分离保留；企业管理领域全部预期输出经业务专家人工确认。
③Docker 全内置可复现
题目数据、工具与依赖全部内置 Docker 镜像，剥离外部 MCP 与 API 调用；被测 Agent 以 CLI Harness 接入，全量容器化离线运行——离线可跑、第三方可复现、不设审批门槛。评测配置按七层披露清单（HarnessCard）全量公开。执行协议细节见白皮书·评测协议与指标。
一道任务长什么样
一道典型任务就是一个自包含的工作包：任务目录定义任务描述、Docker 执行环境、工作区数据资产与判分资产，任务运行结束后由评测管线后置引入校验。以公开组财务题 finance-fa-20「十二月经营分析报告」为例：
分层验证
规则校验以业务预期结果、核心交付门槛与校验项为基础；LLM Judge 按分级档位评定语义质量。两层各司其职、双通道分离保留供诊断。
确定性层（Rule）
解析脚本从产物日志与环境终态中提取事实，逐项验证：
- 核心交付门槛：文件可解析、状态可验证、答案有载体
- 致命项：借贷不平衡、越权操作等直接归零
- 普通项等权计分：数值与公式、业务状态、跨单据关系
Judge 层（LLM Rubric）
每项仅定义一个质量条件，按分级档位评定（通过/失败两档或多档）：
- 仅接收指定固定证据，不访问运行中的工作区
- 位置偏差、长度偏差、自我偏好等五项实验校验
- 评分模型与执行模型分离（首期 GLM-5.3 / GLM-5.3-Flash）
S = w·R + (1−w)·J（w 逐题声明、随封板冻结，不设统一范围），任务内平均与领域宏平均两级聚合，致命项一票否决。详见「白皮书 · 评分机制」。如何理解得分
一个得分只回答一个问题：Agent 是否以可核查的方式完成了这项业务工作。阅读得分时请注意三个边界：
A得分反映交付完整性
任务得分取值 [0,1]，允许部分完成获得相应分数；宏平均之外同时报告风险加权分、关键流程端到端成功率、致命错误率与功能边界正确率四类业务视角指标。
B与环境版本绑定
分数绑定「Agent × Harness × 环境 × 评测器」组合与题目版本、时间窗口，不构成对其他模型或 Harness 的评价；跨版本结果不做直接比较，以同版本重跑为准。
C不等于生产 SLA
沙箱结果不外推到在线生产场景，也不换算为业务覆盖率、岗位替代率或成本节省；落在重复评测噪声带内的小分差不构成真实差异的证据。