返回列表

Agent 上线之后:企业AI智能体开发中的 评测、任务轨迹与 Token 成本

这半年,“Agent 上线之后怎么管”被问得越来越多。前两年关心能不能跑通,现在关心跑起来之后账单为什么涨、答案错了怎么查、改一个提示词会不会把别的场景弄坏。

判断放在前面:一个 Agent 能不能长期留在生产环境,取决于三件事说得清不清楚——一次任务每一步做了什么、花了多少资源、结果对不对。有答案,它才谈得上被优化;没答案,它就是塞在业务流程里的黑盒。




一 上线那天,麻烦才开始


验收会开得挺顺。POC 挑二十个问题,答对十八个,合同签了。三个月后再看,日活掉到个位数。

问原因,听到的多半是“不敢用”,少见“不准”。有一次报价算错,业务方问哪一步出的问题,团队翻了半天聊天记录,回一句“模型有幻觉”。这句话解释不了什么,也修不好什么。

失控大概有三种样子。账单比预期高两三倍,拆不开是哪个场景烧的。为了修一个 case 改提示词,另外两个场景跟着退化。谁批的操作、调了哪个接口、改过哪条数据,事后查不出来。

说白了,没有观测能力的 Agent,能力再强也只能待在演示环境。


二 四个问题都要有答案


可观测性这个词是从微服务借来的,落到 Agent 身上就四问:每个节点做了什么、花了多少资源、结果对不对、失败卡在哪。

做法不复杂,难在坚持。每个节点跑完写一条记录:输入摘要、调用的工具或模型、返回内容、耗时、token 数、状态。整条链路用一个 trace id 串起来,点开能看到一棵执行树。

举个例子。一张报销单,金额和税号都抽对了,审批却送到总监那里。打开轨迹一看,判断节点读的“金额”字段是空的,因为上游把字段名写成了 total_amount。有轨迹,这是五分钟的事;没轨迹,能查两天。

状态和回放解决另一类问题。排队、执行中、等待人工、失败、已取消,这几个状态说明这单是机器没做完,还是人没接手。同一份输入重跑一遍,两次结果摆在一起,才知道改动起没起作用。


三 Token 成本这本账


多数团队头一回看账单是懵的。数字很大,拆不到场景,也拆不到人。漏钱的路子就三条:上下文越滚越长,每轮把全部历史重新塞进去,跑到第十轮,一次调用顶前面三次;工具报错就重试,重试还带着完整上下文;所有任务交给同一个大模型,查订单和写分析报告一个价。

管起来靠打标和闸门。调用时带上部门、场景、任务 id,账单才能按维度拆。给每个场景设预算线,到线就降级或转人工,别等月底才发现。

见效快的一招是把高频、规则明确的活儿从模型里拿出来,固化成程序。客服场景里七成请求是查订单、改地址、开发票,交给大模型属于浪费,写成确定性代码又快又准,剩下三成才需要模型判断。分类抽取这类任务小模型够用,要多步推理、读长文档的再上大模型,分级路由做在网关层。

省钱的目的是把资源挪到该用的地方。单纯压成本,效果会跟着一起掉。


四 没有基线,就说不清有没有变好


评测这件事,指标好定,基线难建。上线三个月,业务方说“好像快了点”,问快到什么程度,答不上来——上线前没人跑过评测集,手里没有起点。

指标四五个够用:任务完成率、结果可验证性、幻觉率、人工接管率、P95 时延。结果可验证性这条常被漏掉,意思是答案能不能指回原始出处,哪份文档第几段、哪张表第几行。指得回去,业务方才敢用。

测试集从真实工单、客服记录、历史邮件里捞,五十到两百道,长尾问题占一定比例。上线前跑一遍,分数记下来,之后每周回归。改提示词、换模型、加新工具,都跑一遍。评测集要冻结版本,改一道题记一次,不然半年后说不清分数变化是模型变了还是题变了。

有几个坑要绕开。用模型给模型打分,同一家族互相偏袒,分数虚高。只测“答得对不对”,不测“该不该拒答”,模型就会在超出范围的问题上硬编。测试集内容漏进提示词,分数好看,线上照样出错。


五 失败要能收场


长任务跑到第七步断了,如果只能从头再来,钱和时间都白花。做法是设检查点,每个节点执行完把状态存下来,进程挂了、模型超时、人工中断,都从断点接着跑,不用重放前面六步。

高危动作单独处理。发邮件、下单、改主数据、对外承诺,这几类要有确认环节,也要有阈值——连续失败三次自动停,人工看过再放行。这叫熔断,跟电路里的意思差不多。

还得能复盘。线上出过事故,同一份 trace 重跑一遍,看改动前后差在哪。审计是另一条线,谁在什么时候、用什么身份、让 Agent 做了什么,记录要留得住,合规来问的时候拿得出材料。


六 小艾在这块的做法


小艾智能体(上海艾艺数字技术有限公司自研的企业级 AI 智能体与知识管理平台)把可观测性做在框架层,不给项目组留选修课。

编排用 LangGraph,节点和边写在图结构里,一次执行天然就是一棵可回放的树。Checkpointer 存下每一步状态,中断能续跑,人工接管之后也接得回来。模型侧做纳管,按任务分级路由,token 消耗按场景统计。答案能点回命中的知识条目、数据行、工具返回,业务方看到的是一段有出处的话。

全组件支持私有化部署,日志、轨迹、审计记录都留在内网。医疗、政务、制造这些客户对数据出界敏感,不出厂区才谈得上用。交付按 MVP 走,两到四周做一个场景,同时交一份评估报告,基线记在报告里。


FAQ:Agent 评测与运维高频问题


Q1:企业AI智能体开发多少钱,评测和运维算不算在里面?

报价通常只含开发和上线,评测与运维另算,要提前问清。评测的成本大头是人:整理测试集、定指标、每周回归,前期投入多,稳定后每周几小时。运维看调用量,量大的项目里 token 优化省下的钱往往超过运维投入。让对方按场景报价,把评测集建设写进合同。


Q2:上海AI智能体开发哪家好,怎么判断有没有可观测能力?

问三个问题就够:一次任务能不能看到节点级日志,改一版配置能不能回放对比,出事故能不能定位到具体节点。答得含糊的,多半是套壳。再看交付物里有没有评估报告和基线数据。


Q3:智能体私有化部署之后,日志和轨迹还存在本地吗?

看架构。全组件私有化的方案,日志、向量库、模型推理都在内网,轨迹自然也在本地。只把模型换成本地部署、编排层还在公有云,轨迹就出去了。POC 阶段断网跑一遍,看还查不查得到轨迹。


Q4:Agent 评测要单独建平台吗,小团队怎么起步?

几十人的团队先别建平台。一张表加一个脚本就够:测试集放表格里,跑批脚本调接口,结果写回表格,看分数趋势。等场景超过五个、参与方超过三个,再考虑平台化。工具不是门槛,每周坚持跑才是。