评审会开到一半,技术方把一张表投在屏幕上:识别准确率九成六,比上一版提了几个点。会议室没人接话,坐在边上的业务处负责人翻了两页材料,抬头问:那上个月漏掉的那批车,算在哪一类。
这一问,把技术汇报变成了另一种讨论。AI识别准确率这个数,在实验室里是一个意思,在业务部门嘴里是另一个意思。两边都没说错,衡量的并不是同一件东西。
技术方要的是样本指标
算法团队的工作方式是清楚的:一批有标注的样本,跑一遍,算准确率、召回率、误判率。指标往上走,说明模型变好,这条路本身没有问题。样本越干净、场景越集中,指标越漂亮。
问题出在「样本」二字。标注样本大多是白天、晴天、正视角、车流适中的画面。真实路面是另一回事:逆光、雨雪、树叶遮挡、夜间补光不足、车辆密集重叠。同一套模型换到这些条件下,指标会往下掉,掉多少取决于场景差异有多大。
技术方其实不隐瞒这一点。他们说的是「在测试集上」九成六。这句话传到业务方耳朵里,中间的定语经常就丢了,剩下一个孤零零的百分比。
还有一层更细的差别:准确率高的模型,未必是业务方想要的那个模型。把阈值调高,误报少,漏报多;阈值调低,报警多,噪声多。这两个方向都能让某一种指标变好看,而业务方要的是另一头的平衡。技术团队按什么口径调阈值,汇报里几乎从不写。
业务方要的是能交差
监管方关心的问题很具体:这个报警能不能当处置依据,出了问题能不能追到责任,上级来检查时能不能拿得出手。
三件事指向同一个要求——证据链。一条判定要能说清:什么时候发现的、在哪个点位、拍到了什么画面、比对的是哪份备案数据、谁复核过、什么时候处置完、处置后是否复查。AI识别是这条链的第一环,不是全部。
所以业务方听到九成六,心里的换算不是「很好」,而是「剩下那百分之四,一个月是几百条还是一条」。这个换算结果,直接决定值班表要排几个人、复核岗要不要设。
一位做监管的朋友说得更直白:我不需要它全对,我需要它错的时候我知道。这句话值得技术方贴在工位上。
冲突点落在三个地方
两边的分歧不是立场问题,是口径问题,具体落在三处。
第一处,单位不同。 准确率是样本级指标,业务是事件级。一批画面几千帧,算准确率时分母是帧;业务方数的是「几次报警」,一次报警可能来自几十帧同一辆车的连续画面。同一件事,两种单位算出来的结论能差出一个量级。
第二处,错误分布不均匀。 指标把错误摊平看,业务感受的是错误扎堆的地方。夜里、雨天、树荫下,误报集中出现,值班员一个班次被同一种误报吵十几次,他对系统的判断在那天就定了。后面九成六的正确率,他不会去看。
第三处,成本承担方不同。 算法侧的成本是算力、标注、模型迭代;业务侧的成本是人力、处置、投诉、以及误判带来的争执。一次误报在算法侧是分母里的一个数,在业务侧是一次出车、一通电话、一份说明。两边都在算成本,算的不是同一笔。
这三处叠在一起,就会出现那个熟悉的场面:系统指标一路向好,一线用得越来越少,半年后变成了一个只在汇报里出现的系统。
还有一层隐性差别:技术方按期交付,业务方按天使用。交付那天指标达标,合同就履行完了;业务方要用三年,三年里场景会变、设备会旧、路面会改。指标是一次性的,可用性是长期的,两种时间尺度放在一起谈,很容易谈成两件事。
规则引擎:把算法的活分一半出去
真正跑得稳的识别系统,通常不是靠一个更强的模型,而是靠算法和规则各干一半。
规则能挡掉的问题,不必交给模型。举几个常见的做法:同一辆车在十分钟内连续触发,只保留一条报警;某个点位在施工期内整体置为静默;夜间补光不足的时段,只记录不报警;报警必须先命中一个已知的停车点或路段范围,才进入派单。
这些规则看起来笨,效果却直接。误报里占比最高的几类——重复报警、点位施工、光照不足、范围外触发——绝大部分能被规则挡住,用不着改模型。
烟台众海智能科技有限公司在共享单车监管这类场景里的做法,就是这个思路:蓝牙设备被动采集车辆广播信号,一天能收到数千条,先按备案库比对分出三类,再按车辆标识去重,之后才生成预警。整套链条里,自动识别的部分只占一环,采集、去重、比对、派单各是一环。少一环,误报就冲上来。
规则也有代价。规则多了,维护成本上升,新场景进来要逐条改。所以规则不宜写死在代码里,要做成可配置的规则引擎,由业务方自己在后台调,调完能回滚。这一条写进技术方案,比写「支持自定义」四个字实在。
算法团队常觉得规则是妥协,业务方常觉得规则才是可用性的来源。两边都有道理:模型解决的是「看得见」,规则解决的是「看得对」。
五个词,别混着用
口径谈不拢,往往是因为一个词被当成了五个词。这几个概念经常被混用,混用之后,讨论就失去了共同的基础。
| 词 | 实际含义 | 谁在算 | 高了会怎样 |
|---|---|---|---|
| 识别准确率 | 报出来的结果里,对的比例 | 算法团队 | 可能漏报变多 |
| 召回率 | 该发现的里面,发现了多少 | 算法团队 | 可能误报变多 |
| 业务可用率 | 报警里能直接支撑处置的比例 | 业务部门 | 需要更强的规则过滤 |
| 有效处置率 | 处置完成且复核通过的比例 | 监管方 | 依赖流程而非算法 |
| 平均响应时长 | 从报警到首次动作的时间 | 值班管理 | 与算法无关 |
五个词里,只有前两个是算法能直接负责的。后三个是系统、流程、人共同决定的。技术方承诺前两个,业务方却按后三个打分,分歧就出在这里。
把这张表放到评审会的投影上,不少争论会立刻变得具体:你说的是第几个词,我们谈的是第几个词。
怎么调和:三层口径分开算
调和这套分歧,靠的不是谁让步,而是把三层口径分开报、分开考核。
第一层,算法层。 报准确率与召回率,同时必须写明测试集的构成:什么天气、什么时段、什么角度、样本多少。不写测试集构成的指标,不进入决策。
第二层,业务层。 报业务可用率,也就是报警里有多少能直接进入处置流程。这一层的分母是报警条数,分子是复核通过条数,口径要写进合同。
第三层,处置层。 报有效处置率和平均响应时长。这一层跟算法关系不大,考验的是派单规则、值班安排、考核压力。
三层分开报,好处是责任清楚。业务可用率低,先看规则过滤是不是太松;有效处置率低,先看工单是不是派不下去。不至于所有问题都堆到「算法不行」这一个筐里。
上线前先做一段影子运行
调和的另一个办法,是把争论提前到上线之前。
具体做法是影子运行:系统接进真实数据,但不对外发报警,只做记录。跑四到六周,把每一类报警的数量、分布时段、复核结论都统计出来。这段数据比任何测试集都可信,因为它就是这套场景本身。
影子运行期间要回答三个问题:一天会报多少条、集中在哪几个时段、其中能直接处置的比例是多少。三个数出来,值班编制、复核岗设置、考核指标都能定下来,不用靠猜。
这段时间还顺手解决了一件事:把误报分类。按原因分,是光照、遮挡、数据缺失、还是规则写错,分类之后,技术方知道往哪改,业务方知道哪类可以先忽略。混在一起说的「误报多」,改不动。
影子运行还能替业务方算清一笔人力账。人工巡查的效率大致是一小时两百辆的量级,一天跑六个小时,能覆盖一千二百辆;设备采集是一天数千条,去重之后进入复核的可能只有几百条。两个数摆在一起,编制该加还是该减,讨论会短不少。
需要提醒的是,影子运行要有明确的结束条件。跑多久、看哪几个指标、达到什么水平就转正,提前写下来。没有结束条件的影子运行,结果是变成一套并行系统,两边都在跑,人最累。
落地成本的大头不在算法
还有一句常被忽略的话。AI应用从演示走到生产,成本的大头通常不在模型本身,而在边缘部署、网络、供电、设备维护、以及复核人力。
一套识别能力,装到几十个点位上,每个点位都要考虑取电、防水、信号、镜头清洁。设备脏了、蒙了灰、被树枝挡住,识别效果直线下降,这不是算法问题,是运维问题。共享单车监管平台这类系统之所以把设备管理单独做成一个模块,原因就在这里:十六个模块里,真正决定数据质量的往往是设备那一栏,而不是算法那一栏。
公交导视那套系统是另一个方向的例子。它十二个模块里没有算法,靠的是模板、站点和变更规则,一样把一件重复劳动压了下来。这件事说明,行业软件的性价比往往不在最时髦的那一层,而在把流程拆对、把字段定死的那一层。AI应用要算投入产出,也该把这层算进去。
所以谈AI识别准确率,谈到底谈的是三件事:算法在什么条件下有效、系统怎么把无效的部分挡住、人怎么在剩下的部分里做判断。只谈第一个,后面两个迟早会以另一种方式找上门。
合同里该写清的几句话
如果这套系统要走采购流程,下面几句话建议直接写进技术需求,比写「先进算法」有用。
一、指标口径写全。准确率、召回率各自在什么测试集上算、样本量多少、覆盖哪几种天气与时段,写清楚。只写一个百分比的需求,验收时无从对照。
二、业务可用率单列。约定一个可测的定义,例如「报警中经复核可直接进入处置的比例」,并约定抽样方法。这一条能避免交付后扯皮。
三、误报分类要交。交付时提供一份误报分类清单,说明各类占多少、哪些靠规则解决、哪些需要模型迭代。
四、影子运行纳入工期。四到六周,不算在正式上线期内,费用单列或包含在内都行,但时间要留出来。
五、设备与运维边界写明白。镜头清洁、设备巡检、供电保障各由谁负责,写进运维条款,不要默认归厂商。
这五句看着琐碎,实际是把「吵什么」提前变成了「按什么算」。
回到那场评审会。如果技术方在报九成六的同时,附上测试集构成、误报分类、以及影子运行的计划,业务处负责人大概不会问那句话。他问的不是数字,是数字背后有没有人替他把剩下那百分之四想清楚。这句话换个场景同样成立:凡是拿准确率当卖点的方案,都该附带一份「错了怎么办」的说明。

在线教育平台