动态:给AI视频字幕打分这件事，比你想象的难多了

你有没有试过这样一个场景：给AI写一段视频，然后让另一个AI模型给这段视频生成文字描述。描述出来之后，你怎么知道它写得好不好？

这个问题听起来简单，做起来却是个大坑。

(相关资料图)

2026年之前，几乎所有人都是这么干的：把AI生成的一整段文字描述，和人工写的标准答案放在一起，丢给另一个大语言模型（比如GPT-4或者Gemini），让它当裁判，打个分出来。这个分数通常是0到100之间的一个数字，代表"这段描述写得好不好"。

问题是，这个数字到底说明了什么？

想象你让一个阅卷老师批改一篇作文，只给他一个要求：给这篇作文打个总分。老师读完之后告诉你：85分。你除了知道"还不错"之外，什么都不知道。这篇作文是哪里好，哪里不好？人物描写准不准？情节有没有逻辑漏洞？时间线对不对？老师没说，你也没法问。

这就是当前视频字幕评测领域面临的真实困境，而且比作文批改复杂得多，因为视频里同时包含画面、声音、人物身份、时间顺序好几条线索，纠缠在一起。

**一个数字,糊弄过去的真相**

来自腾讯混元团队的研究者们发现，这套"一个分数打天下"的评测方式，正在悄悄掩盖AI模型的真实缺陷。

他们做了一个挺有意思的实验：找了两组模型，一组是明显升级过的新版本，一组是相对较弱的旧版本。按照传统的文本打分方法，这两组模型的得分几乎一样，差距不到10%。看起来好像进步不大。

但当他们换用一套更精细的评测方法重新打分之后，画风完全变了：强模型的得分从53分飙升到70.6分，最终逼近人工审核的74.2分；而弱模型的得分却从47分暴跌到29.4分，远低于人工审核给出的25.8分。

同一批视频，同一批模型输出，换了个评测方式，结论完全反转。

这说明什么？

**传统的文本打分方式,本质上是在奖励"写得流畅"而不是"写得准确"。**

一个模型如果能把句子写得通顺、用词丰富、语气自然，哪怕里面藏着好几个事实性错误，它拿到的分数依然可能很高。这就像一个学生作文写得文采斐然,但是事实全错,老师可能因为文笔好多给几分。

这篇论文要解决的核心问题，就是怎么把"写得好不好"这件事，拆解成可以逐条核实的具体指标，而不是让AI裁判凭感觉打一个模糊的总分。

**三种现有方法,各有各的坑**

在动手设计新方案之前，研究者们先盘点了现有的三种主流评测思路，发现它们各自都有致命伤。

第一种是整体打分法（论文里叫Holistic Evaluation）。

就是前面说的那种，把整段AI生成的文字和参考答案一起丢给裁判模型，让它给出一个总分。这种方法的好处是能覆盖视频的方方面面，内容不会漏掉，但代价是所有细节被压缩成了一个数字，局部错误（比如某个人物身份认错了，某个声音出现的时间不对）全都被平均掉了，根本看不出来。

第二种是探针问答法（Probe-Based Evaluation）。

这种方法换了个思路，不整体打分，而是针对视频内容设计一系列具体问题，比如"视频里出现了几个人？""背景音乐什么时候响起的？"让AI模型回答，再对比标准答案。这种方法的好处是能精确定位到某个具体细节，但问题在于，覆盖范围太窄了。你不可能针对一段视频设计几百个问题，所以这种方法只能抽查几个点，大部分内容根本没被检验到。

**探针问答法*：通过设计具体的问答题目来检测AI对视频局部细节的理解程度，但由于问题数量有限，覆盖不了整段视频的全部信息。**

更麻烦的是，论文里还做了个测试：同样一道探针题目，换一个裁判模型来判断对错，结果可能完全不一样。一个裁判说"对"，另一个裁判说"错"。这说明探针问答法不仅覆盖窄，连判断本身都不稳定。

第三种是解析打分法（Parse-then-Score），先把AI写的自由文本解析成结构化的脚本条目，再逐条打分。这种方法试图在"整体"和"局部"之间找平衡，但解析这一步本身就容易出错，相当于先让一个AI把另一个AI的作文拆解成知识点，拆错了,后面全错。

三种方法，要么牺牲细节换覆盖，要么牺牲覆盖换细节，要么被解析环节的不稳定性拖累。这就是论文开篇提出的"耦合权衡"问题：评测单元的粒度和评分算子的可靠性，这两件事没法同时兼顾。

**换个思路:让AI先说"结构",再说"内容"**

研究团队的解法听起来有点反直觉：既然问题出在"自由文本"这个载体本身，那就干脆不让AI模型写自由文本了。

他们设计了一套叫OmniCapBench的评测体系，核心思想是：不再要求AI模型写一段流畅的描述性文字，而是要求它直接输出一个结构化的JSON数据，里面明确拆分成三条轨道。

第一条是"参考轨道"（References），记录视频里出现的人物、物体、场景，每个都有一个唯一的身份编号。第二条是"事件轨道"（Events），记录所有的声音事件和对话，带上精确的起止时间。第三条是"镜头轨道"（Shots），把视频按镜头切分，并且把前两条轨道的内容用链接的方式挂靠到对应的镜头片段上。

这个设计思路，很像公司内部的财务审计系统。

你想想，如果一家公司的财务记录只是一篇流水账式的文字描述，"这个月收了一笔钱，花了一些钱，大概还剩多少"，审计师根本没法核实。但如果换成标准的会计分录，每一笔收入对应一个凭证号，每一笔支出对应一个成本中心，审计师就能逐条核对，哪里对不上一眼就能看出来。如果不采用这种结构化记账方式，任何审计都只能停留在"大概看起来没问题"的层面，根本发现不了藏在细节里的猫腻。

OmniCapBench做的事情本质上一样：把AI模型的视频理解结果，从一篇"流水账式的描述"，变成一份"可审计的结构化记录"。

**有了结构之后,打分就能"拆开来算"**

光有结构化数据还不够，关键在于怎么用这些结构来打分。

研究团队把评分流程拆成了两个阶段。第一阶段完全交给确定性规则，不涉及任何AI判断。规则会检查：预测的人物编号是不是真实存在的、时间区间是不是逻辑合理（开始时间不能晚于结束时间）、声音事件链接的镜头是不是在时间上真的有重叠。这些都是可以用代码直接计算的，没有任何模糊空间。

只有通过了这一轮硬性检查、并且和标准答案成功匹配上的内容单元，才会被送到第二阶段，交给AI裁判做语义层面的判断，比如"这个人物的穿着描述对不对"、"这段声音的描述是否准确"。

这个设计的关键在于,AI裁判这时候只需要比较两个已经对齐的小片段，不需要它再去理解整段视频的时间线和人物关系,那些复杂的结构性工作已经由规则做完了。

**这就好比餐厅后厨的分工。**

如果让一个厨师同时负责采购食材、核对食材是否新鲜、切配、炒菜、摆盘，出错的概率会非常高，因为他的注意力被拆得太散。但如果换一套流水线，先由专人验货（对应规则校验），确认食材没问题之后再交给厨师炒菜（对应AI语义判断），厨师只需要专心把菜炒好，不用操心食材本身有没有问题。整个出错率会大幅下降，因为每个环节只处理一类问题。

论文里专门做了个实验验证这个设计是否真的提升了稳定性。他们用三个不同能力的AI模型当裁判，分别是弱模型、中等模型、强模型，让它们评测同一批内容。

在传统的整体打分法下，同样的结果，弱裁判打出71.24分，中等裁判打出83.08分，强裁判打出93.92分，分差超过22分。换成探针问答法，分数也在53到61之间来回摆动。但换成OmniCapBench这套拆分打分法之后，三个裁判给出的分数稳定在56到58分之间，几乎没有波动。

这说明什么?把AI裁判的权限严格限定在小范围的语义比对上,不让它做复杂的全局推理,反而让打分结果变得更可信了。

**双向打分:既不能瞎编,也不能啥都不说**

这套体系还有一个细节设计值得说一说，叫"双向评估"（Bidirectional Evaluation）。

为什么需要这个？因为开放式的视频描述根本不存在唯一正确答案。

比如同一个连续动作，一个模型可能把它拆成三个细碎的子镜头，另一个模型可能用一句话概括。这两种写法都可能是对的，只是详略程度不同。

如果只从"预测结果有没有覆盖标准答案"这个角度打分（也就是只算召回率），那模型就有动机故意写得又长又啰嗦，把能想到的细节全堆上去，这样覆盖率肯定高，但代价是会掺杂大量编造的内容。反过来，如果只从"标准答案有没有支持预测结果"这个角度打分（也就是只算精确率），模型又会学会写得又短又空洞，尽量说一些放之四海而皆准的话，这样不容易说错，但信息量极低。

**精确率*：衡量AI给出的内容里有多少是真实准确的，惩罚瞎编乱造。

召回率*：衡量标准答案里的信息有多少被AI覆盖到了，惩罚该说的没说。**

OmniCapBench的做法是同时从两个方向计算分数，再取调和平均（F1分数），这样模型既不能靠堆砌细节骗取高分，也不能靠含糊其辞蒙混过关。

这就像考试的时候既要求你"该写的都要写到"（覆盖标准答案），又要求你"写的内容不能瞎编"（内容要被标准答案支持），两头都卡住，才能真正逼出模型的真实水平。

**数据集长什么样**

说了这么多方法论，这套评测体系背后的数据集规模如何？

研究团队总共整理了786段视频，总时长12.8小时，涵盖20个一级类别、125个二级子类别。这些视频里标注出了5818个参考实体（人物、物体、场景）、6537个声音事件、11419个视觉镜头。

视频来源经过了严格筛选，必须同时满足有声音、时长合适、密度达标这几个条件,确保每段视频都有足够丰富的音画信息值得深挖，而不是那种只有一两个简单画面的素材。

构建这份数据集的过程本身也挺讲究，分三个阶段走。第一阶段是候选视频筛选,从开源数据集和公开媒体平台里挑出符合条件的视频。第二阶段是让多个AI模型组成一条生产线,一个模型负责生成初稿，另一个模型负责核实准确性,还有一个模型专门做局部润色（但严格要求润色时不能改动已经验证过的时间戳和身份编号这些结构性信息），最后由一个"选择器"模型挑出质量最高的版本。第三阶段是人工质检,由经过专门训练的专业标注员对结构完整性、时间精度、语义丰富度逐一审核，发现问题就打回去重做，反复迭代直到满足标准。

这个流程有点像食品生产线的多重质检：原料入厂先筛一遍，加工过程中有质检员盯着，出厂前还要抽检。任何一个环节放水，整批数据的可信度就会打折扣。

**揭开AI模型的真实短板**

有了这套精细化的评测体系，研究团队拿当前最前沿的几个多模态大模型（包括Gemini 3.1-Pro、Gemini 2.5-Pro、Qwen3.5-Omni系列等）做了一轮全面测试，结果挺耐人寻味。

先看视觉理解。前沿模型在单独识别一个人物或物体这件事上表现相当不错，Gemini 2.5-Pro在一分钟以内的短视频上，人物识别的F1分数能到84.8%。

但一旦要求模型把同一个人物在不同镜头之间的身份对应起来（也就是论文里的"跨镜头身份一致性"，简称CCC），分数立刻雪崩。Gemini 2.5-Pro的CCC只有37.81%，开源模型更惨，普遍跌破12%。

这说明什么？模型能认出"这是个人"，但记不住"这是刚才那个人"。

这就好比一个人出门逛超市，每走到一个新货架都能准确说出眼前的商品是什么，但一转身离开这个货架再回来，他已经完全不记得刚才在哪个货架看过什么了。单次识别能力很强，但缺乏跨时间、跨场景的记忆连贯性。

再看声音和跨模态理解。模型处理人物对话的转写准确率普遍能达到80%以上，表现相当不错。但一旦涉及把声音事件精确对应到画面里的哪个镜头（论文里叫EVSA，事件-镜头关联），表现急转直下。Gemini 3.1-Pro的声音事件识别分数是63.32%，但一旦要求把这个声音绑定到对应的视觉镜头上，分数掉到了51.46%。开源模型更是普遍不到20%。

更极端的例子是Seed2.0这个模型，它在对话转写上表现最好，达到91.8%，但几乎完全没有识别出环境音效事件，只有4.54%的声音事件召回率。

这些数据拼在一起，指向了一个共同的结论：当前的多模态AI模型，在"看懂一个画面"和"听懂一段声音"这两件事上各自都不弱，但在把这两条信息线索真正绑定在一起，形成一个统一的时空理解这件事上，普遍存在明显短板。模型还在把音频和视觉当成两条互不干涉的平行轨道来处理，而不是一张互相咬合的网。

**精确率和召回率的拉锯战**

论文里还有一个挺有意思的发现，关于不同模型的"性格"差异。

Gemini 3.1-Pro在描述人物主体时，精确率高达67.07%，但召回率只有43.78%，这说明它倾向于保守，宁可少说也不乱说，尽量避免说错话。

而MiniCPM-o-2.6是另一个极端，描述场景的时候精确率能到76.32%，但召回率只有20.39%，这说明它说的虽然基本都对，但说得实在太少，大量该提到的细节被漏掉了。

这种精确率和召回率之间的"跷跷板"现象,正是前面提到的双向评估机制能够捕捉到的东西。如果继续用传统的整体打分法，这种性格差异会被完全掩盖，你只会看到一个笼统的分数，根本不知道这个模型是"谨慎型"还是"疏漏型"。

**失败案例:眼见为实**

论文里给了一个特别直观的案例，一段关于割草机操作的视频。标准答案描述的是一个人穿着蓝白格子衬衫、蓝色牛仔裤、棕色工作靴。

Qwen3.5-Omni-Plus给出的描述里多加了一句"他还戴着防护眼镜"。

问题是，视频里这个人根本没戴防护眼镜，这是模型凭空编出来的细节。如果只用传统的整体打分法，这句话读起来挺自然，裁判模型很可能因为整体行文流畅而给出不低的分数，这个编造的细节就这么被悄悄放过了。

但在OmniCapBench的拆分打分机制下，这个具体的属性描述会被单独拎出来核对，一旦发现标准答案里压根没有这个信息，精确率分数就会直接被扣掉，这个错误无处遁形。

这也是为什么论文反复强调，评测方式本身的设计，会直接决定你能不能发现AI模型的真实缺陷。一套只会给总分的评测体系，本质上是在替模型的错误打掩护。

**这篇研究往后会走向哪里**

这套评测思路提出之后，已经能看到它在推动整个领域往"结构化生成"的方向靠拢。

论文里提到，他们在构建这套体系的时候，参考并改进了一个叫MTSS（Multi-Stream Scene Script，多流场景脚本）的早期框架，把原本比较粗粒度的镜头划分进一步拆解成了更细的子镜头，还把原本的单点时间戳改成了更精确的连续时间区间。这个迭代本身就说明，评测标准不是一次性定型的，而是在不断被打磨得更细。

另外一个值得关注的方向，是论文里专门做的"后处理解析"对照实验。他们测试了如果让模型先写自由文本的描述，再用一个单独的解析器把文字转换成结构化数据，效果会怎样。结果发现，这种做法确实能提升格式上的"工整度"（比如镜头的时间边界切得更干净），但所有依赖真实理解的指标（比如跨镜头身份一致性、声音事件召回率）反而全面下滑。Gemini 3.1-Pro的CCC分数,从直接生成结构化数据时的34.43%,跌到了解析后处理模式下的5.20%。

**这说明一个挺扎心的事实:格式上的整洁,没法替代真实的理解,文字里本来就没有的信息,再怎么后期加工也凭空造不出来。**

**写在后面**

读完这篇论文，最触动我的其实不是那套精巧的三轨道结构设计，而是那个判断模型稳定性的小实验，三个不同水平的裁判给同一批结果打分，传统方法下分差能到22分，换了新方法之后分差被压到不足2分。

这个对比让我意识到一件事：我们平时说某个AI模型"得分很高"的时候，这个分数可能有一大半取决于"谁在打分"，而不是"模型做得有多好"。这比想象中更危险，因为如果换个裁判就能让排名反转，那所有基于排行榜做出的技术决策，可信度都要打个问号。

还有一个细节值得单独说一说,论文里提到他们特意保留了"模型可以识别出真实存在但标注者没想到的事实"这种情况，不会因为这类"超纲正确答案"而扣分，只是记录下来留作分析。这个处理方式其实挺克制的,很多评测体系为了追求指标的"干净"，会把这种边界情况简单粗暴地当成错误处理，但这篇论文选择了更谨慎的态度,承认标注本身也有覆盖不到的盲区。

这让我想到一个更大的问题：我们到底该怎么衡量一个AI到底"懂不懂"视频，而不只是"会不会描述"视频？这两者之间的鸿沟，可能比这篇论文已经揭示的还要深。

Q&A

Q1：OmniCapBench和传统的视频字幕评测方法有什么本质区别？

A：传统方法用一个整体打分或者稀疏的问答探针来评测，要么只给一个笼统分数掩盖局部错误，要么覆盖范围太窄漏掉大量内容。OmniCapBench要求AI直接输出结构化的参考、镜头、事件三条轨道，先用确定性规则核实结构关系，再让AI裁判只做局部语义判断，兼顾了覆盖全面性和评分可靠性。

Q2：OmniCapBench测试发现当前AI模型最大的短板是什么？

A：主要集中在三个方面，一是跨镜头的身份一致性差，模型容易把同一个人在不同镜头里认成不同的人；二是声音事件和视觉画面绑定能力弱，模型往往能分别识别声音和画面却连不上关系；三是存在明显的精确率召回率失衡，有的模型过于保守漏说细节，有的则容易编造不存在的内容。

Q3：为什么同一批AI生成的字幕，用不同裁判模型打分差距会很大？

A：因为传统评测方式让AI裁判做不受约束的整体推理，既要解析文本又要比对事实还要综合打分，不同裁判模型的推理习惯差异会被放大。实验显示弱裁判和强裁判给同一批结果打分能相差22分以上，而OmniCapBench把裁判权限限定在小范围语义比对后，不同裁判打分差距被压缩到不足2分。

标签： 评测 模型权重