多模态大模子解析确凿宇宙的水平到底若何？

有新基准来量度了。

就在最近，小红书和上海交通大学蚁合淡薄WorldSense，一个全新的基准测试，用来评估多模态大模子（MLLMs）的多模态确凿场景解析才调。

基于 WorldSense，团队对各样先进的 MLLMs 进行了无为评估，终端发现：

开源的视频 - 音频模子在该基准上的准确率仅约 25%，简直等同于就地猜测；即使是发挥最佳的专有模子 Gemini 1.5 Pro，准确率也惟有 48%，远不成得志可靠真的凿宇宙应用需求。

底下具体来看。

WorldSense 先容

遐想一下，当你开车时，不仅要依靠眼睛不雅察说念路记号、交通讯号灯和阻拦物，还要用耳朵听其他车辆的喇叭声、后方传来的警笛声，致使通过手对标的盘的触感、车辆行驶时的滚动来作念出实时有打算，确保安全驾驶。

这便是东说念主类在确凿场景中天然的多模态信息整合才调。

而当今的多模态大模子，在搞定这些复杂真的凿宇宙场景时，发挥究竟若何呢？

WorldSense 的出身，恰是为了填补现存评估体系的关键空缺。

与以往那些存在诸多局限性的基准测试不同，它具备三大中枢亮点，为多模态大模子的评估开辟了新的说念路。

全模态协同，深度交融感知

在 WorldSense 的遐想中，音频和视频遍及耦合，每个问题齐需要模子充分挖掘音频和视频中的脚迹，将两者信息有机联接，才能找到正确谜底。

比如，在上图第一个例子中，有个东说念主手里拿着生果。要是仅依靠视觉信息，咱们可能只可看到他拿着东西这个行动，但很难细则他具体在作念什么，是展示生果的颜料、大小，仍是在进行其他操作；而仅凭借音频，咱们致使齐难以判断他手中拿的是什么生果。

惟有将视觉与音频信息协同起来，模子才能准确解析场景，给出正确谜底。这种遐想严格熟练模子同期搞定多种感官输入、进行精确解析的才调。

最新的开源视频音频多模态大模子只是得到了 25% 傍边的准确率，而发挥最佳的 Gemini 1.5 Pro 也惟有 48% 的准确率，况兼在缺失一个模态的情况下性能着落约 15% 傍边。

这进一步阐述了全模态协同在确凿宇宙感知的弥留性和 WorldSense 中多模态信息的强耦合，也揭示了现存多模态大模子的局限性。

视频与任务各样性，全地方场景笼罩

据先容，WorldSense 涵盖了1662 个视听同步视频，系统地分为 8 个主要界限和 67 个细粒度子类别，笼罩了丰富真的凿宇宙场景。

同期，它还包含 3172 个多选问答对，横跨 26 种不同的解析任务，从基础的物体识别、声息鉴别，到复杂的因果推理、详细见识解析，全地方评估 MLLMs 的多模态解析才调。

高质料标注，可靠性的基石

为了保证评估的可靠性，统共的问答对齐是由80 位巨匠手动标注。

而且，标注进程并非一蹴而就，而是经过多轮严格的东说念主工审核，从谈话抒发的明晰度、逻辑的连贯性，到谜底的准确性和惟一性，齐进行了反复考量。

不仅如斯，还借助自动 MLLM 考据技巧，进一步确保标注质料。

经过这么双重保险的标注进程，确保问题和谜底的准确性和高质料。

推行

如前所述，沟通团队基于 WorldSense 对各样先进的 MLLMs 进行了无为评估，终端令东说念主深念念。

开源的视频 - 音频模子在该基准上的准确率仅约 25%，简直等同于就地猜测；即使是发挥最佳的专有模子 Gemini 1.5 Pro，准确率也惟有 48%，远不成得志可靠真的凿宇宙应用需求。

这标明现时的模子在解析确凿宇宙场景方面还靠近重大挑战，同期也突显了全模态协同解析的弥留性。

为进一步深化剖析这些模子的性能短板，沟通东说念主员开展了细粒度分析，从不同音频类型和任务类别两个关键维度出手，挖掘模子在本体应用中的具体问题。

这一分析为咱们深化细察现存模子的局限性提供了关键视角。

最闭幕尾如下：

1、音频干系任务发挥欠佳：模子在音频识别、计数等任务上发挥差，显贵过期于其他任务类型。这是由于音频信号复杂，现存模子架构和考试法式难以灵验解析把握其中的频率、音色等信息。

2、情怀干系任务挑战重大：这类任务需整合面部心境、口吻语调、语音内容等多模态脚迹，模子发挥较差，示意其考试数据穷乏情怀样本，且架构算法难以交融多模态信息进行判断。

3、不同音频类型下发挥各别：以 Gemini 1.5 Pro 为例，其搞定事件干系问题的准确率低于语音或音乐任务，其他模子也存在不异情况。这突裸露存模子穷乏对各样音频类型通用、褂讪的解析才调。

鉴于上述评估中揭示的多模态大模子（MLLMs）在性能上的重大差距，沟通团队深化探究了擢升 MLLMs 性能的潜在法式，具体涵盖视觉信息、音频信息以及视频帧等方面的沟通。

视觉信息的影响

沟通东说念主员通过拓荒不同的输入建树，探究视觉信息对模子性能的影响，这些建树包括仅音频输入、音频联接视频字幕输入以及音频联接视频帧输入。

从推行终端来看，视觉信息时时能擢升模子性能。以 Gemini 1.5 Pro 为例，其仅音频输入时准确率为 34.6%，而添加视频帧输入后，准确率擢升至 48.0%。

关联词，不同模子受视觉信息的影响存在差异。像 UnifiedIO2 系列模子，在联接视频字幕输入时，性能擢升效力并不褂讪，致使出现了性能着落的情况。

这一闲静标明，一方面，视觉信息若能被模子稳妥整合，对增强多模态解析至关弥留；另一方面，现时模子在灵验把握视觉信息方面的才调仍然有限，可能是因为模子在搞定视觉特征与其他模态信息交融时存在费力，或者是在索要视觉关键信息上还不够高效。

音频信息的作用

在音频信息的沟通上，团队拓荒了三种输入建树进行推行，分辩是仅视频输入、视频联接字幕输入以及视频联接原始音频输入。

推行终端呈现出道理的律例。

关于 Gemini 1.5 Pro 和 OneLLM 等模子，添加字幕能提高准确率，而添加原始音频后，准确率擢升更为显贵，这充分阐述字幕和原始音频中的声学特征（如口吻、情怀、环境声息等）齐为多模态解析提供了有价值的信息，且原始音频包含了字幕无法捕捉的弥留脚迹，对多模态解析道理紧要。

但不同模子对音频信息的搞定才调也有所不同。UnifiedIO2 在整合字幕或音频时，性能出现了着落，尤其是字幕输入导致准确率明白裁减，这反馈出该模子在多模态搞定方面存在费力，可能无法灵验交融音频和视觉等多模态信息。

而 Video - LLaMA2 天然在添加两种模态信息时性能齐有所擢升，但对字幕的依赖更强，在搞定原始音频时发挥相对较弱，这标明它更擅长搞定文本形式的音频信息，而在解析复杂声学信息上才调不及。

此外，沟通东说念主员还对仅视频输入的 MLLMs 提供转录字幕进行评估，发现简直统共模子在添加字幕后性能齐显贵擢升，不外在音乐干系问题上，由于字幕无法灵验捕捉旋律、节律和和声等固有声学特征，性能擢升并不明白。

这进一步讲明了原始音频在多模态解析中的独到价值，同期也标明现时模子在整合声学和文本信息以终了全面场景解析方面存在较大的擢起飞间。

视频帧采样密度的效力

沟通团队还沟通了视频帧的时候采样密度对模子性能的影响，通过改换仅视频输入的 MLLMs 的输入帧数来进行推行。

终端傲气，大无数模子在增多帧密度后，性能有显贵擢升。

这是因为更高的帧密度大概让模子更好地捕捉视频中细粒度的时候动态变化和玄妙的视觉改换，从而擢升对视频内容的解析。

举例，在一些包含快速行动或眇小细节变化的视频中，增多帧密度能让模子获取更多关键信息，进而作念出更准确的判断。但也有例外，如 LLaMA - 3.2 在增多帧密度时，性能并未擢升。

这可能与该模子自己的架构特色或考试面貌关联，导致它无法灵验把握增多的帧信息，这也为后续沟通若何优化模子以更好地把握视频帧信息提供了念念考标的。

小结一下，通过对视觉信息、音频信息以及视频帧采样密度的沟通，为擢升 MLLMs 在确凿宇宙场景中的解析才调提供了弥留的参考标的。

曩昔的沟通不错基于这些发现，进一步优化模子架构和考试法式，以增强模子对多模态信息的搞定才调，减轻与东说念主类确凿宇宙解析才调之间的差距。

论文流畅：

https://arxiv.org/abs/2502.04326

样式主页：

https://jaaackhongggg.github.io/WorldSense/

—  完  —

投稿请责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 样式主页流畅，以及预计面貌哦

咱们会（尽量）实时回应你

一键关爱 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「防范心」

接待在评述区留住你的目标！🦄九游娱乐(China)官方网站