BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」

多模态大语言模型（Multimodal Large Language Model，MLLM）依赖于LLM丰富的知识储备以及强大的推理和泛化能力来解决多模态问题，目前已经涌现出一些令人惊叹的能力，比如看图写作和看图写代码。

但仅根据这些样例很难充分反映MLLM的性能，目前仍然缺乏对MLLM的全面评测。

为此，腾讯优图实验室联合厦门大学在新建的评测基准MM上首次对现有12种开源MLLM模型进行了全面定量评测并公布了16个排行榜，包含感知和认知两个总榜以及14个子榜单：

论文链接：https://arxiv.org/pdf/2306.13394.pdf

项目链接：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models/tree/Evaluation

现有MLLM的定量评测方法主要分为三类，但都存在一定的局限导致难以全面反映其性能。

第一类方法在传统的公开数据集上进行评测，例如图像描述（Image Caption）和视觉问答（VQA）数据集。

但一方面这些传统数据集可能难以反映MLLM涌现的新能力，另一方面由于大模型时代的训练集都不再统一，因此难以保证这些评测数据集没有被其他MLLM训练过。

第二种方式是收集新的数据进行开放式评测，但这些数据要么未公开[1]，要么数量太少（仅有50张）[2]。

第三种方式聚焦于MLLM的某个特定方面，比如物体幻觉（Object Hallucination）[3]或者对抗鲁棒性[4]，无法做全面评测。

目前亟需一个全面的评测基准来匹配MLLM的快速发展。研究人员认为一个通用的全面评测基准应该具有以下特点：

（1）应该覆盖尽可能多的范围，包括感知和认知能力。前者指的是识别物体，包括其存在性、数量、位置和颜色等。后者指的是综合感知信息以及LLM中的知识来进行更复杂的推理。其中前者是后者的基础。

（2）数据或者标注应该尽可能避免采用已有的公开数据集，以减少数据泄露的风险。

（3）指令应该尽可能简洁并且符合人类的认知习惯。不同的指令设计可能会极大影响模型的输出，但所有的模型都在统一的简洁指令下进行评测可以保证公平性。一个好的MLLM模型应该具备泛化到这种简洁指令上的能力，避免陷入Prompt Engineering。

（4）MLLM在该简洁指令下的输出应该是直观的并且便于定量统计。MLLM开放式的回答给量化统计提出了很大挑战。现有方法倾向于使用GPT或者人工打分，但可能面临着不准确和主观性的问题。

图1. MME评测基准示例。每张图片对应两个问题，答案分别为Yes[Y]和No[N]。问题加上「Please answer yes or no」共同构成指令。

基于以上原因，一个新的MLLM评测基准MME被构建出来，它同时具备以上四个特点：

1. MME同时评测感知和认知能力。除了OCR外，感知能力还包括粗粒度和细粒度目标识别。前者识别物体的存在性、数量、位置和颜色。后者识别电影海报、名人、场景、地标和艺术品。认知能力包括常识推理、数值计算、文本翻译和代码推理。总的子任务数达到14种，如图1所示。

2. MME中所有的指令-答案对都是人工构建的。对于少量使用到的公开数据集，仅使用其图像而没有依赖其原始标注。同时，研究人员也尽力通过人工拍摄和图像生成的方式来采集数据。

3. MME的指令被设计得尽量简洁以避免Prompt Engineering对模型输出的影响。研究人员再次申明一个好的MLLM应该泛化到这种简洁且使用频繁的指令，这对所有模型都是公平的。图1中显示了每个子任务的指令。

4. 得益于指令设计「Please answer yes or no」，可以方便地根据模型输出的「Yes」或「No」进行定量统计，这种方式可以同时保证准确性和客观性。值得注意的是，研究人员也尝试过设计选择题的指令，但发现当前的MLLM还难以跟随这类较为复杂的指令。

研究人员一共评测了12种先进的MLLM模型，包括BLIP-2 [5]、LLaVA [6]、MiniGPT-4 [7]、 mPLUG-Owl [2]、LLaMA-Adapter-v2 [8]、Otter [9]、Multimodal-GPT [10]、InstructBLIP [11]、 VisualGLM-6B [12], PandaGPT [13], ImageBind-LLM [14] 和 LaVIN [15]。

其中，统计指标有三种，包括Accuracy，Accuracy+和Score。其中对于每个任务，Accuracy是基于问题统计而来，Accuracy+是基于图片统计而来（图片对应的两个问题都需要回答正确），Score是Accuracy和Accuracy+的和。

感知的总分为10种感知类子任务Score的总和，认知的总分是4种认知类任务Score的总和。具体详见项目链接。

12种模型在14种子任务上的测试比较如图2所示：

图2. 12种模型在14种子任务上的比较。每种子任务的满分为200分。

一共16个榜单，包括感知类和认知类的总榜单以及14个子任务的榜单也已发布。两个总榜单分别如图3和图4所示，值得注意的是BLIP-2和InstructBLIP在这两个榜单中都保持在前三。

图3.感知类任务总榜单

图4.认知类任务总榜单

图5.所有榜单

另外研究人员也总结了MLLM模型在实验中暴露的一些通用问题，如图6所示，希望可以为后续的模型优化提供指导。

图6. MLLM暴露的通用问题。[Y]/[N]表示真实的答案是Yes/No。[R]是MLLM生成的答案。

第一个问题是不跟随指令。

尽管已经采用了非常简洁的指令设计，但仍然有MLLM自由回答问题而不是跟随指令。

如图6中的第一行所示，指令已经申明「Please answer yes or no」，但MLLM仅给出了一个陈述性回答。如果在回答的开头没有出现「Yes」或者「No」，都判定该回答错误。一个好的MLLM，尤其是经过指令微调后，应该能够泛化到这种简单的指令上。

第二个问题是缺乏感知能力。

如图6中的第二行所示，MLLM错误地识别了第一张图片中香蕉的数量和第二张图片中的数字，导致回答错误。研究人员也注意到感知的性能很容易受到指令变化的影响，因为同一张图的两个指令只相差一个单词，但导致了完全不同的感知结果。

第三个问题是缺乏推理能力。

如图6中的第三行所示，从红色的文字可以看出MLLM已经知道了第一张图片不是一个办公场所，但仍然给出了一个错误的回答「Yes」。

相似地，在第二张图片中，MLLM已经计算得到了正确的算数结果，但最终也给出了错误的答案。添加思维链Prompt，例如「Let’s think step by step」也许能带来更好的效果。期待这方面有更深入的研究。

第四个问题跟随指令的物体幻视。如图6中的第四行所示，当指令中含有图片中不存在的物体时，MLLM将会幻想该物体存在并最终给出一个「Yes」的回答。

这种总是回答「Yes」的方式导致了Accuracy接近于50%，Accuracy+接近于0。这表明抑制目标幻视的重要性，并且也需要进一步思考MLLM生成的答案的可靠性。