精确指出特定事件发生时间！字节&复旦大学多模态大模型解读视频太香了
丰色 发自 凹非寺
量子位 | 公众号 QbitAI
字节&复旦大学多模态理解大模型来了：
可以精确定位到视频中特定事件的发生时间。
比如在下面这个视频中：
狗子转身看镜头时的时间戳是多少？
什么时候用爪子推开滑板？
在这里，视频中的宝宝什么时候推起眼镜、舒展了一下身体？又是什么时候翻的书？
对于这样的问题，这个叫做LEGO的模型全都读得懂，并毫不犹豫给出正确答案。
看起来，有了这些研究成果，以后我们看视频查资料都要方便一大截咯？
可精确识别局部信息的多模态LLM来了
LEGO全称是一个语言增强的多模态grounding模型。
它主要解决的是多模态LLM跨多种模态进行细粒度理解的能力，此前业内的成果主要强调全局信息。
为了实现该目标，作者主要先从数据集下手，打造了一套用于模型训练的多模式、多粒度问答形式数据集（即将开源）。
该数据集的构建涉及两个关键流程。
一是数据集转换（Dataset Conversion）。
在这个阶段，作者的目的是构建用于模态对齐和细粒度对齐的基础多模态数据集。
由于数据集质量相对较低，主要通过转换公开数据集获得。
如下图上部分所示，他们向GPT-3.5提供任务描述以生成特定于任务的问题库，最终生成单轮对话格式的问答对。
生成的数据集会进行过滤以确保其质量。
其中对于图像模态，作者利用LLaVA-pretrain595K数据集进行模态对齐，细粒度对齐则使用特定数据集如RefCOCO。
视频模态用Valley-Pretrain-703K进行模态对齐，Charades-STA数据集用于细粒度对齐。
二是指令调整数据集生成（Instruction-tuning Dataset Generation）。
这个数据集的目的是让模型更好地理解和遵循人类指令。
如上图下部分所示，作者也选择了公开可用的数据集（Flickr30K Entities、VCR、DiDeMo等）的子集进行人工注释，以创建上下文示例。它用于指导GPT-3.5在生成指令调整数据集时遵循类似的模式。
随后，特定任务的系统提示和随机选择的示例被输入到GPT-3.5中，以生成单轮或多轮对话。最后，进行数据过滤以确保数据集质量。
下面是经过三阶段训练产生的最终数据样本示例：
下面是LEGO模型的架构：
每个模态的输入通过独立的编码器进行处理，提取特征，然后使用适配器将这些特征映射到LLM的嵌入空间。
图中演示的是视频和图像模式的两个示例，蓝色方框表示视频作为输入，而黄色方框表示图像作为输入。
由于其基于模块化设计和适配器的架构，LEGO可以无缝集成新的编码器，处理额外的模态，如点云和语音，主打一个好扩展。
最后，LEGO使用Vicuna1.5-7B作为基础语言模型，训练由三个阶段完成：多模态预训练，细粒度对齐调整和跨模式指令调整。
下面是实验评估：
图像任务中，LEGO模型和其他模型在REC任务中的性能如下表所示，可以看到它在所有数据集上都表现出了比较有竞争力的性能。
视频任务中，由于LEGO侧重对于整个视频的理解，相比VideoLLaMA、VideoChat和Valley这三个模型，性能表现相当优异：
更多能力展示
如上所说，LEGO的能力不仅在于视频定位，对图片、音频等多模态任务都很在行。
指的就是以下这些：
图像内容解读
在这张风景图中，它准确给出了游玩风险提示。
在这个meme图中，它也准确发现这是一个炸鸡拼成的简单地图。
视频内容概括简介
可以看到它能识别出非常细节的城市坐标和景点。
音频解析
当然，这里测试的只是一个比较简单的纯雨声短音频。
声音定位
给一段狗叫音频+一张狗狗奔跑的图像，它可以准确圈出声音来源在狗嘴部。
作者介绍
本文一共12位作者。
除了一作Zhaowei Li来自复旦大学，还有一位叫做的Dong Zhang的也来自这里。
其余均为字节跳动员工，通讯作者为Tao Wang。
论文地址：
https://arxiv.org/abs/2401.06071
— 完 —
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者