国际科技财经博客移民网络热点娱乐民生时事公众号

>

LVM 是噱头还是通用视觉的新突破？

LVM 是噱头还是通用视觉的新突破？

公众号新闻

2023-12-09 03:12

机器之心PRO · 会员通讯 Week 49

---- 本周为您解读 ④ 个值得细品的 AI & Robotics 业内要事 ----

1. LVM 是噱头还是通用视觉的新突破？

LVM 是什么？LVM的「AGI火花」是什么？LVM 与其他视觉模型有什么不同？LVM 离视觉的「GPT 时刻」更近了吗？在 LVM 之前，视觉基础模型都是如何发展的？...

2. AGI 的到来究竟还要几年？

马斯克为何说 AGI 到来还有 3 年？黄仁勋的 5 年预测从何而来？现在的大模型离他们说的 AGI 还有多远？LeCun 为何觉得 AI 会先变成猫狗？...

3. 奥特曼投资的 NPU 会是取代 GPU 的种子选手吗？

OpenAI 花 5100 万美元定的 NPU 真能取代 GPU 吗？Rain AI 又是何方神圣？NPU 与 TPU 孰强？XPU 版摩尔定律了解一下？...

4. 人形机器人技术进入稳定发展期，行业前景如何？

中国的人形机器人技术专利情况如何？人形机器人技术有哪些细分方向？发展情况如何？头部人形机器人产品及其公司的专利情况如何？人形机器人行业未来的技术发展走向？...

...本期完整版通讯含 4 项专题解读 + 31 项本周 AI & Robotics 赛道要事速递，其中技术方面 13 项，国内方面 7 项，国外方面 11项...

本期通讯总计 26966 字，可免费试读至 6 %

消耗 99 微信豆即可兑换完整本期解读（约合人民币 9.9 元）

要事解读 ① LVM 是噱头还是通用视觉的新突破？

日期：12 月 4 日

事件：UC 伯克利和约翰霍普金斯大学的研究者提出了大型视觉模型（LVM），无需任何自然语言输入或输出，引起了广泛的关注和讨论。

LVM 和 LLM 有什么关系？下一代的最强大模型一定是 LVM 吗？

在视觉任务中，传统的视觉-语言模型主要用于需要共同理解视觉和文本模式的任务。伴随大语言模型的突破，学术界和工业界均开始尝试采用「文本」来扩大视觉模型的规模。这种方法在训练时会给模型提供图片样例（如一个水果的照片），并附上文字描述（如：这是 XX 水果）。但在面对更加复杂的图片时，这种模型很容易忽略其中大量的信息。

1、LVM，全称 Large Vision Model（大型视觉模型），仅使用图像数据进行训练和推理，无需自然语言输入或输出。

2、现有的 LLM（大型语言模型）具备两种关键特性。即：在大数据环境下的扩展能力；通过提示（上下文学习）灵活地指定任务（即时学习）。

3、LVM 的研究目标在于仅从像素出发，探索视觉模型如何模仿上述 LLM 的两个关键特性。研究者为此指定了「数据」、「架构」、「损失函数」3 个核心组件。

① 数据方面：研究者定义了一种通用格式，称为「视觉句子」（visual sentence），用它来表征不同的注释（如包括语义分割、深度重建、关键点等），而不需要任何像素以外的元知识。

② 架构方面：研究者采用 30 亿参数的 Transformer 架构，在表示为 token 序列的视觉数据上进行训练，并使用学得的 tokenizer 将每个图像映射到 256 个矢量量化的 token 串。

③ 损失函数方面：研究者从自然语言社区汲取灵感，即掩码 token 建模已经「让位给了」序列自回归预测方法。一旦图像、视频、标注图像都可以表示为序列，则训练的模型可以在预测下一个 token 时最小化交叉熵损失。

4、在测试中，研究者称 LVM 显示出了通用人工智能（AGI）的「火花」，表现出了一些跨领域和跨模态的能力。

① 简单来说，LVM 通过视觉 Prompt 进行学习，成功理解并答对了类似公务员考试中的图形推理题？

图："AGI 的火花？"研究者用一个遮蔽的推理视觉句子提示 LVM（图中红框左侧），让它推断出智商测试中常见的非语言推理题的答案。研究者发现，该模型通常能正确推断并应用抽象的视觉模式。因此，研究者「谦逊」地向读者抛出了一个问题：LVM 是否也表现出了备受赞誉的 "AGI 火花"。

LVM 将视觉上下文学习能力推到了新的维度？[1] [4]

1、LVM 的可扩展性使其能够处理并学习从原始图像到语义分割和深度重建等标注数据集的各种视觉数据类型。

① 这种多样化的数据输入增强了模型对复杂视觉场景的理解，同时可扩展的 LVM 能更好地在各种任务中泛化，并更有效地适应新挑战，对于视觉输入高度变化的实际应用至关重要。

② 但目前预训练的纯视觉模型在扩展到诸如 LAION 真正大的数据集时，仍然存在困难。

2、知乎的年度新知答主谢凌曦评价 LVM 称：它将视觉 in-context learning 扩展到了序列上，相当于提升了一个维度，所以能够支持的 prompt 形式也更加丰富，能够完成更复杂的推理。往远处看，在视觉交互环境构建起来后，我们也需要一种能够「预测下一帧」的基础模型，届时这篇文章的技术很可能会发挥更大的作用。

LVM 与其他视觉模型有什么不同？[1]

1、LVM 仅使用图像数据进行训练和推理，不依赖于任何自然语言输入或输出。这使得 LVM 更接近于人类的视觉学习方式，并且具有更高的通用性和灵活性。

2、通过增加模型的参数量和扩大训练数据的规模，LVM 可以提高其性能和泛化能力。这种扩展性与大语言模型（如 GPT 系列）的方法相似。

3、LVM 采用了一种基于序列的建模方法，将图像序列编码为低维向量，并使用自回归模型来预测下一帧的向量。这种方法在视觉模型中较为少见。

LVM 离视觉的「GPT 时刻」更近了吗？[4]

LVM 因其仅采用图像数据训练而引起了大量讨论，许多网友对其所带来的贡献和影响发表了评论。下面是知乎的年度新知答主谢凌曦的看法。

1、目前，要想达成视觉的 GPT 时刻，现在的基础设施建设还远远不够。特别是，视觉需要一个充分复杂的交互环境和足够丰富的任务（包括收集各种 instruction），目前还未实现。

2、现有的数据规模还不足以将视觉模型建模好，数据是一大难点。训练大规模视觉和语言模型需要大量数据和计算资源。这些模型的计算要求限制了它们在许多实际应用中的可访问性和可扩展性。

① LVM 的的核心贡献之一，就是构建了一个统一视觉数据集 UVDv1。

3、LVM 与 LLM 同样存在幻觉问题，生成的输出是不真实或无意义的，通常基于假设场景。为控制幻觉，可以向对话型 LLM 提供明确的指令，要求其基于提供的上下文提供答案。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

相关阅读

利用视觉大模型，虹软引发商拍市场一场豹变｜甲子光年 LVMH集团主席最信赖的干将之一，Michael Burke 接掌 LVMH时尚集团雾还是那么浓 200斤的日本顶流女星，如今暴瘦到认不出：这是换头还是换脸了？直挂云帆济沧海——夏威夷群岛之行（四）“双11”观察：“血拼”低价，是真噱头还是真便宜？一文掌握RDMA、NVMe和NVMe-oF 视觉Mamba模型的Swin时刻，中国科学院、华为等推出VMamba LVMH三季度增长「熄火」，奢侈品的超级周期结束了吗？清华叉院提出「GenH2R」框架，用百万场景打造基于视觉的通用人机交接策略防串色，烘得透，是噱头还是实力？2023的夏天散记工业异常检测大模型来了！哈工大提出Myriad：利用视觉专家进行工业异常检测的大型多模态模型高阶智驾战火升级：价格战开打，NOA规模化要如何突破？被“骂”了25年的贝赛思，如今用一堆哈佛斯坦福证明：名校的尽头还是刷题考试？让AI模型成为GTA五星玩家，基于视觉的可编程智能体Octopus来了好用的不通用，通用的不好用，金融落地大模型需要“专业型”选手这些年这些人这些事—回国散记之三年疫情据说现在流行莫言式的“两眼紧闭，面如死灰”。这个比“一样健壮的体格，一样麻木的神情”见长进吗？最新！10校16枚牛剑面邀！沪上国际学校惊现“黑马”？哪些学校是0突破？王毅突发访美，中美关系重大突破？真噱头还是黑科技?！美的人感科技系列新品硬核挑战 “丑鞋”Birkenstock纽交所上市：市值86亿美元，背后金主是LVMH 路演PPT曝光 LVMH集团CFO在前天电话会议上如何谈论“中国市场”？更多重要细节披露改造百年马厩，LVMH集团“卓越工艺之家”将于2025年在巴黎落成 LVMH集团继承计划细节披露：Bernard Arnault可掌权到95岁，子女不得在未来30年出售股权用视觉来做Prompt！沈向洋展示IDEA研究院新模型，无需训练或微调，开箱即用 200斤的日本第一顶流女星，如今暴瘦到网友认不出：这是换头还是换脸了？联合语言和视觉的力量，复旦团队发布全新多专家融合视觉-语言大模型大规模视觉模型新突破！70亿参数！Apple新作AIM：自回归图像模型通用视觉推理显现，UC伯克利炼出单一纯CV大模型，三位资深学者参与晚点财经｜美联储打败 LVMH；华为恐惧在汽车行业扩散视觉全新主干！中科院&华为提出VMamba：视觉状态空间模型瞭望访谈｜陈松林院士：海水鱼育种空间大，有何突破？未来方向？财报速递 | 富人也撑不住？LVMH最新季报显示奢侈品需求急剧降温

热点事件追踪

美国公司裁员Layoff

2024-01-28 18:01

2024-01-09 19:01

2024-01-07 18:01

美国堕胎权争议

2024-01-06 18:01

美国枪击案

2024-01-06 18:01

2023-12-13 17:12

2023-12-02 07:12

2023-11-26 18:11

中美航班重磅消息！每周85班，直飞更方便！

微软、亚马逊、谷歌大裁员！哪些科技和零售公司有缩减规模计划？

中国外长王毅：中美关系已经止跌回稳

脱轨事故造成20多人受伤联邦调查纽约市全部地铁系统

更多 2024-05-01 的新闻