国际科技财经博客移民网络热点娱乐民生时事公众号

>

LAION-AI发布OpenFlamingo，GPT-4开源替代品

LAION-AI发布OpenFlamingo，GPT-4开源替代品

公众号新闻

2023-03-30 13:03

出品 | OSC开源社区（ID：oschina2013)

非营利组织 LAION-AI 发布了 OpenFlamingo，这是一个用于训练和评估大型多模态模型 (LMM) 的框架，属于 DeepMind 的 Flamingo 模型（一种能够处理和推理图像、视频和文本的等多模态内容的框架）的开源复制品。

其数据集 OpenFlamingo-9B 的 Demo 页面展示了训练结果，用户可以上传图片让该模型进行识别。

小编浅试了一下，一张简单的图片耗时 11 秒，可以相当精准地描述图片的主体：

对于另一张内容较多的图片，识别的时间则上到 16 秒左右，但识别出来的内容仍是图片中心的主体，并没有其他细节内容。

可以看出精度并不是很理想，还需要继续迭代。

LAION-AI 称 OpenFlamingo 的目标是开发一个可以处理各种视觉语言任务的多模态系统，最终目标是在处理视觉和文本输入方面与 GPT-4 的功能相匹配。

OpenFlamingo 的首个版本主要包含如下内容：

一个用于训练 Flamingo 风格 LMM 的 Python 框架（基于 Lucidrains 的 flamingo 实现和 David Hansmair 的 flamingo-mini 存储库）。
具有交叉图像和文本序列的大规模多模态数据集。
视觉语言任务的上下文学习评估基准。
OpenFlamingo-9B 模型（基于 LLaMA ）的第一个版本

OpenFlamingo-9B 模型在 LAION-AI 自研的多模态 C4 数据集上训练，LAION-AI 称即将发布该数据集的细节。

OpenFlamingo 的整体架构图如下，可以看出技术细节上很大程度上是跟着 DeepMind 的 Flamingo 模型走，Flamingo 模型在包含交叉文本和图像的大规模网络语料库上进行训练，OpenFlamingo 同样是使用交叉注意力层来融合预训练的视觉编码器和语言模型。

相关链接：https://laion.ai/blog/open-flamingo/

往期推荐

ChatGPT数据泄露，技术细节公布

内存数据库DragonflyDB 1.0正式GA，性能是Redis的25倍

卡巴斯基实锤拼多多App恶意代码

这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得关注✔ 标星⭐ 哦

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

相关阅读

不满意ChatGPT，马斯克拟另起炉灶研发替代品！智源发布FlagOpen大模型技术开源体系，要做大模型时代的“新Linux”GitHub刷屏！MiniGPT-4开源：可以看图聊天、教学、创作、搭网站......GPT 天赋“易昺（bǐng）”，创造历史！lāo dao？láo dao！Pigsty v2 正式发布：更好的RDS PG开源替代 HuggingChat：第一个面向所有人使用的 ChatGPT 开源替代方案 | Linux 中国使用 BookStack 写文档，一个开源的 Confluence 替代品 SQL开源替代品，诞生了！300美元复刻ChatGPT九成功力，GPT-4亲自监考，130亿参数开源模型「小羊驼」来了 5月24日发布，OPPO官方宣布OPPO Reno10系列发布时间 OpenWrt：一个开源的家用路由器固件替代品 | Linux 中国 ChatGPT的替代品来了！HuggingChat号称媲美GPT-3.5，要拆掉OpenAI的围墙突发！ChatGPT遭多国调查，OpenAI凌晨发文，GPT-5要被叫停？过年穿新衣：分放新队服欢乐记 ChatGPT开源平替来了，开箱即用！前OpenAI团队打造，GitHub刚发布就揽获800+星传马斯克组队开发ChatGPT替代品，招揽DeepMind大牛，对抗OpenAI Gpt 4一出，谁与争锋中国大模型时代新Linux初显！FlagOpen大模型技术开源体系发布炮轰OpenAI变质后，马斯克“宣战”：拟另起炉灶研发ChatGPT替代品，正在招揽AI大牛 ChatGPT开源替代来了！参数量200亿，在4300万条指令上微调而成 GPT-4强到离谱，OpenAI拒绝Open！首席科学家：开源并不明智，我们之前错了马斯克宣布打造 ChatGPT 竞品！OpenAI CEO 给他泼了一盆冷水，GPT-5 或将大变不满意OpenAI，马斯克拟另起炉灶，研发ChatGPT替代品！TVB第三大股东两日减持近千万股；360发布《年度手机安全报告》；微软宣布Office正式融入GPT-4……砂子和眼睛，匣子和宝珠，语法和语言：论人在语言中的地位如果有人热捧权威，无论是人还是偶像（包括由他们自己定义的科学），那么对他的言行，你要当心了。突发！ChatGPT遭多国调查，OpenAI凌晨就安全问题发文，GPT-5要暂缓？韦神出的这道题火了，GPT 一段青绿色的快闪 7 Papers & Radios | OpenAI用GPT-4解释GPT-2；Meta开源多感官基础模型 2022年底波特兰、西雅图、温哥华游集成ChatGPT后必应日活量首破亿！微软推出Azure OpenAI ChatGPT 服务，GPT-4下周发布 Mozilla领投推特开源替代品Mastodon的iOS版应用二年级选课，忽闻一夜 GPT 来，千课万课 AI 开谷歌、OpenAI 都白干，开源才是终极赢家！谷歌内部文件泄露：欲借开源打败 OpenAI 用自研 Pingora 替代 Nginx 后，Cloudflare 成为了最受欢迎 Web 服务器不满 OpenAI，马斯克决定下场开发 ChatGPT 替代品

热点事件追踪