Redian新闻
>
LAION-AI发布OpenFlamingo,GPT-4开源替代品

LAION-AI发布OpenFlamingo,GPT-4开源替代品

公众号新闻

出品 | OSC开源社区(ID:oschina2013)

非营利组织  LAION-AI 发布了 OpenFlamingo,这是一个用于训练和评估大型多模态模型 (LMM) 的框架,属于 DeepMind 的 Flamingo 模型(一种能够处理和推理图像、视频和文本的等多模态内容的框架)的开源复制品。
其数据集 OpenFlamingo-9B 的 Demo 页面展示了训练结果,用户可以上传图片让该模型进行识别。
小编浅试了一下,一张简单的图片耗时 11 秒,可以相当精准地描述图片的主体:
对于另一张内容较多的图片,识别的时间则上到 16 秒左右,但识别出来的内容仍是图片中心的主体,并没有其他细节内容。
可以看出精度并不是很理想,还需要继续迭代。
LAION-AI  称 OpenFlamingo 的目标是开发一个可以处理各种视觉语言任务的多模态系统,最终目标是在处理视觉和文本输入方面与 GPT-4 的功能相匹配。
OpenFlamingo 的首个版本主要包含如下内容:
  • 一个用于训练 Flamingo 风格 LMM 的 Python 框架(基于 Lucidrains 的 flamingo 实现和 David Hansmair 的 flamingo-mini 存储库)。

  • 具有交叉图像和文本序列的大规模多模态数据集。

  • 视觉语言任务的上下文学习评估基准。

  •  OpenFlamingo-9B 模型(基于 LLaMA )的第一个版本

OpenFlamingo-9B 模型在 LAION-AI 自研的多模态 C4 数据集上训练,LAION-AI 称即将发布该数据集的细节。
OpenFlamingo 的整体架构图如下,可以看出技术细节上很大程度上是跟着 DeepMind 的 Flamingo 模型走,Flamingo 模型在包含交叉文本和图像的大规模网络语料库上进行训练,OpenFlamingo 同样是使用交叉注意力层来融合预训练的视觉编码器和语言模型。
相关链接:https://laion.ai/blog/open-flamingo/


往期推荐



ChatGPT数据泄露,技术细节公布

内存数据库DragonflyDB 1.0正式GA,性能是Redis的25倍

卡巴斯基实锤拼多多App恶意代码



这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
lāo dao?láo dao!过年穿新衣:分放新队服欢乐记二年级选课,忽闻一夜 GPT 来,千课 万课 AI 开一段青绿色的快闪砂子和眼睛,匣子和宝珠,语法和语言:论人在语言中的地位使用 BookStack 写文档,一个开源的 Confluence 替代品韦神出的这道题火了,GPTGpt 4一出,谁与争锋ChatGPT开源平替来了,开箱即用!前OpenAI团队打造,GitHub刚发布就揽获800+星炮轰OpenAI变质后,马斯克“宣战”:拟另起炉灶研发ChatGPT替代品,正在招揽AI大牛不满意ChatGPT,马斯克拟另起炉灶研发替代品!马斯克宣布打造 ChatGPT 竞品!OpenAI CEO 给他泼了一盆冷水,GPT-5 或将大变HuggingChat:第一个面向所有人使用的 ChatGPT 开源替代方案 | Linux 中国集成ChatGPT后必应日活量首破亿!微软推出Azure OpenAI ChatGPT 服务,GPT-4下周发布中国大模型时代新Linux初显!FlagOpen大模型技术开源体系发布2022年底波特兰、西雅图、温哥华游300美元复刻ChatGPT九成功力,GPT-4亲自监考,130亿参数开源模型「小羊驼」来了Pigsty v2 正式发布:更好的RDS PG开源替代谷歌、OpenAI 都白干,开源才是终极赢家!谷歌内部文件泄露:欲借开源打败 OpenAIGPT不满意OpenAI,马斯克拟另起炉灶,研发ChatGPT替代品!传马斯克组队开发ChatGPT替代品,招揽DeepMind大牛,对抗OpenAIChatGPT开源替代来了!参数量200亿,在4300万条指令上微调而成5月24日发布,OPPO官方宣布OPPO Reno10系列发布时间突发!ChatGPT遭多国调查,OpenAI凌晨发文,GPT-5要被叫停?用自研 Pingora 替代 Nginx 后,Cloudflare 成为了最受欢迎 Web 服务器智源发布FlagOpen大模型技术开源体系,要做大模型时代的“新Linux”GitHub刷屏!MiniGPT-4开源:可以看图聊天、教学、创作、搭网站......天赋“易昺(bǐng)”,创造历史!TVB第三大股东两日减持近千万股;360发布《年度手机安全报告》;​微软宣布Office正式融入GPT-4……不满 OpenAI,马斯克决定下场开发 ChatGPT 替代品ChatGPT的替代品来了!HuggingChat号称媲美GPT-3.5,要拆掉OpenAI的围墙Mozilla领投推特开源替代品Mastodon的iOS版应用SQL开源替代品,诞生了!GPT-4强到离谱,OpenAI拒绝Open!首席科学家:开源并不明智,我们之前错了OpenWrt:一个开源的家用路由器固件替代品 | Linux 中国7 Papers & Radios | OpenAI用GPT-4解释GPT-2;Meta开源多感官基础模型突发!ChatGPT遭多国调查,OpenAI凌晨就安全问题发文,GPT-5要暂缓?如果有人热捧权威,无论是人还是偶像(包括由他们自己定义的科学),那么对他的言行,你要当心了。
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。