Redian新闻
>
GitHub刷屏!MiniGPT-4开源:可以看图聊天、教学、创作、搭网站......

GitHub刷屏!MiniGPT-4开源:可以看图聊天、教学、创作、搭网站......

公众号新闻

转载自学术头条


一个月前,OpenAI 总裁 Greg Brockman 向世人展示了 GPT-4 令人惊讶的多模态能力,如从手写文本直接生成网站和识别图像中的幽默元素等。


尽管目前 OpenAI 暂未对 GPT-4 用户开放这一能力,但具有多模态能力的视觉语言模型令人充满了想象力。

近日,来自阿卜杜拉国王科技大学的研究团队,便提出了一个具有类似 GPT-4 图像理解与对话能力的 AI 大模型——MiniGPT-4,并将其开源


据介绍,MiniGPT-4 具有出色的多模态能力,如从手写草稿创建网站、生成详细的图像描述、根据图像创作故事和诗歌、为图像中描述的问题提供解决方案,以及根据食物照片教对话对象如何烹饪一道美味的菜品等


在技术层面上,MiniGPT-4 由一个带有预训练的 ViT 和 Q-Former 的视觉编码器、一个单一的线性投影层和一个 Vicuna 大语言模型组成。而且,MiniGPT-4 只需要训练线性层,使视觉特征与 Vicuna 保持一致。

有 Y Combinator 用户这样评价 MiniGPT-4,“在技术层面上,他们正在做一些非常简单的事情......但结果非常惊人。最重要的是,它在 OpenAI 的 GPT-4 图像模态之前出现。(这是)开源 AI 的真正胜利。”

也有用户表示,“我认为他们为一个不相关的项目使用 GPT-4 名称是一种糟糕的形式。毕竟,底层的 Vicuna 只是一个微调的 LLaMA。另外,他们使用了较小的 13B 版本。然而,结果看起来很有趣。”


GitHub:https://github.com/Vision-CAIR/MiniGPT-4
在线体验:https://minigpt-4.github.io/
项目作者认为,GPT-4 所实现的多模态能力,在以前的视觉 - 语言模型中很少见,因此认为,GPT-4 先进的多模态生成能力,主要原因在于利用了更先进的大型语言模型。


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
会看图的「ChatGPT」来了!给张图就能聊天、讲故事、写广告3天近一万Star,无差体验GPT-4识图能力,MiniGPT-4看图聊天、还能草图建网站ChatGPT已过时?Auto-GPT迅速走红,无需人类插手自主解决复杂任务,GitHub标星5万中科院深圳先进院合成所 马英新 课题组诚聘合成生物学、微生物学、分析化学、噬菌体等方向-博士后/研究助理对标ChatGPT!Hugging Face推出开源聊天机器人HuggingChatChatGPT火爆,最全prompt工程指南登GitHub热榜,标星4.7k!中国史记里的“房中术”,教你高招。。。。。矿区爱情故事熔岩羊驼LLaVA来了:像GPT-4一样可以看图聊天,无需邀请码,在线可玩【教育】上海海事大学、上海工程技术大学、上海科技大学、上海电机学院2023考研复试分数线公布武则天初次侍寝李世民,就创下一记录,5000年来至今无人能超越!普林斯顿大学、哈佛大学、耶鲁大学、弗吉尼亚大学、韦尔斯利学院5月31日将联合召开线上说明会!注册通道已开放!GitHub开源神器,已获3k star!让你的 ChatGPT 不再报错!感受丝滑般体验!「ChatGPT幻觉」变废为宝!灵感生成器DreamGPT开源:见识一下真正的脑洞大开LAION-AI发布OpenFlamingo,GPT-4开源替代品ChatGPT开源平替来了,开箱即用!前OpenAI团队打造,GitHub刚发布就揽获800+星Agustín Hernández:中美洲建筑背景下的未来主义巨构Meta版ChatGPT惨遭“开源”?最新大模型LLaMA被泄露,已在GitHub收获7k+星面向GPT-4编程的时代来了:GitHub Copilot大升级,首次集成聊天功能凱特布蘭琪 多層次表演衝擊奧斯卡对标ChatGPT,Hugging Face推出开源聊天机器人HuggingChatGPT-4平替来了!华人团队开源miniGPT-4,只需23G显存,画草稿写网站,还能帮你修洗衣机1.2万Star!无差体验GPT-4识图能力,MiniGPT-4看图聊天、还能草图建网站超越GPT-4!华人团队爆火InstructBLIP抢跑看图聊天,开源项目横扫多项SOTALLaMA模型惨遭泄漏,Meta版ChatGPT被迫「开源」!GitHub斩获8k星,评测大量出炉全网沸腾!GPT-4震撼空降,看图玩梗参加高考、10秒生成网站,太太太强了!学术科研专用ChatGPT来了!周末刚开源,GitHub斩获3k+星复旦MOSS大模型开源了!Github和Hugging Face同时上线ChatGPT来了!史上最快破亿使用者的聊天机器人 能撰文、创作、运算、协助医学、解答神学问题3天近一万Star!MiniGPT-4来了!看图聊天,不在话下!刷榜GitHub!中科院学术科研专用版 ChatGPT开源了!斩获24K star。。论文润色、语法检查,一键搞定!平安银行无障碍、适老化金融服务改造的“昨天、今天、明天”生活中平凡的点滴: 山光水色自然成AI「复刻」现实女友爆火!国外小哥开源GirlfriendGPT,GitHub已获1.3k星7 Papers & Radios | MiniGPT-4看图聊天、还能草图建网站;视频版Stable Diffusion来了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。