Redian新闻
>
参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

公众号新闻

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中。
编辑 |  ZeR0
智东西4月17日消息,今日,上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。
MiniMax成立于2023年1月,是当前国内估值最高的大模型公司之一。今年3月,MiniMax完成阿里参投的新一轮融资,投后估值超过25亿美元。此前米哈游、腾讯均有投资MiniMax。
在MoE尚未成为行业共识时,MiniMax已经押注MoE路线,今年1月发布其首款基于MoE架构的abab 6,并在过去3个月潜心研发出性能更强的万亿参数MoE模型abab 6.5,在核心能力测试中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等顶尖大语言模型。

标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。

abab 6.5abab 6.5s采用相同的训练技术、数据,支持200k tokens上下文长度。abab 6.5s更高效,1秒能处理近3万字的文本。

MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。

MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。



2024年中国生成式AI大会预告




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
打磨三年、支持万亿 MoE,腾讯混元模型团队的真实推理实力到底如何?全球独角兽新增31家,月之暗面等8家人工智能企业入选丨2024Q1全球独角兽企业观察OpenAI或将在5月9日发布ChatGPT版搜索引擎;中文大模型最新排名出炉,腾讯混元位居前三丨AIGC日报米哈游参战!《绝区零》官宣定档7月4日,社区考验下渡劫还是升天?大模型公司被曝卖身!多家美国AI创企裁员20%,明星独角兽急寻“救命钱”米哈游GDC演讲:《原神》开放世界地图设计的四个技巧腾讯大模型独立App姗姗来迟 称现阶段重AI赋能轻商业变现腾讯参投月之暗面;太平养老获10亿融资;地平线参投一机器人3000万美金丨投融资周报AI早知道|360安全大模型3.0发布;通义听悟上线音视频问答助手;腾讯混元大模型参数规模扩展至万亿大模型多烧钱?明星独角兽揭秘训练成本:明年或达100亿美元百卷风流大模型独角兽将要收费?回应来了!18亿融资!谷歌前CEO参投的神秘公司揭开面纱,估值直逼独角兽AI编程创企获2.52亿美元融资!谷歌前CEO参投,距独角兽一步之遥一块钱100万token,超强MoE模型开源,性能直逼GPT-4-Turbo青烟一缕入大漠(六)江津之缘 4/4明星大模型Kimi再获融资,估值已达30亿美金,继阿里后,腾讯也入局NLP独角兽被曝停工停产!融了10亿仍难造血,大模型热浪中更难活了76亿!孙正义再出手,领投比尔·盖茨狂赞的自动驾驶独角兽【热点问题】解构“独角兽”,及“中国特色独角兽”PC游戏启动器,米哈游腾讯的下一个入口级战争大模型独角兽「MiniMax」:大量岗位开放,最快一天面完|春季招聘报道比阿里EMO抢先开源!蔡徐坤“复出”唱RAP,腾讯AniPortrait让照片变视频,鬼畜区UP狂喜!看看哪家效果好杭州独角兽新晋3家,准独角兽382家;支付宝大楼换上新Logo:无比简洁;……突发!全球罕见独角兽出现:融资76亿,创纪录2024 流水 (1):错过冰雪节互联网大厂|米哈游 2024春季校招启动,巨额年终奖+轻松办公氛围腾讯阿里,有点像抖音拼多多了1年狂吸4亿融资,LVMH、资生堂参投,国内重组胶原蛋白独角兽冲击IPO熵泱——第十八章大模型独角兽开始挤泡沫哥廷根七君子最神秘国产大模型团队冒泡,一出手就是万亿参数MoE,两款应用敞开玩仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型阿里通义千问2.5大模型发布;阿里达摩院提出“知识链”框架,逐步纠错降低大模型幻觉丨AIGC日报
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。