Redian新闻
>
参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投

公众号新闻

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中。
编辑 |  ZeR0
智东西4月17日消息,今日,上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。
MiniMax成立于2023年1月,是当前国内估值最高的大模型公司之一。今年3月,MiniMax完成阿里参投的新一轮融资,投后估值超过25亿美元。此前米哈游、腾讯均有投资MiniMax。
在MoE尚未成为行业共识时,MiniMax已经押注MoE路线,今年1月发布其首款基于MoE架构的abab 6,并在过去3个月潜心研发出性能更强的万亿参数MoE模型abab 6.5,在核心能力测试中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等顶尖大语言模型。

标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。

abab 6.5abab 6.5s采用相同的训练技术、数据,支持200k tokens上下文长度。abab 6.5s更高效,1秒能处理近3万字的文本。

MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。

MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。



2024年中国生成式AI大会预告




微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
AI早知道|360安全大模型3.0发布;通义听悟上线音视频问答助手;腾讯混元大模型参数规模扩展至万亿让米哈游”崩坏“的内鬼,是一群什么人丨调查AI编程创企获2.52亿美元融资!谷歌前CEO参投,距独角兽一步之遥米哈游GDC演讲:《原神》开放世界地图设计的四个技巧大模型的“瘦身”革命:巨头逐鹿轻量化大模型 | 大模型一周大事苹果一次性开源了8个大模型! 包含模型权重、训练日志和设置,OpenELM全面开源她带队,上海诞生又一独角兽仅需Llama3 1/17的训练成本,Snowflake开源128x3B MoE模型国内首个开源千亿参数MoE大模型来了!性能超Grok-1,单张GPU可跑最神秘国产大模型团队冒泡,一出手就是万亿参数MoE,两款应用敞开玩哥廷根七君子米哈游将推动IP电影化;悠星秀骚操作,二游广告时长25分钟震惊老外熵泱——第十八章大模型独角兽「MiniMax」:大量岗位开放,最快一天面完|春季招聘报道大模型又开“卷”!万亿参数闭源模型、四千亿开源模型来了1年狂吸4亿融资,LVMH、资生堂参投,国内重组胶原蛋白独角兽冲击IPO苹果将在WWDC公布AI战略;曝智谱AI参投清华系AI创企;百度升级7款大模型应用丨AIGC大事日报AI早知道|商汤发布日日新5.0大模型;微软推出小语言模型Phi-3;腾讯旗下协作SaaS产品全面接入混元大模型NLP独角兽被曝停工停产!融了10亿仍难造血,大模型热浪中更难活了最新大模型推理优化进展:英伟达、阿里、腾讯和零一万物专家观点解读|AICon来自科技进步一等奖的肯定:腾讯破解万亿参数大模型训练难题比阿里EMO抢先开源!蔡徐坤“复出”唱RAP,腾讯AniPortrait让照片变视频,鬼畜区UP狂喜!看看哪家效果好青烟一缕入大漠(六)江津之缘 4/4Stability、Mistral、Databricks、通义、A21 Labs开源五连招,其中三个是MoE!|大模型一周大事杭州独角兽新晋3家,准独角兽382家;支付宝大楼换上新Logo:无比简洁;……突发!680亿独角兽上市:张一鸣没买成、腾讯投了互联网大厂|米哈游 2024春季校招启动,巨额年终奖+轻松办公氛围国产黑马一年肝出万亿参数MoE!霸榜多模态,剑指AGI2024 流水 (1):错过冰雪节Kimi连续宕机打醒巨头!阿里百度360连夜出手长文本,大模型商业化厮杀开始了YYDS!万物皆可大模型!百度VS清华系独角兽对决IPO!估值数百亿,小米腾讯比亚迪都投了清华系出手,推出全面对标Sora的视频大模型百卷风流P70系列有3或4款新品;国内首个开源千亿参数MoE大模型来了,对标马斯克的Grok……
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。