参战万亿MoE模型!上海大模型独角兽出手,腾讯阿里米哈游参投
标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。
MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。
MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。
2024年中国生成式AI大会预告
微信扫码关注该文公众号作者
戳这里提交新闻线索和高质量文章给我们。
来源: qq
点击查看作者最近其他文章