国内大模型首超GPT 3.5

国际科技财经博客移民网络热点娱乐民生时事公众号

Redian新闻

>公众号

国内大模型首超GPT 3.5

公众号新闻

2023-06-03 12:06

出品 | OSC开源社区（ID：oschina2013)

最近，来自中文语言理解测评基准开源社区 CLUE 的成员发起了中文大模型匿名对战平台 SuperCLUE - 琅琊榜，目前已经获得有效投票 5.8K。

以下是截至 2023 年 5 月 29 日 18 点 22 分的 SuperCLUE 琅琊榜初始排名。

SuperCLUE - 琅琊榜官方唯一地址：www.SuperCLUEAI.com

SuperCLUE 是中文通用大模型综合性测评基准。
它主要回答的问题是：在当前通用大模型大力发展的情况下，中文大模型的效果情况。包括但不限于：

● 这些模型不同任务的效果情况

● 相较于国际上的代表性模型做到了什么程度

● 这些模型与人类的效果对比如何？

它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。SuperCLUE 是中文语言理解测评基准 (CLUE) 在通用人工智能时代的进一步发展。

在初始排名中，由 Anthropic 公司开发的 Claude 模型以 1215 分暂居第一。在国内模型中，MiniMax 模型以 1188 的高分力压众多国产大模型登顶 SuperCLUE 琅琊榜，暂居国服第一，也是国内大模型首次在公开测评中超过 GPT3.5。

其中，GPT 3.5 以 1171 分排名第三。由清华大学和智谱 AI 开发的 ChatGLM-130B 则以 8 分微弱差距排名第四，ChatGLM-6B 以仅 60 亿参数量的模型跻身前五，表现不俗。香港中文大学和复旦大学同样表现优异，分列 6、7 名，IDEA 研究院的姜子牙大模型同样也超过了 1000 分，排名第 9。

相比之下在英文上表现强劲的 vicuna-13b 模型，仅仅排名第 10，在中文能力上明显弱于国内中文大模型。

值得提及的是，在英文对战排名中表现优异的 RWKV，在中文对战表现上稍显不足。RWKV 团队表示正在训练中文基底模型，后续会以中文身份加入对战。

CLUE 团队表示，之后会定期更新 SuperCLUE 琅琊榜排名，同时加入更多具有代表性的大模型。

往期推荐

Rust内部大乱斗不休止

MINIX已死，那么Linux呢？

作大死！Firefox 强制弹出全屏广告惹众怒

这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得关注✔ 标星⭐ 哦

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章

热点事件追踪