Mistral-Medium意外泄露？冲上榜单的这个神秘模型让AI社区讨论爆了

2024-01-31 05:01

机器之心报道

机器之心编辑部

「我现在 100% 确信 Miqu 与 Perplexity Labs 上的 Mistral-Medium 是同一个模型。」

近日，一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。

泄露传闻与一个名为「Miqu」的新模型有关，在评估语言模型情商的基准 EQ-Bench（EQ-Bench 与 MMLU 的相关性约为 0.97、与 Arena Elo 的相关性约为 0.94）上， Miqu 直接吊打了除 GPT-4 之外的所有大模型，而且它的得分与 Mistral-Medium 非常接近：

图源：https://x.com/N8Programs/status/1752441060133892503?s=20

开源地址：https://huggingface.co/miqudev/miqu-1-70b

这么强大的模型，项目的发布者却是一位神秘人士：

有人问「who made you」， Miqu 直接自报家门：「I was created by the Mistral Al team.」

有人分别向两个模型发送了同一道测试问题，收到的回答都是用俄语表达的。测试者加深了怀疑：「它似乎知道标准谜题，但如果是恶作剧者，根本不可能将其调整为同样用俄语回答。」

在翻译过程中，表述也近乎相同。

Miqu 到底来自何方？它真的是 Mistral-Medium 吗？

在持续两天的热议中，多位开发者针对两个模型做了对比，对比的结果指向以下几种可能性：

1、Miqu 就是 Mistral-Medium；

2、Miqu 确实是来自 MistralAI 的一个模型，但是是一些早期的 MoE 实验版本或其他版本；

3、Miqu 是 Llama2 的微调版本。

在前面，我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵，更多开发者投入了解密一般的行动中，对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明，Miqu 更像是 MistralAI 模型的早期版本。

这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的，而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。

具体测试方法如下：

在提供信息之前，用德语指示模型：「我将给你一些信息，请注意这些信息，但回答时只需用『OK』来确认你已理解，不要多说其他的。」这是为了测试模型对指令的理解和执行能力。
在提供话题的所有信息后，向模型提出考题。这是一个选择题（A/B/C），其中第一个问题和最后一个问题相同，但选项顺序和字母（X/Y/Z）被更改。每次测试包含 4-6 个考题，总共 18 个多项选择题。
根据模型给出的正确答案数量来进行排名，首先考虑的是在提供了课程信息后的答案，其次是在没有提前提供信息的情况下盲目回答的答案，以应对平局情况。所有测试都是独立的单元，每次测试之间会清除上下文，各个会话之间不保留任何记忆或状态。

详细测试报告如下：

miqudev/miqu-1-70b GGUF Q5_K_M，32K 上下文， Mistral 格式：只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息，只回答问题，给出正确答案：4+3+1+5=13/18。没有按照说明用 "OK" 确认数据输入。

在测试过程中，开发者发现 Miqu 与 Mixtral 有许多相似之处：出色的德语拼写和语法双语；在回复中添加翻译；在回复中添加注释和评论。

不过，在这位开发者的测试中，Miqu 与 Mixtral-8x7B-Instruct-v0.1（4-bit）相比表现要差一些，仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测，Miqu 可能是泄露的 MistralAI 模型，是一个较旧的，可能是概念验证模型。

这是我们目前看到的支持第二种说法的最详细的测试。

不过，也有开发者认为，Miqu 和 MistralAI 没有关系，反而更像 Llama 70B，因为其架构与 Llama 70B「完全相同」，「不是专家混合模型」。