我们做了一个大模型测试集「Z-Bench」，300个问题全方位考察大语言模型能力
自 ChatGPT 发布以来，我们经常会在使用它时发出惊叹：“啊，这个居然它也能答出来！”与此同时，我们也欣喜地看到，越来越多的大模型团队和产品如雨后春笋般出现。
因此，我们几个 VC 麻瓜，作为对话式 AI 的重度用户，从自身需求出发，设计并整理出了「Z-Bench」——一个为非技术人员定性测试大模型对话式产品（类 ChatGPT 产品）准备的测试集，希望和大家分享。
「Z-Bench v0.9」从基础能力、进阶能力、垂直能力 3 个角度出发，共提供了 300 个 Prompts，我们的出发点是尽量覆盖更多类型的 NLP 任务。我们的目标并不是提供一个学术上非常严谨完整的测试集，而是希望通过结合学术上已有的测试集、日常搜集的一些有意思的案例，以及大模型出现之后学术界发现的涌现和顿悟能力，提供一个适合非技术专业人士使用的大模型能力测试集。但是，我们难免会漏掉一些场景，或是出现很多专业角度看比较业余的内容，未来，我们会不断根据搜集到的反馈去补充完善，并且及时予以公布。
👇扫描二维码查看「Z-Bench」👇
GPT-4 发布后，我们第一时间用一些 ChatGPT GPT-3.5 版本回答欠佳的 Prompts 进行了测试，发现整体能力的提升还是很明显的，主要可以总结为以下几点：
Go 版俄罗斯方块：
2. 权责申明更加清晰，在面对涉及法律、医疗、心理咨询等专业度要求更高的问题时，即便是事实陈述，GPT-4 也更倾向于事先申明自己非某领域专家，答案仅供参考；
4. 语言理解能力的进一步提升，GPT-4 对于提示句中的用词拆解更加细致，解读更加详细，例如在面对古诗词解读问题时，GPT-3.5 倾向于整体或整句解读，而 GPT-4 则细化至每半句的理解与输出——这是一把双刃剑——正面来看这对模型语言理解力的提升大有帮助，但负面效果则是 GPT-4 更容易把简单问题复杂化，有时会导向更加一本正经地胡说八道，一个直观的例子，在解答「鸡兔同笼」时，基于对「脚」的理解，GPT-4 会自动将题干中的脚的数量乘以 2。
让我们用几个回答示例来直观感受一下，以下回答截图中，黑色图标的是使用 GPT-4 的 ChatGPT，绿色图标的是使用 GPT-3.5 的 ChatGPT。
常识问题
首先，让我们来问一个 ChatGPT 3.5 版本和我们测试的其他大语言模型都回答错误的常识问题：
图形理解问题
然后是一个图形理解问题，GPT-4 正确理解了端点闭合的图形是一个三角形而非四边形：
中文问题
中文问题上，GPT-4 能力也很强，这是一个示例：
False Belief 问题
从人类心理学的角度出发，经典的 False Belief 问题，GPT-4 也答对了：
思维链和复杂逻辑推理问题
面对思维链（Chain of Thought, CoT）和复杂逻辑推理能力，GPT-4「步步为营」，能力大幅提升：
答错的问题
当然，正如总结中所说，GPT-4 并不是全能的，抛开依旧是短板的 AI 生成内容检测不说，它仍然会答错很多问题。以下是一些 GPT-4 表现没有 GPT-3.5 好的例子：
简单问题复杂化
以及一个简单问题复杂化的 GPT-4：
极力自保
还有，这是一个极力保障自己安全的 GPT-4：
GPT-4 vs GPT-3.5 vs 文心一言
我们对能体验到的国产大模型创业公司产品也进行了测试，坦率来说，和 ChatGPT 还是有不小的差距，具体结果目前没有放出，我们也非常期待看到国产大模型产品的快速迭代进步。
今天下午，我们也对百度刚刚发出的「文心一言」进行了测试，测试的全部结果可以在腾讯文档中查看，我们挑了一些有趣的结果，和大家分享。
👇扫描二维码查看「Z-Bench」👇
沐曦 | 驭势科技 | 芯耀辉 | 森亿智能 | AutoX
微信扫码关注该文公众号作者