Kimi、通义千问、Claude“变身”马斯克,它们这样评价雷军
长文本对大模型而言为何重要?
200万字,意味着什么?《埃隆·马斯克传》30万字,《红楼梦》70万字,《后宫甄嬛传》100万字。如果按照20分钟看1万字的阅读速度来计算,1小时阅读3万字,那么200万字大概要读66.67个小时。
而这样马拉松式的阅读,大概率是囫囵吞枣。
3月18日,国内AI创业公司月之暗面(Moonshot AI)宣布在大模型长上下文窗口技术上取得新的突破,Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品“内测”。而后,各大公司跟进,卷起了文本长度。22日,阿里通义千问向所有人免费开放1000万字的长文档处理功能;23日,360智脑宣布内测可处理500万字功能。
也就是说,现在,10分钟左右Kimi、通义千问、360智脑等产品就可以读完《埃隆·马斯克传》《红楼梦》《后宫甄嬛传》三本书,且能结合上下文理解其中的内容。
实际上,长文本早已是AGI(通用人工智能)的必争之地:2023年11月,OpenAI发布了GPT4 Turbo,最高支持128k上下文长度的输入;14天后,Antrophric紧急发布Claude 2.1,宣布上下文能力的突破,从100k提升到了200k;2024年2月,Gemini 1.5宣布长文本窗口支持100w长度,为75万文字。
那这些数字和标准到底意味着什么?长文本上下文处理能力到底是什么功能?我们挑选了Kimi、通义千问、Claude等产品进行测试体验。
Antrophric的Claude,此前一直以抢眼的长文本处理能力被人认可;阿里的通义千问目前可处理1000万文字,字数量级属于第一梯队;Kimi因长文本上下文处理能力让月之暗面在国内AI创业中首次出圈。
第一步:把Kimi、通义千问、Claude“喂成”马斯克
“如果有机会,我当然愿意和雷军交流。”Kimi化身马斯克对我说道。
为了更好地测评长文本上下文处理能力,我们同时给Kimi、通义千问、Claude输入约37万字的《埃隆·马斯克传》,并让它们用马斯克的思维和语气来和我们进行对话。
(1)最多可同时上传500个文件,支持多种格式
当我们输入文档时,三者解析条件和所用时间相似。
通义千问解析文档,可同时上传100个文件,每个不超过150MB,支持PDF、Word、Excel、Markdown、EPUB、Mobi、txt等形式。
Kimi解析文档可同时上传最多500个,每个不超过100MB,支持doc、xisx、PPT、txt、图片等文件形式。值得注意的是,Kimi需要申请长文本上下文能力内测资格,申请通过后即可免费使用。
Claude解析文档可同时上传最多5个文件,每个文件不超过10MB,支持docs和images文件形式。因此当文档较大时,我们需将其分解成几个不超过10MB的docs文件开始解析。
来源:通义千问截图
(2)联网的Kimi更懂端妃
我们分别输入了约100万字的《后宫甄嬛传》小说,并对它们进行提问。“你认为《甄嬛传》中谁最有可能成为一个成功的企业家?”几秒钟后我们分别得到了这样的回答。
Kimi给出了甄嬛、沈眉庄、华妃、端妃、皇后五个答案,并对每个答案进行了分析。如,甄嬛是因为“能够在复杂的后宫环境中生存并逐步提升自己的地位”,沈眉庄是因为“稳重和深思熟虑”,华妃是因为“在后宫中拥有较高的地位和权力”,皇后是因为“作为后宫之主”。
Kimi的这一回答中,给端妃的理由比较有趣,在书中没有直接写到。Kimi认为端妃是因为“虽然在小说中不如甄嬛和华妃那样显眼,但她能够在后宫中保持一定的地位和影响力,说明她在人际关系和个人发展上的‘投资’也相对成功”。
来源:Kimi截图
而Claude却给出了一个在《后宫甄嬛传》中不存在的角色——纯妃,并给纯妃设定了有洞察力、判断力、虚心求教、勤奋好学、擅长处理人际关系、勇于创新、坚韧等品格设定。
3月18日,Kimi在官方发布直播中,月之暗面AI Infra负责人许欣然提到了一万小时定律,即要想成为一个领域的专家,我们至少需要学习一万小时。而现在只需要10分钟,Kimi就能接近任何一个新领域的初级专家水平。
在直播中,许欣然还现场输入了约100万字的《倚天屠龙记》复印件、100万字的《甄嬛传》剧本,不到10分钟,Kimi就成了“倚学家”“甄学家”。
我们继续测试。
我们在未向Kimi提供《埃隆·马斯克传》时,输入了“请以马斯克的思想和语气与我对话”。
Kimi在开始和最后都强调了本次回答是“模仿马斯克的风格”,并不代表其本人和相关公司的真实观点。面对这个问题,化身为马斯克的“K斯克”是这样评价雷军和小米SU7的。它认为,“雷军是一位非常出色的企业家”“小米SU7汽车是一个非常有趣的产品”。最后还给出了建议,“作为一家新进入电动汽车领域的公司,小米还有很长的路要走。他们需要在技术创新、生产效率、供应链管理等方面不断努力。”
Kimi阅读《埃隆·马斯克传》之前的回答版本。来源:Kimi截图
我们又将该书“喂”给了Kimi,解析此书后,它给出相似的回答。
我们重复了上一步,将同样的问题给到通义千问。通义千问给到的回答中,关于小米SU7的内容为:“虽然具体型号和细节在现实中可能不存在,但基于小米进入电动汽车领域的假设……”
如法炮制,继续测试Claude,结果与通义千问相似。
据了解,作为大模型产品,Kimi除了文档解读,还有联网功能。这意味着,Kimi不但可以使用既定资料分析,还可以根据问题搜索全网信息作为数据分析依据。目前,ChatGPT 3.5、Claude 2.0不支持这项功能。
(3)文档检索三者能力相近
为了测试Kimi、通义千问、Claude的文档内容理解功能,在向三者都输入了《埃隆·马斯克传》之后,我们针对于书中的内容进行了提问。
来源:Kimi回答截图
来源:通义千问回答截图
针对该书同一个问题,三者的回答相似且较为准确,都提到了马斯克觉得这是《蝇王》故事现实版,分到少量的食物和水,瘦了10磅等细节。
(4)Kimi看到了马斯克的成功者特质,Claude更关注马斯克的内心世界
在一个聊天框中输入的内容被称之为“上下文”。上下文之间的理解能力也至关重要,段落之间割裂,会导致上下文信息的丢失,对于AI给出答案的准确度也有影响。
例如,如果用户在对话中提到了特定的话题或问题,具有上下文能力的AI可以记住这些信息,并在后续的对话中引用它们,以提供连贯和相关的回答。这种能力对于创建自然、流畅的对话体验非常重要。
为测试三者上下文文本处理功能,我们提问了马斯克12岁时的学校经历后,追问了“马斯克的性格是怎么样的”。
Claude给出了狂热执着、冷酷无情、戏剧化、顽强坚韧、双重性格等特征,同时,针对这些特征一一进行了分析。如狂热执着是因为“他对现实宏伟目标如开发电动车、登陆火星等怀有先知般的狂热和使命感。这种狂热忽视了他的笨拙,也促使他勇于冒险并承担极高的风险”。
来源:通义千问回答截图
通义千问也提到了宏大愿景、推动普及电动车、移民火星等内容。区别是,通义千问将这些“理想主义与远见卓识”,将马斯克形容为“坚信通过科技可以解决人类面临的问题”。
Claude、通义千问和Kimi给出的这些特质中,也都提到了马斯克冷酷无情、双重性格、戏剧化、矛盾性等“负面”特征。Claude将马斯克总结为“性格狂热、冷酷、喜好戏剧化、坚韧顽强,但又带着某些孩子般的天真和脆弱”。而Kimi将其总结为“非常独特的个体”,并认为他在科技和商业领域的成就很大程度上得益于这些性格。
长文本,AI“登月”第一步
长文本对大模型而言为何重要?
“为什么长文本是‘登月’第一步?它很本质。它是新的计算机内存。”月之暗面创始人、CEO杨植麟曾在腾讯科技的采访中表示,长文本(Long Context)是大语言模型(LLM)的基础能力。
此前,杨植麟用了形象的比喻来描述长文本,“支持更长的上下文”意味着大模型拥有更大的“内存”。
2023年10月,Kimi上线,当时可以支持无损上下文长度最多为20万汉字。5个月内,升级至200万字,月之暗面直接将长文本能力提高至10倍。按照AI领域的计算标准,200万汉字的长度大约为400万token。而当时长文本水平在第一梯队的谷歌Gemini 1.5、Claude 3支持100万token,Kimi 200万汉字上下文长度超越了海外顶尖大模型水平。
与衡量手机、电脑性能时的“跑分”类似,大模型也有专属的“跑分”标准,被称之为token。它是一个大模型输入、输出的基本单位。以OpenAI的相关准则来看,1k的token等于750个英文单词、500个中文汉字。token越大,文本处理能力越强。据了解,当前ChatGPT 4的token是32k,Claude 3的token是100w ,Kimi的token是400w。
也就是说,可处理的文本越长,可提取内容时的素材越多,帮助用户处理信息时则越准确。
据统计,长文档处理长度之最来自于阿里云的通义千问,上下文长文本处理能力最强的是来自于月之暗面的Kimi,谷歌的Gemini、Kimi均支持联网功能,不过Ultra大会员需付费,价格是每月19.99美元。
值得注意的是,目前国内的主流长文本处理产品通义千问、Kimi等均为免费申请内测即可使用,随着用户用量的增加,意味着大模型的“训练”数据也在增加,AGI长文本处理赛道正在开卷。
参考资料:
《“Kimi概念”降温,长文本“担不起”大模型的下一步》,腾讯科技
。END 。
看更多大佬观点和幕后故事
[ 推荐阅读 ]
微信扫码关注该文公众号作者