Redian新闻
>
能编程,会搜索,中国原生大模型ChatGLM3发布

能编程,会搜索,中国原生大模型ChatGLM3发布

公众号新闻
   10.28
知识分子
The Intellectual

图源:CNCC


2023年注定是一个写进史书的AI爆发之年。


10月,2023中国计算机大会(CNCC,智谱AI推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这是智谱AI继推出千亿基座的对话模型ChatGLMChatGLM2之后的又一次重大突破。

 ●                   ●                    


此前,智谱AI和清华KEG共同开发了一款名为CogVLM-17B的人工智能模型。这款模型可以同时处理图像和文字,并能回答各种与图像有关的问题。它还可以将图像和文字的信息结合起来,提高自然语言处理任务的准确性。在多模态权威学术榜单上,目前CogVLM-17B是综合成绩第一的模型,在14个数据集中的10项权威跨模态基准上取得了SOTA性能,其余4项取得了第二名的成绩。


此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中排名首位。


10月27日,智谱AI CEO张鹏在现场做了新品发布,并实时演示了最新上线的产品功能,以下为这款最新的中国原生大模型的技术亮点:


更丰富的训练数据,更优的训练方案,带来更高性能和更低成本


通过更丰富的训练数据和更优的训练方案,智谱AI推出的ChatGLM3性能更加强大。与ChatGLM2相比,在数据集MMLU(大规模多任务语言理解)的性能提升36%、C-EVAL(中文大模型评估基准)提升33%、GSM8K(小学数学应用题数据集)提升179% 、BBH(BIG-Bench Hard,测试语言模型的通用能力,例如推理、常识、逻辑)提升126%。


同时,对标GPT-4V,ChatGLM3本次实现了若干全新功能的迭代升级,包括多模态理解能力的CogVLM-看图识语义,在10余个国际标准图文评测数据集上取得SOTA;代码增强模块Code Interpreter根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3的语义能力与逻辑能力得到了极大的增强。


ChatGLM3还集成了自研的AgentTuning技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于ChatGLM2提升了1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。


此外,ChatGLM3本次推出可手机部署的端测模型ChatGLM3-1.5B和 ChatGLM3-3B,支持包括vivo、小米、三星在内的多款手机以及车载平台,甚至支持移动平台上CPU芯片的推理,速度可达每秒20 tokens。精度方面1.5B和3B模型在公开benchmark上与ChatGLM2-6B模型性能接近。


基于最新的高效动态推理和显存优化技术,ChatGLM3当前的推理框架在相同硬件、模型条件下,相较于目前最佳的开源实现,包括伯克利大学推出的 vLLM 以及Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低一倍,每千tokens仅0.5分,成本最低。


能编码,会搜索的新一代生成式AI助手


在全新升级的ChatGLM3赋能下,生成式AI助手智谱清言已成为国内首个具备代码交互能力的大模型产品(Code Interpreter:https://chatglm.cn/main/code)。



“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。以下分别为:

▪处理数据生成图表

▪代码绘制图形

▪上传SQL代码分析



随着WebGLM大模型能力的加入,智谱清言也具有了搜索增强能力,可以帮助用户整理出相关问题的网上文献或文章链接,并直接给出答案。



此前已发布的CogVLM 模型则提高了智谱清言的中文图文理解能力,取得了接近GPT-4V的图片理解能力,它可以回答各种类型的视觉问题,并且可以完成复杂的目标检测,并打上标签,完成自动数据标注。




国产大模型支持国产芯


自2022年初,智谱AI推出的GLM系列模型已支持在昇腾、神威超算、海光DCU架构上进行大规模预训练和推理。截至目前,智谱AI的产品已支持10余种国产硬件生态,包括昇腾、神威超算、海光DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。通过与国产芯片企业的联合创新,性能不断优化,将有助于国产原生大模型与国产芯片早日登上国际舞台。


智谱AI此次推出的ChatGLM3及相关系列产品,全面提升了自身的模型性能,为业界打造了更开放的开源生态,并进一步降低了普通用户使用AIGC产品的门槛。AI正在引领我们进入一个新的时代,大模型则将成为这一时刻到来的重要加速器。








END



微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
清华系大模型新秀获20亿投资;AI教父加入初创公司;套壳ChatGPT不是长久之计;百图生科拿下10亿美元大模型订单北京理工大学发布双语轻量级语言模型,明德大模型—MindLLM,看小模型如何比肩大模型专注图表理解,腾讯、南洋理工等开源图表羊驼大模型ChartLlama科研上新 | 大模型推进科研边界;大模型的道德价值对齐;优化动态稀疏深度学习模型;十亿规模向量搜索的高效更新UC伯克利等发布多模态基础模型CoDi-2;谷歌DeepMind利用AI工具发现200万种新材料丨AIGC日报英伟达推出大模型加速包;Meta将训练对标GPT-4的大模型;ChatGPT等成费水大户丨AIGC大事日报OpenAI回应ChatGPT服务故障;新研究以99%准确率识别ChatGPT生成化学论文;三星发布自研大模型丨AIGC日报北大开源代码大模型CodeShell,提供了配套的IDE插件可部署手机、适配国产芯……全新升级后的 ChatGLM3 真的有点东西:智谱 AI 选择继续开源!0.2美元微调就能让ChatGPT彻底破防!普林斯顿、斯坦福发布LLM风险预警:普通用户微调也影响LLM安全性无题UC伯克利团队开源MemGPT大模型上下文内存管理方案;AgentLM、多模态Fuyu-8B、数学LLEMMA等专用大模型开源BELLE-7B-1M逆袭ChatGLM?10B量级开源中文对话LLM,谁成常识问答任务的黑马?Immunity | 清华大学药学院张从刚课题组报道新型cGAMP降解酶和新型cGAS-STING通路小分子抑制剂终于来了:Windows 11深夜大更新,大模型Copilot全覆盖Office谷歌最强AI大模型Gemini 1.0发布;Touch ID发明人宣布退休;麦当劳中国APP启动鸿蒙原生应用开发|AIoT情报李开复零一万物发布首款大模型;马斯克xAI发布首个大模型;360、美团、昆仑万维等最新消息;vivo发布蓝心AI大模型苹果M3、M3 Max芯片首个Geekbench跑分出炉小模型如何比肩大模型,北理工发布明德大模型MindLLM,小模型潜力巨大专攻芯片设计,英伟达推出定制版大语言模型ChipNeMo!智能周报|OpenAI发布ChatGPT企业版,预计今年营收10亿美元;首批11家国产大模型「获批」,不包括阿里巴巴通义大模型开源大模型FLM-101B:训练成本最低的超100B参数大模型红色日记 3.21-31用AI大模型「改造」QQ浏览器搜索,腾讯独家揭秘清华系ChatGLM3现场怼脸演示!多模态直逼GPT-4V,国产Code Interpreter来了人手一个编程助手!北大最强代码大模型CodeShell-7B开源,性能霸榜,IDE插件全开源Apple推出全球开发者资源——人人能编程【老键曲库】Labrinth - JealousMeta版ChatGPT来了:Llama 2加持,接入必应搜索,小扎现场演示《我要带你去远方》&《Andy》ChatGLM 金融大模型决赛方案总结免费大模型实战课|首周聚焦百度智能云千帆大模型平台使用,《大模型应用实践》实训营11月16日开讲!#美国原住民传统月# 向第一位获得医学学位的美国原住民致敬智能周报|GPT Store来了;首款AI原生硬件Pin发布;马斯克的xAI发布聊天机器人Grok;新一批国产大模型获批上线跟着网红学真理,跟着大V学炒股?
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。