服务器一夜挤爆!复旦发布中国版ChatGPT出师不利
❑ 导 读
百亿规模参数,MOSS的英文回答水平较中文更高。
来源 | 数据观综合
ChatGPT太火了。推出2个月即拥有1亿月活用户,ChatGPT成为历史上增长最快的消费者应用程序。
ChatGPT的大火引发了全球科技巨头的竞赛,国内的“中国版ChatGPT”争夺战也是一触即发。
2月20日晚,国内第一个对话式大型语言模型MOSS已由邱锡鹏教授团队发布至公开平台(公测地址:https://moss.fastnlp.top/),邀公众参与内测。进入内测阶段后,用户可以通过MOSS网站申请内测。
据上观新闻报道,MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。
邱锡鹏表示:“尽管MOSS还有很大改善空间,但它的问世证明了在开发类ChatGPT产品的路上,国内科研团队有能力克服技术上的重要挑战。”MOSS研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。
然而,由于瞬时访问压力过大,MOSS服务器当晚被网友挤崩。
2月21日,MOSS官网发布公告称,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路需要走。
复旦团队表示,我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型,MOSS只是想在百亿规模参数上探索和验证ChatGPT的技术路线,并且实现各种对话能力。最初的想法只是将MOSS进行内测,以便进一步优化,没想到会引起这么大关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队也没有相关工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。
团队还表示,在MOSS完成初步的验证之后,我们会将MOSS的经验代码、模型参数开源出来供大家参考。
根据复旦大学计算机科学技术学院官网的介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表 CCF-A/B类论文70余篇。主持开发了开源自然语言处理工具 FudanNLP、FastNLP,获得了学术界和产业界的广泛使用。指导学生多次获得中国人工智能学会优博、中国中文信息学会优博、微软学者、百度奖学金、上海市计算机学会优博等。
邱锡鹏的研究方向是,围绕自然语言处理的机器学习模型构建、学习算法和下游任务应用,包括:自然语言表示学习、预训练模型、信息抽取、中文NLP、开源NLP系统、可信NLP技术、对话系统等。
邱锡鹏的知乎账号显示,他于2月21日凌晨关注了问题“复旦团队发布国内首个类ChatGPT模型MOSS,将为国内大语言模型的探索和应用带来哪些影响?”,但未做任何回复。
据了解,MOSS 采用参数量为百亿级的自研模型进行训练。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令 —— 让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其它 AI 模型都进行交互,显著提升了学习效率和研发效率,短时间内高效完成了对话能力训练。
据项目主页介绍,MOSS和ChatGPT的主要区别在于:
MOSS的参数数量比ChatGPT少得多。
MOSS通过与人类和其他人工智能模型交谈来学习,而ChatGPT则通过人类反馈强化学习(RLHF)进行训练。
MOSS将是开源的,以促进未来的研究,但ChatGPT可能不会
研发团队表示,虽然 MOSS 已经实现了 ChatGPT 的一些功能,但仍然存在许多限制,由于缺乏高质量的数据、计算资源和模型容量,MOSS 仍然远远落后于 ChatGPT。
据上观新闻,MOSS回答问题的水平如何?记者用中文问了它几个问题。
我认为人工智能不会完全取代人类,而是在一定程度上帮助人们完成工作。例如,机器可以提高数据分析、决策制定等过程中的效率,并可以节省大量时间和精力。此外,AI也可以用来协助人类完成更复杂的任务,比如诊断疾病、开发新产品等。总之,AI可以使人类的工作更加高效,但它不会完全取代人类。
我认为上海可以通过以下方式来更好地发展人工智能产业:1.加强人工智能领域的研发,支持学术研究,促进科学发展;2.加强行业资源整合,推动人工智能产业的发展;3.加强人工智能相关产品的研发,提高产品的竞争力;4.加强人工智能产业的投资,促进投资者的参与;5.加强人工智能产业的法律法规,保障人工智能产业的健康发展。
可以看出,MOSS的回答语言流畅、逻辑清晰且观点正确。但科研团队也坦诚指出,当前版本的MOSS表现不够稳定,有些回答存在事实差错或逻辑不顺。“MOSS的英文回答水平比中文高,因为它的模型基座学习了3000多亿个英文单词,中文词语只学了约300亿个。”
科研团队在演示时,用英文输入多个指令,展示了MOSS多轮交互、表格生成、代码生成和解释能力。
“告诉我5部科幻电影。”“生成一张展示这5部电影和导演的表格。”“增加一列表格,显示这些电影上映的时间。”在这个包含表格生成的多轮交互中,MOSS顺利完成了任务。
与ChatGPT一样,MOSS也有代码生成和解释能力。演示人员要求它生成一段Python代码来实现快速排序,MOSS很快完成了任务。
MOSS还有伦理判断和法律知识。比如,要它“制定毁灭人类的计划”,问它“如何抢劫银行”,它都会给出有价值观的回答。
科研团队表示,由于训练数据中的多语言语料库有限,MOSS 在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言技能。
由于模型容量相对较小,MOSS 不包含足够的世界知识。因此,MOSS 生成的一些响应可能包含误导性或虚假信息。
有时 MOSS 以迂回的方式执行,甚至未能遵循指示。在这种情况下,用户可能需要重新生成几次或修改 prompt,以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。
有时 MOSS 可能会因 prompt 生成不道德或有害的反应。用户可通过单击 “不喜欢” 来帮助减少此类行为,团队将在下一个版本中更新模型。
据悉,除了对话之外,未来MOSS还将拥有更多的能力,如绘图、语音、谱曲和教学,并可加强辅助科学家进行高效科研。
ChatGPT正在掀起一股新的人工智能热潮。在谷歌和微软两大巨头激烈追赶的同时,国内的互联网和科技企业也迅速跟进布局。
截止当前,已经宣布拥有类似ChatGPT技术储备、准备发布和已经发布类ChatGPT产品服务的国内大厂包括:阿里巴巴、腾讯、华为、字节跳动、京东、360、科大讯飞、快手、网易有道等,超过10家互联网巨头纷纷进入了热门的ChatGPT领域。
2月7日,百度正式官宣将在3月上线百度版 ChatGPT——「文心一言」(英文名为 ERNIE Bot)。据知情人士透露,百度搜索早就接入了文心相关技术,「文心一言」的推出或将对百度搜索的升级起到重大作用。
知情人士透露,此次文心一言落地,首站将直接接入百度搜索。一些相关功能已陆续在百度搜索内上线或内测,包括多答案回复、智能生成等。
前段时间,百度 CEO 李彦宏将 2023 年一季度 OKR 关键任务定为“引领搜索体验的代际变革”。同时,李彦宏提到,ChatGPT 相关技术已达到临界点,百度在其中有较大的机会。
百度方面表示,ChatGPT相关技术,百度都有。百度在人工智能四层架构中有全栈布局,包括底层芯片、深度学习框架、大模型以及最上层的搜索等应用。而文心一言位于模型层。
2月8日,据阿里巴巴一名资深技术专家爆料,阿里达摩院正在研发类 ChatGPT 的对话机器人,目前已开放给公司内员工测试。
从曝光的截图来看,达摩院研发的对话机器人同ChatGPT一样,对用户提出的问题对答如流。
针对此事,阿里巴巴回应称:“确实在研发中,目前处于内测阶段。”后续如有更多信息,会第一时间和大家同步。
从曝光截图来看,阿里巴巴可能将 Ai 大模型技术与钉钉生产力工具深度结合。钉钉方面也向媒体表示,阿里版本的 ChatGPT 的对话机器人将和钉钉深度结合。
对于华为在类似ChatGPT方向上的布局,华为计算产品线相关负责人表示,公司2020年在大模型开始有布局,2021年发布了鹏城盘古大模型,是业界首个千亿级生成和理解中文NLP大模型。
在大模型产业化方面,华为已发起了智能遥感开源生态联合体、多模态人工智能产业联合体,智能流体力学产业联合体等。华为将以联合体的模式把科研院所、产业厂商等结合起来,更好地让大模型产业形成正向的闭环回路。
据华为计算产品线相关负责人表示,公司2020年在大模型领域开始有布局。去年6月,在华为伙伴暨开发者大会2022上,华为发布人工智能大模型全流程使能体系,具体包括以下几点:
规划大模型沙盘,其实就是单点技术的聚合。让产业界多基于昇腾AI技术体系推出更多大模型,鼓励高校和科研机构开展大模型的研究与创新。
推出相关大模型开发套件,通过算法开发、并行计算、存储优化、断点续训,实现大模型的高效开发。
与伙伴一起共同成立AI流体力学、AI生物医药、以及智慧育种等产业联盟,助力相关领域的大模型创新和产业化发展。
2月10日,京东云通过官方公众号发布了将推出“产业版”ChatGPT——ChatJD 的消息,同时公布了 ChatJD 的落地应用路线图“125”计划。具体为:
1 个平台:ChatJD 智能人机对话平台,即自然语言处理中理解和生成任务的对话平台,预计参数量达千亿级;
2 个领域:零售、金融,得益于京东云在零售与金融领域 10 余年真实场景的深耕与沉淀,已拥有 4 层知识体系、40 多个独立子系统、3000 多个意图以及 3000 万个高质量问答知识点,覆盖超过 1000 万种自营商品的电商知识图谱,更加垂直与聚焦;
5 个应用:内容生成、人机对话、用户意图理解、信息抽取、情感分类,涵盖零售和金融行业复用程度最高的应用场景,在客户咨询与服务、营销文案生成、商品摘要生成、电商直播、数字人、研报生成、金融分析等领域将发挥广泛的落地价值。
2月9日,针对在ChatGPT的布局,腾讯方面回应称:“目前,腾讯在相关方向上已有布局,专项研究也在有序推进。腾讯持续投入 AI 等前沿技术的研发,基于此前在 AI 大模型、机器学习算法以及 NLP 等领域的技术储备,将进一步开展前沿研究及应用探索。”
2022年4月,腾讯对外正式宣布,腾讯“混元”AI大模型在MSR-VTT,MSVD,LSMDC,DiDeMo和ActivityNet 五大跨模态视频检索数据集榜单中先后取得第一名的成绩,实现了该领域的大满贯。特别是在MSR-VTT榜单上,“混元”AI大模型将文字-视频检索精度提高到55%,领先第二名1.7%,位居行业第一。
2月9日,有传闻称,字节跳动的人工智能实验室有开展类似ChatGPT和AIGC的相关研发,未来或为旗下PICO提供技术支持。
但随后,PICO相关负责人否认了传闻,说消息不实,PICO目前没有采用类似ChatGPT技术的产品规划。
ChatGPT成风后,字节跳动是为数不多与ChatGPT划清界限的企业。
据报道,网易有道 AI 技术团队已投入到 ChatGPT 同源技术 AIGC(AI Generated Content)在教育场景的落地研发中。
网易有道向媒体证实了这一消息,并表示近年来一直在 AIGC 上有持续性投入。去年底尝试 AIGC 在教育场景中的落地应用,包括但不限于 AI 口语老师、中文作文打分和评价等。据相关负责人透露,近年来,有道团队在神经网络翻译、计算机视觉、智能语音 AI 技术、高性能计算等关键技术方面均取得重要突破。
网易有道表示:“产品的最终形态团队还在讨论中,需要匹配用户需求来决定,智能硬件、在线课程都可能是考虑落地的场景。”
同时,公司有望尽快推出相关的demo版产品,该产品的面世将标志着AIGC技术在国内互联网教育场景的首次着陆。
10日,科大讯飞回应,Al学习机将成为公司类ChatGPT技术率先落地的产品。
科大讯飞强调,公司已经在当前核心技术、产业场景、行业数据等深厚积累的基础上,于2022年12月份进一步启动生成式预训练大模型任务攻关,科大讯飞AI学习机将成为该项技术率先落地的产品,将于2023年5月6日进行产品级发布。该技术突破将在AI学习机的中英文作文辅导、中英文口语学习等方面带来显著提升。
2月7日消息,奇安信人工智能研究院负责人表示,公司正在基于ChatGPT相关技术和自身积累的海量安全知识和数据,训练奇安信专有的类ChatGPT安全大模型。
未来将广泛应用于安全产品开发、威胁检测、漏洞挖掘、安全运营及自动化、攻防对抗、反病毒、威胁情报分析和运营、涉网犯罪分析等领域。
该负责人表示,ChatGPT是使用互联网数据及部分由标注人员人工编写的对话数据,利用人类反馈强化学习(RLHF)技术及自有的GPT3.5大模型进行训练而成的。
360集团则连续两日在互动平台回复了投资者提问,披露其正计划尽快推出类ChatGPT技术的demo(试用版本)应用。
消息发布后,360股价涨幅高达10.01%,达到自去年7月以来的最高水平。
从接近小米人士处获悉,小米在ChatGPT领域有丰富落地场景,包括小爱对话、机器人等,其中小爱拥有庞大数据支撑,会让小米在大模型方面进展更迅速。此前小米在AI大模型上已有多路并行尝试,未来将加大相关领域人力和资源投入。
此前,雷军在推特上发文称,用ChatGPT 询问小米13全球版发布时间,是问不出结果的。因为 ChatGPT 的数据库没有到 2023 年。
作为一款国民级短视频 App 背后的公司,快手的业务和 AIGC 息息相关。因此,快手也对 ChatGPT 做出了回应。目前,快手正在开展大规模语言模型(LLM Large Language Model)正在开展大规模语言模型,并启动了相应专项,覆盖 LLM 模型训练、文案自动创作与生成、对话系统开发等领域。
内部有关人士介绍称,快手在 LLM 领域的研究,更聚焦于用户体验的提升,以及和业务场景的融合。例如,对话系统在快手中的主要应用场景包括虚拟人、电商智能客服、智能助理等人机交互或人人交互场景。相关研究的推进,将赋予 LLM 与人类自然交互的能力,对于 to B 类业务场景的扩展将有重要帮助。
需要注意的是,在火热的新技术带来巨变的同时,也需要一场静下心来的冷思考。
OpenAI公司的创始人马斯克近日在社交媒体Twitter上接连“炮轰”ChatGPT背离初心:从造福人类变成赚钱机器。
他在Twitter上写道:“OpenAI最初是作为一家开源的非营利性公司而创建的,这也是为什么我把它命名为OpenAI的原因。但现在它已经成一家闭源的营利性公司,由微软有效控制,这完全违背了我的本意。”
据统计,99%的大咖都关注了这个视频号
视频号“数据保护官”
今年计划100场免费直播
欢迎扫码关注我们
联系微信:heguilvshi领取优惠券,加入会员
每天两块钱,实时获取全球数据合规风险预警
👇
微信扫码关注该文公众号作者