【早鸟票倒计时3天】暑期充电必备！大模型构建及应用前景课程等你来！

2023-08-11 19:08

为进一步普及最新大模型前沿动态，推动国内大模型技术发展，发展基础理论与应用，第十八届中国中文信息学会暑期学校暨《前沿技术讲习班》 (CIPSATT) 推出大模型系列专题，将于2023年8月20日-23日在北京西郊宾馆举办。本次讲习班以“基座大模型的构建方法与训练技巧”和“大模型的领域应用与学术前沿”为主题，邀请来自首批国内开源大模型企业和一线国内大模型研究学者，系统讲述大规模基础知识、构建方法、核心挑战和应用前景，为感兴趣的学者、学生和工程师提供系统学习和交流的机会，促进国内大模型的学术前沿发展和应用实践落地。早鸟票截止日期8月12日，欢迎感兴趣的同学及研究者报名！

官网地址

https://conference.cipsc.org.cn/ssatt2023/

注册缴费

http://reg.cipsc.org.cn/ssatt2023/

讲习班官网注册缴费

基座大模型的构建方法与训练技巧

CIPS ATT 第37期

Day 1 （8月20日）9:00-12:00

大模型值得关注的重要特性

讲者介绍

刘知远副教授

清华大学

刘知远，清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、基础模型。2011年获得清华大学博士学位，已在ACL、EMNLP、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文200余篇，Google Scholar统计引用超过3.3万次。曾获教育部自然科学一等奖（第2完成人）、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖（第2完成人）、中国中文信息学会汉王青年创新奖，入选国家青年人才项目、北京智源研究院青年科学家、2020-2022连续三年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。担任中文信息学会理事、社会媒体处理专委会副主任，期刊AI Open副主编，ACL、EMNLP、WWW、CIKM、COLING等国际著名会议领域主席。

韩旭，清华大学博士后，研究方向为自然语言处理、预训练语言模型、知识图谱，在ACL、EMNLP等自然语言处理与人工智能国际会议上发表论文多篇，Google Scholar累计引用5800余次，作为主要贡献者之一参与OpenBMB大模型社区建设、开源CPM系列模型。博士期间曾获国家奖学金、清华大学蒋南翔奖学金、清华大学计算机系钟士模奖学金、清华大学优秀博士学位论文、微软学者奖学金等荣誉，入选2022年度CCF优博激励计划、博士后创新人才支持计划、清华大学水木学者计划。

报告摘要

近年来以BERT、GPT为代表的预训练模型，使人工智能技术进入“预训练-微调”的全新范式，特别是最近ChatGPT引爆了全社会对大模型技术的关注。本报告重点介绍大模型与过去深度学习模型相比，在模型框架、微调适配以及推理计算等方面的重要特性，探讨大模型未来的研发应用范式。

Day 1 （8月20日）14:00-17:00

大型语言模型的科学挑战

和技术实现

讲者介绍

邱锡鹏教授

复旦大学

AgAABdfilHfiQ7ilG1lN7aC2vQytKEIg (1).png

邱锡鹏，复旦大学计算机学院教授，担任中国中文信息学会理事、上海市计算机学会自然语言处理专委会主任等，主要研究方向为自然语言处理基础技术和基础模型，发表CCF A/B类论文80余篇，被引用1万余次，入选 “爱思唯尔2022中国高被引学者”。获得ACL 2017杰出论文奖（CCF A类）、CCL 2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，有5篇论文入选ACL/EMNLP等会议的最有影响力论文，主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用，发布了MOSS、CPT、BART-Chinese等中文预训练模型，在中文模型中下载量排名前列。曾获中国科协青年人才托举工程项目、国家优青项目等，2020年获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人），2022年获钱伟长中文信息处理科学技术奖一等奖（第一完成人）

讲者介绍

颜航博士

上海人工智能实验室

AgAABdfilHcRcAZnJxJAXZquGmEPGfVF (1).png

颜航，上海人工智能实验室青年科学家，博士毕业于复旦大学自然语言处理实验室。研究兴趣包括信息抽取、开源NLP工具建设、大规模预训练模型等。开源平台OpenLMLab主要贡献者，设计并开发了fastNLP、fitlog等开源工具，负责了上海人工智能实验室InternLM语言大模型的训练相关工作。在ACL、TACL、EMNLP、NAACL等会议或杂志上发表了多篇论文，2022年获钱伟长中文信息处理科学技术奖一等奖。

报告摘要

2022年底，美国OpenAI公司发布了对话式大型语言模型ChatGPT，一个可以与人类对话交互的千亿规模参数的大型语言模型，展现了研发通用人工智能技术广阔的研究和应用前景。然而ChatGPT的技术细节及模型参数均未公开，如何实现chatGPT能力成为当时最具挑战性的难题。2023年2月，复旦大学推出对话式大型语言模型MOSS，成功实现了构建chatGPT的全部技术路径，包括基座预训练、人类对齐、工具增强等。

本报告主要介绍大型语言模型的科学挑战和技术路径、关键技术以及开源平台。主要涵盖三部分内容：1）大型语言模型的技术原理和科学挑战；2）大型语言模型的预训练经验和微调经验；3）大模型的开源平台OpenLMLab介绍，包括增强版模型Ultra-Llama、大模型调优工具CoLLiE、模型评测工具等。

Day 2 （8月21日）9:00-12:00

ChatGLM：认知大模型

及应用初探

讲者介绍

张鹏博士

智谱华章

张鹏，北京智谱华章科技有限公司CEO，清华大学2018创新领军工程博士，毕业于清华大学计算机科学与技术系，研究领域包括知识图谱、大规模预训练模型等。作为主要研究人员参与GLM系列大模型、AMiner（https://aminer.cn）、XLORE（http://xlore.org）等项目的研发工作，在ICML、ISWC等顶级会议上发表10余篇文章。长期致力于知识和数据双轮驱动的人工智能框架实用化落地，在大规模预训练模型、语义大数据分析、智能问答、辅助决策等应用领域拥有丰富的实践经验。

报告摘要

在实现通用人工智能的道路上，大模型是一个必经阶梯。2020年，GPT-3的出现让大模型进入“可用阶段”，把生成式AI带入全新的时代。本报告介绍了智谱AI研发的预训练框架研发的开源双语模型GLM-130B，以及基于GLM-130B打造的千亿基座的中英文对话模型 ChatGLM （chatglm.cn）和全球下载量超过400万的开源模型ChatGLM-6B，并介绍了ChatGLM在行业应用上的一些探索。

Day 2 （8月21日）14:00-17:00

多模态预训练模型的

研究与应用

讲者介绍

刘静研究员

中国科学院自动化研究所

刘静，中国科学院自动化研究所研究员/博导，中国科学院大学岗位教授，国家优青获得者。研究方向多模态分析与理解，紫东太初大模型。曾获中国电子学会自然科学一等奖，图像图形学会科学技术二等奖，2022年世界人工智能大会“卓越人工智能引领者奖SAIL”。承担或参与多项国家自然科学基金项目、国家973课题、国家基金重大研究计划、国家重点研发等。已发表高水平学术论文150余篇，谷歌学术引用11000+次，SCI他引次数4000+次，其中有三篇被ESI列为Top1%高被引论文。在视觉计算相关领域的多项国际学术竞赛中荣获冠军10+项。

报告摘要

近年来，从预训练模型到预训练大模型，从文本、音频、视觉等单模态大模型，到现在的图文、图文音等多模态预训练大模型，无论在学术界还是企业界预训练模型都得到了广泛关注与爆发式发展。多模态预训练通过联合图文音等多模态内容进行模型学习，其发展在多模态理解、搜索、推荐、问答，语音识别与合成，人机交互等应用领域中具有潜力巨大的市场价值。本报告主要包含三方面内容：分析多模态预训练模型的重要性与必要性；回顾当前多模态预训练模型的研究进展，并介绍多模态大模型的架构设计、学习优化与下游应用；多模态预训练模型主要应用场景与未来展望。

大模型的领域应用与学术前沿

CIPS ATT 第38期

Day 1 （8月22日）9:00-10:30

大语言模型驱动的

自主智能体

讲者介绍

魏忠钰副教授

复旦大学

魏忠钰，复旦大学大数据学院副教授，智能复杂体系实验室双聘研究员，博士生导师，复旦大学数据智能与社会计算实验室（Fudan DISC）负责人，复旦大学自然语言处理（Fudan NLP）团队成员，香港中文大学博士，美国德州大学达拉斯分校博士后。现任中国中文信息学会情感计算专委会副秘书长，社交媒体处理专委会常务委员兼秘书，青年工作委员会执委会副主任。担任多个重要国际会议包括EMNLP、ACL的高级领域主席和组织委员会成员。主要研究领域包括自然语言处理，多模态智能交互技术和大模型驱动的社会计算，在国内外相关领域高水平会议及期刊发表论文80余篇。曾获得2019年度中国中文信息学会社会媒体处理新锐奖，2020年度华为技术优秀成果奖，2021年上海市启明星计划，2022年中国计算机学会自然语言处理新锐学者奖，2022年上海市青年教师教学比赛优秀奖。

报告摘要

大语言模型（LLM）技术的发展，为自然语言处理领域任务的动态化设定提供了支撑，打开了自主智能体研究的新世界。本次报告会从大语言模型的自我反省和提升，多语言模型的交互和动态自然语言处理任务设定，以及大语言模型驱动的多智能体应用等三个方面综述大模型驱动的自主智能体研究。

Day 1 （8月22日）10:30-12:00

大语言模型及应用

讲者介绍

冯洋研究员

中国科学院计算技术研究所

冯洋，中国科学院计算技术研究所研究员、博士生导师、自然语言处理团队负责人，主要研究方向为自然语言处理、机器翻译和人机对话。担任中文信息学会青年工作委员会副主任、ARR Permanent Senior Action Editor以及ACL/EMNLP会议高级领域主席/领域主席等。机器翻译方面的工作获得ACL 2019唯一最佳长文奖，为ACL开办以来国内首次获得该奖项，并获CCF自然语言处理专委会 “青年新锐奖”、 “钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等。

报告摘要

ChatGPT以其强大的生成能力证明了大语言模型的优势。该讲习班将介绍主流大语言模型的原理以及下游适应方式，并介绍大语言模型的两个应用示例-chatGPT及百聆大模型的主要技术，并预测了大模型的未来发展趋势。

Day 1 （8月22日）14:00-15:30

大语言模型的幻象问题

讲者介绍

赵鑫教授

中国人民大学

赵鑫，中国人民大学高瓴人工智能学院教授。2014年7月于北京大学获得博士学位，随后进入中国人民大学工作至今。研究领域为信息检索与自然语言处理，共计发表论文100余篇，谷歌学术引用1万余次，曾主导研发了伯乐（推荐系统库RecBole）、妙笔（文本生成库TextBox）等开源工具。荣获2020年吴文俊人工智能优秀青年奖、ECIR 2021时间检验奖（Test of Time Award）、RecSys 2022最佳学生论文提名（Best student paper runner-up）、CIKM 2022最佳资源论文提名（Best resource paper runnerup）等，入选中国科协青年人才托举工程、北京智源青年科学家、CCF-IEEE CS青年科学家。

报告摘要

最近，以ChatGPT为代表的大语言模型受到了社会的广泛关注，对于人工智能技术的发展产生了重要影响。然而大语言模型自身还存在不少局限性问题，使之难以完全安全使用。本次报告将围绕大语言模型的幻象问题展开，将探讨幻象问题的产生原因及相关解决途径（如检索增强方法以及RLHF方法），最后介绍大语言模型的评测方法。

Day 1（8月22日）15:30-17:00

大模型时代下的

代码智能技术

讲者介绍

卢帅研究员

微软亚洲研究院

卢帅，微软亚洲研究院研究员，2021年毕业于北京大学，研究领域为代码智能和自然语言处理，致力于用深度学习技术实现软件开发自动化，赋能程序开发者。主要研究专注于代码自动补全、程序语言预训练模型、代码审查等，研究成果发表于NeurIPS, ICLR, ACL, ICSE, FSE等人工智能与软件工程学术会议，谷歌学术引用量上千余次。

报告摘要

近年来，代码智能已成为学术界和产业界广泛研究的焦点，基于人工智能技术的自动化程序理解和生成可以极大地提高程序开发者的生产力。特别是大规模通用预训练模型的问世，更是将代码智能技术推向了新的高峰。如今大模型已经在软件开发生命周期的各个方面得到了应用，涵盖代码补全、代码搜索、代码审查、缺陷检测及修复等等。本报告将介绍我们团队在代码预训练模型上的探索成果，以及大模型时代AI辅助软件开发的机遇与挑战。

Day 2（8月23日）9:00-12:00

大语言模型对齐

讲者介绍

熊德意教授

天津大学

熊德意，天津大学智能与计算学部教授、博士生导师，自然语言处理实验室负责人，天津市“一带一路”联合实验室语言智能与技术中外联合研究中心主任。主要研究方向为自然语言处理，特别专注于机器翻译、自然语言对话、大语言模型、常识推理、认知计算等方向的研究。在IEEE TPAMI、AI、AAAI、ACL等国际著名期刊和会议上发表论文150余篇，出版中英文专著各一部。相关研究获得国家级、省部级、国际合作、企业委托等20余项项目资助，获得北京市科学技术奖二等奖、中文信息学会中文信息处理科学技术奖青年创新奖一等奖等奖项。担任IALP 2012&2021程序委员会共同主席，CWMT 2017程序委员会共同主席，NeurIPS、ACL、EMNLP、NAACL、COLING、AACL等多个知名国际会议的领域主席、赞助主席、演示主席等，以及TACL和ARR的Action Editor等。领导研制了仁文伏羲大模型，与华为、阿里、字节跳动、OPPO等多家知名企业开展了深入合作。

沈田浩，天津大学自然语言处理实验室（TJUNLP）二年级博士生，导师为熊德意教授，现研究方向为对话系统、检索式问答和大规模语言模型。曾获得第九届对话技术挑战赛 (DSTC9) “端到端多领域任务型对话”赛道第一名，在ACL、EMNLP等国际会议上发表多篇学术论文，并担任ACL, EMNLP, AACL等会议的审稿人。

报告摘要

通用智能的 “智能-目标” 正交性及 “工具性趋同” 论点均要求通用智能的发展要智善结合。目前大语言模型在能力（智）方面发展迅速，但在更具挑战性的价值对齐（善）方面研究相对滞后。本报告分为两个部分，第一部分概述对齐的基本概念和必要性，简述其存在的社会和技术挑战，分析大语言模型对齐的主要技术路线和方法，探讨如何对大语言模型对齐进行评测，并对未来趋势进行展望。第二部分将综述目前大语言模型外部对齐的具体方法，包括人类反馈强化学习及其变种，AI辅助对齐等。

Day 2（8月23日）14:00-15:30

大模型在智能科学计算中的应用

讲者介绍

兰艳艳教授

清华大学

兰艳艳，清华大学教授。2011年毕业于中国科学院数学与系统科学研究院，获得概率论与数理统计专业理学博士学位,师从著名数学家马志明院士。2011年7月至2021年2月，她在中国科学院计算技术研究所工作，任研究员，中国科学院大学特聘岗位教授。兰艳艳博士的研究方向为信息检索，机器学习和自然语言处理，在人工智能和机器学习领域重要国际期刊和会议上发表论文80余篇。2012年获得SIGIR最佳学生论文奖，2017年获得CIKM最佳论文Runner-Up奖。入选中国科学院青年创新促进会优秀会员，北京智源人工智能研究院青年科学家，获得中文信息学会钱伟长中文信息处理科学技术奖一等奖。在学术服务方面，兰艳艳博士长期担任相关领域国际重要会议和期刊的（Senior）PC member和审稿人。担任SIGIR2020暑期学校主席，CIKM2020短文程序委员会主席，YSSNLP2020大会主席。她还是中国计算机学会高级会员，术语工委执委，女工委委员；应用数学学会通信与数学专委会副主任；中国人工智能学会机器学习专委会委员及中文信息学会信息检索专委会委员。兰艳艳博士目前就职于清华大学智能产业研究院，其团队方向为人工智能与医疗（智慧医疗），主要研究人工智能在蛋白质结构预测、小分子药物设计和生物计算等方向的应用。

报告摘要

人工智能技术不仅在计算机视觉和自然语言处理等领域带来了革命性的发展，也对其他科学领域的问题产生了重要影响，如蛋白质结构预测，天气预报，材料和药物设计等。本次讲座将介绍大规模预训练语言模型在这些科学领域的应用，并聚焦于药物研发相关问题阐述最新的大模型进展，总结科学问题和挑战。

Day 2（8月23日）15:30-17:00

大模型推荐技术及展望

讲者介绍

冯福利教授

中国科学技术大学

冯福利，中国科学技术大学特任教授，入选国家青年人才计划。研究领域：信息检索、数据挖掘、机器学习、因果推断等，承担推荐算法合规、监管相关国家级项目，发表国内外顶级会议和期刊论文近100篇，谷歌学术引用6000余次，研究成果在多家公司的商业系统应用。曾获SIGIR 2021最佳论文提名奖、WWW 2018最佳演示论文奖。

报告摘要

以GPT为代表的大语言模型（LLM）展示了惊人的新兴理解、推理和规划能力，催生了将LLM应用于推荐系统以提升性能和用户体验的有前景的研究方向。报告介绍大模型推荐技术的进展，包括如何教会LLM做推荐：1）基于in-context learning的LLM推荐能力激发，2）基于instruct- tuning的LLM推荐任务对齐；以及如何利用LLM推动推荐范式革新：3）基于LLM的生成式召回，4）基于LLM的生成式推荐。报告进一步讨论大模型推荐带来的机遇与挑战。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。

来源: qq

点击查看作者最近其他文章