Redian新闻
>
由你投票选出的NeurIPS 2022论文直播分享拍了拍你

由你投票选出的NeurIPS 2022论文直播分享拍了拍你

公众号新闻


(本文阅读时间:9分钟)


备受关注的人工智能国际顶会 NeurIPS 2022 于昨天正式拉开帷幕。在此前的系列文章中,我们从人工智能的五大热点话题与大家分享了微软亚洲研究院入选 NeurIPS 2022 的论文,包括人工智能大一统与理论研究赋能产业界的人工智能,以及有创造力又负责任的人工智能。每篇文章末尾的投票结果现已诞生!


被大家所 pick 的人气论文们,将于12月2日(本周五)14:00登录“微软中国视频中心”的 B 站直播间,与大家在云端零距离见面!欢迎多发弹幕参与互动,在每篇论文分享结束后,讲者将在问答环节中解答弹幕中提出的问题!


直播信息


直播时间:

2022年12月02日14:00-16:00


直播地址:

B 站账号“微软中国视频中心”直播间


扫码直达 B 站直播间


论文及讲者介绍



付强

微软亚洲研究院

高级研究员


付强博士毕业于清华大学电子工程系,现任微软亚洲研究院高级研究员,主要从事机器学习、深度神经网络、图神经网络等方面的算法、理论及应用研究。此前,付强博士任微软(美国)搜索广告部高级应用科学家,从事信息检索、自然语言理解、图像处理等方面的算法研究及其在搜索广告产品中的应用。付强博士在机器学习、数据挖掘、计算机系统等领域的国际顶级会议及期刊上共发表论文40余篇,并持有多项美国专利。


论文题目: 

稳定的神经元响应会提升模型泛化性能

Neuron with Steady Response Leads to Better Generalization


论文摘要:

能否探寻到统摄不同任务和网格结构的本质共性来提高多种网络的泛化性能,是本文的研究切入点。本文从神经元级别的细粒度出发,仔细分析了单个神经元在神经网络训练和测试中的响应特性,发现提升神经元对同类输入样本响应的稳定性能够有效地提高神经网络的泛化性能。据此,本文提出了一种通用的正则项,用于控制神经元在激活状态下响应的类内方差。该正则项简单高效,能在不同领域的多个数据集(ImageNet, CIFAR10, PubMed, WikiCS)以及多种网络结构 (MLP, CNN, GNN)上普遍地提升模型的泛化性能。


论文链接:

https://www.microsoft.com/en-us/research/publication/neuron-with-steady-response-leads-to-better-generalization/




王希廷

微软亚洲研究院

高级研究员


王希廷,微软亚洲研究院社会计算组高级研究员,研究兴趣为可解释、负责任的人工智能。她的研究成果发表在 ICML、KDD 等顶级会议期刊上,并在多个产品中落地应用。她曾两次获得 CCF-A 类期刊 TVCG 封面论文奖,获 AAAI 2021 Best SPC 奖,正担任 IJCAI 领域主席。


论文题目: 

基于逻辑规则推理的自可解释深度学习框架

Self-explaining deep models with logic rule reasoning


论文摘要:

本文提出的框架把给定黑盒模型升级成自可解释深度模型,在没有人工规则标注的情况下自动提取逻辑规则。生成的解释和人推理逻辑相似性高,升级后的模型预测准确性不降低、对噪音更鲁棒,同时容易融入用户反馈。


论文链接:

https://www.microsoft.com/en-us/research/publication/self-explaining-deep-models-with-logic-rule-reasoning/




孙宇冲

中国人民大学

博士生


孙宇冲,中国人民大学高瓴人工智能学院直博三年级,研究兴趣包括自然语言多模态理解、多模态交互等。


论文题目:

基于多模态时序对比学习的长视频-语言预训练

Long-Form Video-Language Pre-Training with Multimodal Temporal Contrastive Learning


论文摘要:

本文探索了直接从长视频-语言中学习表征以帮助许多长视频-语言理解任务。本文提出了 Long-Form VIdeo-LAnguage 预训练模型(LF-VILA),并在大规模长视频和段落数据集 LF-VILA-8M 上进行了训练。本文还提出了一种多模态时序对比学习(MTC)损失和一种分层时间窗口注意力(HTWA)机制,以有效的端到端的方式更好地对齐视频和语言。LF-VILA 在多个长视频-语言及长视频理解任务上取得了最好的性能。


论文链接:

https://www.microsoft.com/en-us/research/publication/long-form-video-language-pre-training-with-multimodal-temporal-contrastive-learning/




赵宇澄

中国科学技术大学

博士生


赵宇澄,中国科学技术大学的三年级博士生,导师是查正军教授。他于2018年从中国科学技术大学取得了学士学位。他是微软亚洲研究院智能多媒体组的研究实习生,研究方向为自监督表征学习和计算机视觉,已经在 IJCAI、AAAI、NeurIPS 和 ICCV 等会议上发表多篇论文。


论文题目:

周边视觉注意力网络

Peripheral Vision Transformer


论文摘要:

人类拥有周边视觉这种特殊的视觉处理系统,我们的整个视野可以根据到凝视中心的距离被划分为多个轮廓区域,而周边视觉使我们能够感知不同区域的各种视觉特征。受此启发,微软亚洲研究院的研究员们探索了在深度神经网络中模拟周边视觉进行视觉识别的方法。


论文链接:

https://www.microsoft.com/en-us/research/publication/peripheral-vision-transformer/




宋晓壮

微软亚洲研究院

机器学习组实习生


宋晓壮,在北京邮电大学和南方科技大学分别获得本科与硕士学位,作为研究实习生在微软亚洲研究院从事应用驱动的人工智能解决方案相关的研究,研究兴趣为多任务学习、机器学习、图学习等。


论文题目:

面向多任务分组学习的元学习框架

Efficient and Effective Multi-task Grouping via Meta Learning on Task Combinations


论文摘要:

为应对任务组合爆炸增长的挑战,在本文中研究员们为多任务分组学习提出了一套元学习框架来实现有效的任务分组。结果显示在几乎同等的计算开销下,相对于现有的最佳方案,本文提出的方法获得了几乎翻倍的性能提升。


论文链接:

https://openreview.net/forum?id=Rqe-fJQtExY




卢佩玲

微软亚洲研究院

研发工程师


卢佩玲,微软亚洲研究院研发工程师,主要研究方向为音乐生成、音乐理解和唱歌合成。她对于利用深度学习模型进行音乐结构建模、歌词到旋律的生成、编曲、配乐、唱歌声音合成有一定的研究,先后在 NeurIPS、EMNLP、ISMIR、Interspeech 发表过相关工作。


论文题目:

Museformer: 结合粗/细粒度注意力机制的音乐生成模型

Museformer: Transformer with Fine- and Coarse-Grained Attention for Music Generation


论文摘要:

为了更好地建模音乐长序列,本文提出 Museformer,它包含一种新颖的细粒度和粗粒度相结合的注意力机制,更加切合音乐序列的特点:序列长(超过10000个token),以及具有重复结构。Museformer 既能精准编码音乐结构相关信息,又能以较小代价保留其他重要信息,且相较于全注意力模型,在32GB显存下,Museformer 能够编码超过其3倍长度的序列,并且训练速度在长序列场景下也提升显著。


论文链接:

https://arxiv.org/abs/2210.10349


日程安排


14:00-14:20

论文题目:

稳定的神经元响应会提升模型泛化性能

分享者:

付强,微软亚洲研究院高级研究员

14:20-14:40


论文题目:

基于逻辑规则推理的自可解释深度学习框架

分享者:

王希廷,微软亚洲研究院高级研究员

14:40-15:00


论文题目:

基于多模态时序对比学习的长视频-语言预训练

分享者:

孙宇冲,中国人民大学高瓴人工智能学院博士生

15:00-15:20


论文题目:

周边视觉注意力网络

分享者:

赵宇澄,中国科学技术大学博士生

15:20-15:40


论文题目:

面向多任务分组学习的元学习框架

分享者:

宋晓壮,微软亚洲研究院机器学习组实习生

15:40-16:00


论文题目:

Museformer: 结合粗/细粒度注意力机制的音乐生成模型

分享者:

卢佩玲,微软亚洲研究院研发工程师



请锁定 B 站账号“微软中国视频中心“,精彩讲解与您不见不散!






你也许还想看






微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
NeurIPS 2022 | 利用多光照信息的单视角NeRF算法S^3-NeRF,可恢复场景几何与材质信息NeurIPS 2022 | 利用多光照信息的单视角NeRF算法,可恢复场景几何与材质信息从理论走向实用!马毅教授NeurIPS 2022新作:稀疏卷积性能和稳健性超越ResNet陌上花开915 栗子拍了拍你,说“周一快乐”NeurIPS 2022 | 何恺明团队新作:MAE扩展到视频!学习时空表示,最优Mask比例高达90%!NeurlPS2022推荐系统论文集锦【提示】网络投票开始!首批17座环城生态公园名字由你决定Little tips for writing College Essay & Essay (Alex)端到端音视频说话人日志网络,一作解读INTERSPEECH 2022论文Nature:首次使用非病毒精确基因组编辑开发出的neoTCR-T细胞在临床试验中治疗实体癌并取得积极进展学霸谷爱凌跃入社会顶流,小升初是分水岭,华人家长要注意这些!硅谷牛爸直播分享啦!不要错过:把孩子送进耶鲁-牛津-哈佛、伯克利、芝大的华人牛爸直播分享走向名校的高效学习法!NeurIPS 2022 | AutoMTL:第一个自动化多任务学习编程框架!成人级的爱情是什么样的?纽约大学拍了拍你:Hi~想看我的朋友圈吗?年度品牌投票,第一名由你来选将通信带宽降低至十万分之一,NeurIPS 2022论文提出新一代协作感知方法美女帅哥来袭!22年escape场内抓拍!投票选出最佳美照领取edc门票!金犀銀杏半轮球NeurIPS 2022 | DetCLIP:开放域检测新方法,推理效率提升20倍!马斯克的Neuralink动物实验违规,面临调查NeurIPS 2022 | 首个将视觉、语言和音频分类任务进行统一的半监督分类学习基准NeurIPS 2022 | 基于解耦因果子结构学习的去偏差图神经网络[梅玺阁菜话]No. 094 面和浇头系列之十八 葱油拌面(视频)附葱油视频NeurIPS 2022 | 重振PointNet++雄风!PointNeXt:改进模型训练和缩放策略审视PointNet++NeurIPS 2022 | ConvMAE:当Masked卷积遇见何恺明的MAENeurIPS 2022 | 开放域检测新方法DetCLIP,推理效率提升20倍“Cell Press最受欢迎中国论文奖”开启投票!快来选出你最喜爱的中国科学家研究「稀疏编码」从理论走向实用!马毅教授NeurIPS 2022新作:稀疏卷积性能和稳健性超越ResNet164年以来首次超长时间投票选出众议长--美帝怎么了?一文盘点NeurIPS'22杰出论文亮点!英伟达AI大佬一句话总结每篇重点,一并看透今年技术趋势一座华丽的教堂、一本厚重的历史书7 Papers & Radios | NeurIPS'22获奖论文;英伟达一句话生成3D模型南开一本科生被指抄袭硕士生论文直博北大!直接“中译英”了SCI论文...首次突破30FPS!天大、清华和卡迪夫联合提出基于单RGB相机的全新三维表示方法FOF|NeurIPS 2022
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。