【新智元导读】国内大佬沈向洋和马毅牵头的全新首届AI学术会议CPAL,征稿进行中!
CPAL(Conference on Parsimony and Learning)名为简约学术会议,每年举办一次。第一届CPAL将于2024年1月3日-6日,在香港大学数据科学研究院举办。而这一观点恰恰基于2022年沈向洋、马毅的一篇论文「On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence」。文中强调了两个基本原则:简约(Parsimony)与自洽( Self-consistency)。CPAL专注于解决机器学习、信号处理、优化等领域中普遍存在的简约、低维结构问题,并探索低维结构在智能硬件与系统、交叉科学和工程等新兴方向的应用。创办这个会议的出发点,就是将其设计为一个普遍的科学论坛,让科学和工程领域的研究人员能够聚集在一起,分享见解,并最终努力达成一个一致认同的现代计算理论框架,从简约学习的角度理解智能和科学。马毅教授也推荐了一波:厌倦了包罗万象的大型机器学习会议?CPAL会成为一个专注于理论和计算基础的高标准会议。
首届大会主席共有四个人,除了沈向洋和马毅,还有来自慕尼黑大学Gitta Kutyniok,以及宾夕法尼亚大学René Vidal。此外,这次CPAL会议程序主席有卡内基梅隆大学池跃洁(Yuejie Chi),Google DeepMind的Gintare Karolina Dziugaite,密歇根大学曲庆(Qing Qu),以及德州大学奥斯汀分校的汪张扬(Atlas Wang)。会议还设立了资深顾问委员会,其中除马毅教授外,华人学者还有来自卡内基梅隆大学/穆罕默德·本·扎耶德人工智能大学的邢波(Eric Xing),和来自香港科技大学的张潼。
· 通用深度网络的高效训练、推理和迁移算法(例如基于稀疏性、低秩、自适应计算或其他)· 以结构化模型为基础的新深度模型(例如深度展开)· 高效的神经网络缩放尺度定律,和新一代的简约学习模型· 基于深度模型的隐含简约性原则,严格分析其泛化、优化、稳健性和近似理论· 经典稀疏编码、字典学习和子空间学习理论,及其与现代神经网络稀疏性的联系· 针对端计算或云计算的资源高效学习与硬件协同设计· 简约人工智能用于科学和工程,包括大量基于简约性先验的逆问题· 理论神经科学和认知科学,为简约性人工智能提供生物基础
会议将设有一个主要的论文集轨道(存档)和一个「最新亮点」轨道(非存档)。提交和评审阶段是双盲的。会议使用OpenReview托管论文并允许公开讨论。完整的论文可以有最多九页,参考文献和附录页数不受限制。提交会议风格的论文(最多九页,附加页用于参考文献)描述工作内容。请在OpenReview上上传一个简短(250字)的摘要。评审将以单盲方式进行(作者不需要匿名化提交)。值得一提的是,针对于当前人工智能会议普遍存在的审稿质量下降的问题,在其论文评审机制中,CPAL会议设计了若干大胆的创新亮点:每篇论文都有一个Program Chair负责监督(shepherding)。职责包括:(1)论文接受前,对每篇论文Area Chair的推荐意见做二次详细审核;(2)论文接受后,监督作者在最终论文中确实做出其对审稿人承诺的修改,同时不无端改变论文主要内容和实验事实。对于每篇被接受的论文,其负责的Area Chair和Program Chair的姓名将公布在其OpenReview页面上,以确保论文录取质量的责任人制度。对于每篇被拒绝的论文(不包括撤稿),则只会显示其负责的Program Chair的姓名。所有Area Chair会对审稿人的表现打分,Program Chair将会甄别出一小部分被多个Area Chair打低分的审稿人,并从来年的审稿人团队中移除。
所有截止日期均为UTC-12:00时区的晚上11:59。2023年10月14日:两周答辩阶段开始(论文集轨道)2023年10月27日:答辩阶段结束,作者与审稿人讨论阶段开始(论文集轨道)2023年11月5日:作者与审稿人讨论阶段结束(论文集轨道)2023年11月20日:最终决定公布日期(两个轨道)2024年1月3日至6日:主要会议(香港大学主校区)
智能或科学的存在,乃至其产生的最基本原因之一是,世界并非完全随机,而是高度结构化和可预测的。因此,智能或科学的一个基本目的和功能是从大量感知到的世界数据中学习简约的模型(或规律),来理解这种可预测的结构。
在过去的十年中,机器学习和大规模计算的出现,极大地改变了我们在工程和科学中处理、解释和预测数据的方式。基于特定信号和测量结构的参数模型(比如稀疏和低秩模型)来设计算法的「传统」方法,及其相关的优化工具包,现在已经通过数据驱动的学习技术得到了极大地丰富,其中,大规模网络被预训练,然后适应各种具体任务。然而,无论是现代数据驱动还是经典模型基础的范例的成功,都关键地依赖于正确识别实际数据中存在的低维结构,我们认为学习和压缩数据处理算法的角色(无论是显式还是隐式,如深度网络)是密不可分的。
在过去的十年左右的时间里,包括理论、计算和实践在内的几个研究领域都已经探索了学习与压缩之间的相互作用。一些工作探索了深度学习时代下的信号模型的角色和作用,试图理解深度网络与非线性、多模态数据结构之间的相互作用。还有些人将这些见解应用到深度架构的原理设计中,将数据中所期望的结构融入到学习过程中。另一些人则将通用深度网络本身视作一等公民,探索了如何压缩和稀疏模型以提高效率,这往往伴随着硬件或系统感知的联合设计。在所有这些场景中,基于低维模型的理论工作已经开始用于解释深度架构和高效学习的基础,包括从优化到泛化问题,尽管其中也存在「过参数化」等障碍。最近,基础模型的出现使一些人提出,简约性和压缩本身是智能系统学习目标的一个基本部分,这与神经科学对压缩作为大脑表征世界感知数据的指导原则的观点相连。
总的来说,这些研究线路到目前为止相对独立地发展,尽管他们的基础和目的都在于简约性和学习。我们组织这次会议的目的是统一解决和进一步深化研究这个问题:我们希冀这次会议成为一个通用的科学论坛,让机器学习、应用数学、信号处理、优化、智能系统以及所有相关科学和工程领域的研究人员可以在这里紧密交流,分享见解,最终从简洁学习的视角向理解智能和科学的现代理论和计算框架共同迈进。