Redian新闻
>
噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

公众号新闻

 机器之心专栏

作者:张聪穆

李学龙教授在 IEEE 期刊上在线发表 “正激励噪声”《Positive-Incentive Noise》。

在日常生活中,噪声无处不在,通常会给人及周围环境造成不良影响。比如,汽车产生的噪声给人们的正常工作和休息带来了不少困扰。然而,任何事物都有两面性。在一个不小心睡过了的早上,汽车噪声却会给人们释放出正向积极的信号:迟到了,该上班了。再例如,装修房子时电钻声非常嘈杂,对周边业主造成了干扰。但仔细听,从噪声中能分辨出钻的是木头还是钢铁,也能判断出电钻运转是否正常。这些常见的现象说明了一个本质问题:噪声也可以是有用的,以往我们可能错怪噪声了。


在各式各样的科学研究的方方面面中,噪声也大量存在,如仪器精度不足导致的仪器误差、人为操作中的失误导致的偏差、极端环境等外界干扰导致的信息失真等。研究者普遍认为噪声通常会对执行的任务产生不良影响,这已成为一个约定俗成的假设。因此,围绕着 “降噪” 这一核心任务产生了大量的研究工作。然而,西北工业大学李学龙教授团队在执行信号探测和处理任务时通过实验观察验证,对这一假设产生了质疑:科学研究中的噪声真的总是有害的吗?


恰如图 1 所示,在一个图像智能分类系统中,对图像加入适量的噪声后再训练,识别准确率反而上升了。这给我们带来一点启发:图像中加入一些噪声,而不是去除,再执行图像分类任务,可能效果会更好。只要噪声对目标的影响远小于噪声对背景的影响,产生 “伤敌(背景噪声)一千,自(目标信号)损八百” 的效果就有意义,因为任务追求的是高信噪比。从本质上来说,面对传统分类问题,在特征后随机加上适度的噪声,相当于升高了特征维度,某种意义上说,类似是给特征增加了一个核函数,实际上完成了一种低维空间到高维空间的映射,使数据更可分,从而提高了分类效果。


图 1 图像识别准确率随图像噪声强度的增大而 “反直觉” 地呈现出 “先增后减” 的关系。


更具体的任务的例子(图 2),从遥感影像中做飞机检测,一般都是把飞机紧紧框住,然后做模型训练。如果把飞机的框适当增大一些,把跑道等干扰信息加进来,模型训练效果反而会更好。为什么会出现这种现象呢?这是因为跑道等 “噪声” 和目标之间存在语义相关性,从而对完成飞机检测任务起到了正面的驱动作用,提高了检测准确率。


图 2 在传统目标检测中,一般认为检测框越小越好;然而在检测飞机时,适度扩大检测框引入跑道、停机坪等背景信息能够提高检测效果。


经过对这类现象分析验证,李学龙教授的论文《Positive-incentive Noise》已在期刊 IEEE Transactions on Neural Networks and Learning Systems (TNNLS) 上在线发表。



全文下载链接:https://ieeexplore.ieee.org/document/10003114


Xuelong Li, “Positive-Incentive Noise,” IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2022.3224577, 2022.


文中指出,噪声在获取、数据、特征、样本、决策等诸多层面都存在,根据对完成任务是否存在正向驱动作用,可将噪声划分为 “正激励噪声”(Positive-incentive Noise, Pi/π-Noise)和 “纯噪声”。“正激励噪声” 指的是有用的噪声,能对完成任务起到正面的驱动作用。“纯噪声” 则是无用、有害的噪声,会妨碍任务的有效执行。为挖掘和利用正激励噪声,论文给出了 “任务熵”(Task Entropy)——的定义,并在此基础上建立了系统的理论分析框架。在任务给定的情况下,任务熵的大小衡量了噪声与任务之间 “互信息”(Mutual Information)的多少。在信息论中,互信息用来度量两个随机变量的 “共有信息”。因此,论文明确指出,某些噪声和信号的产生是同源的,会附带信号特征信息,对任务完成提供帮助,这也是上述现象背后的本质原因。也就是说,当互信息大于 0 时,噪声会正向驱动完成任务



此时,噪声就是正激励噪声。互信息等于 0 时,噪声对完成任务没有正向驱动作用,那么此时噪声为纯噪声。


正激励噪声能否被有效挖掘和利用取决于任务熵的大小,也就是任务的概率分布值。在论文中列举了几种常见视觉处理任务的概率分布值的计算方式。比如,在单目标分类任务中,数据集由数据样本集合 X 和标签集合 Y 组成,数据集 (X,Y) 可以看作是从某真实分布中采样而来。分布表示 “已有数据样本(如图像)被赋予不同标签的概率”,它的任务熵衡量了 “在此数据集上单标签分类任务的不确定性或难度”。除此之外,论文还强调了,正激励噪声的产生与执行任务的变化和噪声量的大小相关,未来将对随机共振、对抗训练、多任务学习、对比学习等多个方向产生深远影响。


正激励噪声是 “临地安防” 科研架构(图 3)中的基本科学问题之一。启发了在科研中重新审视对噪声的理解和处理的方式,同时也对信号处理、人工智能、涉水光学、稳定探测、多模态认知计算等多方面提供了理论研究支撑。


图 3 临地安防 (Vicinagearth Security)


《Positive-Incentive Noise》作者信息:



李学龙(电子邮箱:[email protected]),西北工业大学学术委员会副主任、光电与智能研究院(iOPEN)教授。主要研究方向为临地安防体系中的人才培养、科学、技术和工程问题。



© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:[email protected]

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
围观:屌炸天的光伏行业分析框架!从审计角度系统解构年报的分析框架和流程洗衣剂残留,对身体有害吗?【外汇商品】新加坡元汇率分析框架小初国际生最适合的数学竞赛——袋鼠数学竞赛来啦!夫妻隔海相望41年特朗普为共和党定了基调:必须忠于他,但他不必忠于任何人丹麦德国合拍的战争反思片,值得一看仅需10%参数量即超越SOTA!浙大、字节、港中文联合提出「类别级位姿估计」任务新框架|CoRL2022仿生鸟飞行123分钟,北航破世界纪录刚一周,就被西工大超越了喜报|西工大今年首篇《科学》:建立鹿角再生细胞图谱、永泰生物完成3亿元可转债募资教授提议老人集体切腹,日本究竟怎么了退休老人的福利还是梦魇Sherlock收购分子诊断公司,以加快推出基于CRISPR基因编辑技术的手持式诊断测试独家 | 李学龙、唐杰入选 2023 AAAI Fellow,华人占约 1/5XBB新毒株更厉害吗?腹泻药要囤吗?我无比忐忑地翻了美国的数据激光供能实现无限续航!西工大,又有新成果!2位数学家破解了19世纪流传下来的数学难题,代价是——结婚?!ICLR 2023 | 清华大学龙明盛组提出通用时间序列神经网络骨干—TimesNet清华教授李学勤:多年以来,我对我的学生都不太满意西工大留学生畅谈“长安”生活《流浪2》《中国乒乓》等一大波春节档华语电影上映!而我们恰好有$14.5的半价电影票!可用于任意Hoyts任意电影招聘|广州生物院联合生科院宋玉龙教授课题组诚招博士后多名Nature子刊 | 谭济民、夏波等提出基因组构象预测模型及高通量计算遗传筛选方法邓小平对中共不是犯错而是背叛11岁发现数学新定理,13岁登日本数学会学术会议,学界大佬:他是「可敬的数学家」复旦大学龙钢教授团队在胞外囊泡研究取得突破性进展!为黄病毒感染防治提供新思路妈妈病危 (一)EMNLP'22 | 基于结构统一M叉编码树的数学问题求解器【经典重温】绿色溢价的概念、分析框架及应用领域真的这么丝滑吗?Hinton组提出基于大型全景掩码的实例分割框架,图像视频场景丝滑切换李学龙、唐杰入选AAAI 2023 Fellow,共11位学者上榜米莱新书《这就是数学》:解决1~4年级娃概念、数量关系、思维转换的数学难题史上最全:能源行业研究分析框架及投资逻辑详解EMNLP 2022 | 北大提出基于中间层特征的在线文本后门防御新SOTA
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。