VALSE 2023 | 下一代深度学习的思考与若干问题——焦李成专家
点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
AI/CV重磅干货，第一时间送达
作者：煎饼果子不要果子 | 源：知乎（已授权转载）
我们有深度！
深度学习七十年
BP 解决非线性异或问题
致敬 1974 Werbos
再发现：Hinton 三巨头提出使用 BP 算法进行表征学习
卷积神经网络雏形 1980 年
再次致敬
思考：深度学习从哪来？又要到哪里去？
神经网络用极多个神经元连接，模拟小脑计算运作的过程
完全是靠学习和训练吗？纯数据驱动
那先验知识在其中有什么用呢？
创新的道路在哪里？
黑盒越来越大，怎么解释呢？解释问题、过程还是结果？
1 有哪些深度学习网络体现了这些功能呢
2 再有大数据你就是小样本，嘿，不要被淹死
3 人脑是智慧 高度非线性，局部 BP 是需要的，但全局更不能少
4 sigmoid 毫无这些特性，表征就不好怎么能学好呢
5 剪枝 & NAS 三个性质怎么解释
6 找到正确的优化的解
7 只有感知够吗，认知起了什么作用？推理、决策
三大过程
Universal Approximation
输入未知，非线性怎么逼近
表征都没出来怎么去学习特征呢
表征理论不是单纯累加模型层数
表征是开始，所以很重要
模型得匹配对
捷径和收敛速度分不开，100 张 V100 能放在火箭上吗
每个变量都是有物理意义的，要作为物理过程计算，brain-inspiring，而不是一个单纯的计算机过程
能量、熵、功率能解释通吗
传统方程探究的时候会研究它们的量纲是否一致，但现在计算机模型做到了吗
该页被特别推荐！
脑科学领域 20 年最新成果，Nature Science，有多少在深度学习模型上体现了
工作1：物理机制结合，Wishart 分布
工作2：对方向奇异性表征探究
工作3: Contourl Net 及其复数域
机器学习和物理学的关联 Physical-Informed / Physical-Inspired
从此开始，拍照已经赶不上翻页的速度：
哈密顿量、拉格朗日量、牛顿莱布尼茨公式
物理信息神经网络
电磁学启发
电路启发：基于霍夫定律
光学神经网络：光电神经网络、全光神经网络
热力学影响
熵原理：求解最优解启示（退火算法）
量子力学：结合了不确定性
进化角度：群体思想、自然免疫、进化计算
体会：NAS 在免疫和进化有很好的潜力，非常有用
超参数优化问题
元学习问题
多思考！
中国人任重道远
最新CVPR 2023论文和代码下载
后台回复：CVPR2023，即可下载CVPR 2023论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF
目标检测和Transformer交流群成立
扫描下方二维码，或者添加微信：CVer333，即可添加CVer小助手微信，便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注：研究方向+地点+学校/公司+昵称（如目标检测或者ransformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer333，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉，已汇集数千人！
▲扫码进星球
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看
微信扫码关注该文公众号作者