Redian新闻
>
梯度是一种强大的思维工具|会数数的马

梯度是一种强大的思维工具|会数数的马

科技




关于「会数数的马」


我们不知道自己

是一匹会数数的马

还是数学家,

尽管绝大多数情况是前者。


五源合伙人张斐的专栏,

不定期更新,

探讨认知与投资。





张斐

五源合伙人



梯度是一种强大的思维工具



梯度是一个有趣而强大的概念,我从去年开始愈发理解。在数学中,梯度是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值。梯度的大小代表斜率的陡峭程度。

 

实际上,这一概念在人工智能、生命科学和社会相关复杂系统等现代技术中具有重要意义。

 

一个很好的例子是网球。网球在三维世界中移动和旋转。训练有素的网球专业人士可以以 200 公里/小时的速度和每分钟3000转的速度击球。这是一项了不起的技能。我们的大脑中并没有可以计算球的精确位置的数学公式——它实际上使用神经网络来模拟球的运动方式。

 

神经网络是一个多层向量网络,每一层都在使用梯度下降来降低计算的复杂度。大脑中有成千上万的神经网络层,可以建立一个与球的运动模式完美匹配的模型。梯度是大脑解码高维和复杂问题的方式,尤其是物理世界中的问题。比如骑自行车就是一个例子,大脑使用梯度和神经网络同时控制平衡和移动。

 

人工智能的工作方式与人类的大脑类似。在人工智能中,梯度是一种数值计算,让我们知道如何调整网络的参数,从而让输出偏差最小。梯度下降是训练神经网络最常用的算法。

 

以围棋为例,围棋变化的可能性是10的172次方,远远超出了当前的计算能力。Deepmind的AlphaGo使用梯度和神经网络,大大降低了计算复杂度,击败了围棋世界冠军。



梯度在生命的起源中也起到至关重要的作用。尼克·莱恩在其著作《复杂生命的起源》中讲述了诺贝尔奖获得者彼得·米切尔的故事,他在1978年因化学渗透理论而获得诺贝尔化学奖。彼得发现所有的细胞能量之源是质子梯度驱动 ATP (三磷酸腺苷)合成。质子从高质子浓度的区域扩散到低质子浓度的区域,以产生ATP。质子梯度为呼吸提供能量,这就像遗传密码一样是生命科学的基础。化学渗透理论是生物学中最反直觉的发现之一,该理论花了很长时间才被接受,目前科学界已经掌握了质子梯度在原子级别上的精确运作机制。

 

在社会系统中,如何找到财富和权力在个体之间的最佳分配方式,以创造一个更高效、更有活力的社会?社会科学家发明了“基尼系数”,作为监测收入分配公平程度的指标。基尼系数因子并不能说明不同社会阶层的健康水平。我相信「梯度」 可能是一个强大的工具,可以评估不同社会阶层的反脆弱性。这种方式也同样适用于社交网络和其他生态系统。在大自然中,不同的梯度表现出非常不一样的生态。我们可以对比自然界常见的三种水系:瀑布、河流和火山湖。这三种水系的梯度是从高到低的。



很容易发现河流(舒缓的梯度下降)的生态比瀑布(巨大的梯度下降)和火山湖(零梯度,不考虑深度)的生态好很多。大自然告诉我们一个经过亿万年进化后的优化方案,大部分人忽视了这个自然现象的重要性。

 

一直以来,社交网络在努力避免两种现象:

1)超级节点主导和支配网络,UGC(用户生成的内容)崩溃;

2)网络过于扁平(没有任何大的节点)时,噪音过载;

 

在这两种情况下,梯度都不能很好地工作。如何构建平滑的梯度对于一个反脆弱系统来说至关重要。

 

在当前的 Web3热潮中,许多创始人和投资者声称与 Web3将建立一个完全自治的分布式系统。我可能对此存有偏见。总体来说,我认为完全没有梯度的分布式系统是违反物理定律,因此它会低效和不稳定。正如 Signal 的创始人 Moxie Marlinspike 在他的《我对Web3的印象》一文中提到的,Web3 生态系统已经被几个超级节点所主导。很可能出现的是,革命者使用新概念和新工具,却创造了一个有着更糟糕梯度的新世界。这种革命范式在历史上各种乌托邦实验中都以失败告终,现在让我们拭目以待,看看Web3会以何种方式向前发展进化。





互动送礼



欢迎在评论区分享你的心得、观点和看法,我们会选取1位精选留言送出五源纪念T恤一件。(留言截止到9月13日,请在收到信息的24h内回复收件信息。)





五源寻找、支持、激励孤独的创业者,为其提供从精神到所有经营运作的支持。我们相信,如果别人眼中疯狂的你,开始被相信,世界将会别开生面。


BEIJING·SHANGHAI·SHENZHEN·HONGKONG

WWW.5YCAP.COM


微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
休息是一种工作,空仓是一种投资嘴角下垂怎么办?一文梳理基于梯度的黑盒迁移对抗攻击研究进展10月189官报出炉!各专业邀请分数数据来啦!多个专业65分获邀!你具有容易诱发抑郁的思维模式吗?招聘高级应用运维工程师,地点成都每个人的思维深处,魔法和科学和谐共存这项重要的思维能力,大部分爸妈都不知道怎么培养(文末有福利)如何用“总裁式思维”提升自己的思维层级癌症病人的人生,就是一场艰难的马拉松 | 谷雨与其说美国庆祝华人成功,不如说是在把我们当工具|华人口述史纠缠,是一种强大的工具!2022年诺贝尔物理学奖解读手术中,这些医护一遍又一遍地数数,到底数什么呢?下午茶高效工作法—用思维导图打开你的思维梁智锋组发表关于狨猴脑功能网络梯度及其动态性的研究成果能用量化的思维来解读巴菲特吗?量子纠缠如何成为强有力的工具|直击诺奖邮递员的飞来横祸。。。解密NumPy求解梯度的一个关键难点刷力扣题想要做到 Bug Free 需培养怎样的思维?【直播预约】从工具到思维的转换升级,帮你打开思维遇事最有水平的思维模式(此文无价)【租房】11.15入住 1b1b|带家具|有门卫|可以养宠物|近NEU步行8分钟别再说宝宝自私啦!Ta 可能只是不会数数取保候审制度是到了要改的时候了!戴康:市场悲观情绪已处后半程,四季度是筑底,关注中国具备全球优势的两个主线……这20个实用的思维模式,可以提高你的决策质量开通钱包抽盲盒、体验自动驾驶……服贸会数字人民币展区人气旺以人为剑!印度是怎么靠“塞人”把其他国家删除的?果蔬的喜讯(二十)自由职业的另一面:离开传统工作岗位与其说是一种选择,不如说是一种必须的决定从科技到游戏,树状图如何影响我们的思维与观念记苏峤书册销量过亿,还被多国课本看重,读了这套书,再不用担心孩子的思维能力了
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。