梯度是一种强大的思维工具|会数数的马
关于「会数数的马」
我们不知道自己
是一匹会数数的马
还是数学家,
尽管绝大多数情况是前者。
五源合伙人张斐的专栏,
不定期更新,
探讨认知与投资。
张斐
五源合伙人
梯度是一种强大的思维工具
梯度是一个有趣而强大的概念,我从去年开始愈发理解。在数学中,梯度是一个向量,表示某一函数在该点处的方向导数沿着该方向取得最大值。梯度的大小代表斜率的陡峭程度。
实际上,这一概念在人工智能、生命科学和社会相关复杂系统等现代技术中具有重要意义。
一个很好的例子是网球。网球在三维世界中移动和旋转。训练有素的网球专业人士可以以 200 公里/小时的速度和每分钟3000转的速度击球。这是一项了不起的技能。我们的大脑中并没有可以计算球的精确位置的数学公式——它实际上使用神经网络来模拟球的运动方式。
神经网络是一个多层向量网络,每一层都在使用梯度下降来降低计算的复杂度。大脑中有成千上万的神经网络层,可以建立一个与球的运动模式完美匹配的模型。梯度是大脑解码高维和复杂问题的方式,尤其是物理世界中的问题。比如骑自行车就是一个例子,大脑使用梯度和神经网络同时控制平衡和移动。
人工智能的工作方式与人类的大脑类似。在人工智能中,梯度是一种数值计算,让我们知道如何调整网络的参数,从而让输出偏差最小。梯度下降是训练神经网络最常用的算法。
以围棋为例,围棋变化的可能性是10的172次方,远远超出了当前的计算能力。Deepmind的AlphaGo使用梯度和神经网络,大大降低了计算复杂度,击败了围棋世界冠军。
梯度在生命的起源中也起到至关重要的作用。尼克·莱恩在其著作《复杂生命的起源》中讲述了诺贝尔奖获得者彼得·米切尔的故事,他在1978年因化学渗透理论而获得诺贝尔化学奖。彼得发现所有的细胞能量之源是质子梯度驱动 ATP (三磷酸腺苷)合成。质子从高质子浓度的区域扩散到低质子浓度的区域,以产生ATP。质子梯度为呼吸提供能量,这就像遗传密码一样是生命科学的基础。化学渗透理论是生物学中最反直觉的发现之一,该理论花了很长时间才被接受,目前科学界已经掌握了质子梯度在原子级别上的精确运作机制。
在社会系统中,如何找到财富和权力在个体之间的最佳分配方式,以创造一个更高效、更有活力的社会?社会科学家发明了“基尼系数”,作为监测收入分配公平程度的指标。基尼系数因子并不能说明不同社会阶层的健康水平。我相信「梯度」 可能是一个强大的工具,可以评估不同社会阶层的反脆弱性。这种方式也同样适用于社交网络和其他生态系统。在大自然中,不同的梯度表现出非常不一样的生态。我们可以对比自然界常见的三种水系:瀑布、河流和火山湖。这三种水系的梯度是从高到低的。
很容易发现河流(舒缓的梯度下降)的生态比瀑布(巨大的梯度下降)和火山湖(零梯度,不考虑深度)的生态好很多。大自然告诉我们一个经过亿万年进化后的优化方案,大部分人忽视了这个自然现象的重要性。
一直以来,社交网络在努力避免两种现象:
1)超级节点主导和支配网络,UGC(用户生成的内容)崩溃;
2)网络过于扁平(没有任何大的节点)时,噪音过载;
在这两种情况下,梯度都不能很好地工作。如何构建平滑的梯度对于一个反脆弱系统来说至关重要。
在当前的 Web3热潮中,许多创始人和投资者声称与 Web3将建立一个完全自治的分布式系统。我可能对此存有偏见。总体来说,我认为完全没有梯度的分布式系统是违反物理定律,因此它会低效和不稳定。正如 Signal 的创始人 Moxie Marlinspike 在他的《我对Web3的印象》一文中提到的,Web3 生态系统已经被几个超级节点所主导。很可能出现的是,革命者使用新概念和新工具,却创造了一个有着更糟糕梯度的新世界。这种革命范式在历史上各种乌托邦实验中都以失败告终,现在让我们拭目以待,看看Web3会以何种方式向前发展进化。
互动送礼
欢迎在评论区分享你的心得、观点和看法,我们会选取1位精选留言,送出五源纪念T恤一件。(留言截止到9月13日,请在收到信息的24h内回复收件信息。)
五源寻找、支持、激励孤独的创业者,为其提供从精神到所有经营运作的支持。我们相信,如果别人眼中疯狂的你,开始被相信,世界将会别开生面。
BEIJING·SHANGHAI·SHENZHEN·HONGKONG
WWW.5YCAP.COM
微信扫码关注该文公众号作者