Redian新闻
>
肥尾效应:应用非概率原理解释

肥尾效应:应用非概率原理解释

公众号新闻



作者:姚斌
来源:在苍茫中传灯(ID:chuandeng169)


如果说纳西姆·塔勒布的《肥尾效应》讲述了产生极端事件的统计分布类型,以及在这类分布下如何进行统计推断和做出决策。那么身为统计学家的戴维·汉德在《股票投资的非概率原理》中则集合了大量互为支撑协调的非概率原理,解释了为什么很多不可能的事件必然发生。


小概率事件会发生


在汉德的定义中,“非概率原理”也称“不大可能法则”。而“不大可能”就是“罕见”的意思。这一点与塔勒布的肥尾效应的定义“罕见尾部事件”相似。何谓“不大可能”或“罕见”?比如,有人买彩票多次中大奖,有人多次遭雷击,极端严重的金融崩溃一再发生等等。


非概率原理是汉德对一系列概率法则的统称。这个原理体现在几个层面,其中一些涉及宇宙构建的基本法则;另一些则取决于概率的本质属性;还有一些涉及人类心理学层面,即大脑不是简单的记忆工具。这些法则包括:必然法则、巨数法则、选择法则、概率杠杆法则和够近法则。在适当的情况下,任何一条法则发挥作用,都有可能导致少见的事件发生。但是,只有当这些法则结合起来共同发挥作用时,非概率原理才会体现出巨大威力,不可思议的罕见事件才会发生。


非概率原理显示了“不可能的事件有时确实会发生”。这一事实意味着,宇宙中存在一些我们不了解的东西。不大可能发生的事件实际上是司空见惯的。在一系列法则的共同作用下,这类事件不可避免地发生了。这些法则告诉我们,宇宙的建构规律决定了这些巧合实际上是不可避免的,也就是说,不大可能事件一定会发生。于是,非概率原理解决了理论上的不可能和现实中的可能之间的明显矛盾。


博雷尔定律说,概率足够小的事件永远不会发生。埃米尔·博雷尔是法国著名数学家,生于1887年。他是概率论的先驱。很显然,非概率原理与博雷尔定律是相互矛盾的。非概率原理认为小概率事件会发生,而博雷尔定律认为小概率事件不会发生。虽然如此,但汉德发现博雷尔定律并不这样简单。博雷尔曾举了一个经典的例子:猴子随意敲击打字机的键盘,碰巧创作出了莎士比亚全集。他写道:“尽管这类事件发生的可能性无法得到合理的论证,但由于其发生的概率极小,以至于任何理智的人都会毫不犹豫的认为它是不可能发生的。”


可以看出,博雷尔是从人类角度考虑“极小概率”的。从人类的角度来看,事件发生的概率极小,以至于认为它发生是不合理的,因此应该把这类事件视为不可能发生的事件。事实上,在阐述了单一机会定理(即概率极小的事件永远不会发生)后,他补充道:“或者,至少在所有情况下,我们的行为方式都表明,这样的事件不可能发生。”尽管小概率事件发生的概率实际上不会为零,但我们对待它们就好像它们发生的概率为零一样,因为在实际的环境中,概率足够小的事件永远不会发生。这就是博雷尔定律的含义。


非概率原理告诉我们,不大可能发生的事件,甚至是博雷尔所描述的那种几乎不可能发生的事件,仍在持续发生着。也就是说,这样的事件不仅有可能发生,而且还会一而再、再而三地发生。当然,这两个法则不可能都是对的:要么这些事件不大可能发生,以至于我们永远看不到它们发生;要么它们很有可能发生,以至于我们一次又一次地看到它们发生。前者如同塔勒布的“前渐进论”:因为大数定律具备渐进收敛的特征,而肥尾的真实世界收敛很慢,所以我们可能终其一生都等不到。后者如同金融崩溃等尾部罕见事件,一次又一次地发生。


在某些类型的系统中,其本质是不稳定的:初始条件的细微差异会迅速被放大,进而对结果产生巨大的影响,导致未来出现巨大的不确定性。初始条件微小的变化能带动整个系统巨大的连锁反应,这种现象被称为蝴蝶效应。我们永远无法确切知道其初始状态,而初始状态的微小差异则会导致后续状态出现巨大的变化。今天的科学界已经达成的共识是,自然界确实受偶然性驱动,不确定性是其核心。


非概率原理之内涵


为什么汉德要研究非概率原理?因为他看到了太多的盲信、预言、神灵、奇迹、通灵和超自然力量。在这其中,也包括了精神分析学家卡尔·荣格的“共时性”、生物学家保罗·卡默尔的“连续性法则”和鲁伯特·谢尔德雷克的“形态共鸣”。这些理论都认为,当巧合出现的频率太高时,我们就无法称之为“巧合”。它们可能是某种神秘力量所导致的,而且往往具有一定的邪恶性。实际上,随机性、机会和概率也促成了不大可能事件的出现,而事实上它们的发生都有其必然性,并不需要借助神秘因素进行解释。也就是说,不需要借助盲信、奇迹、神仙、超自然力量来解释它们,也不需要借助共时性、连续性,形态共鸣或任何其他想象中的“小精灵”来解释它们,只需要运用概率的基本法则即可。


汉德将事件发生的概率定义为“事件可能发生的程度”或“相信事件可能发生的强度”。它们都强调了事件发生的不确定,并传达了这样的意思:大概率事件极有可能发生,小概率事件不大可能发生。然而,汉德也表示,这个定义也极具欺骗性,因为它实际上并没有告诉我们任何事情。


科学家将概率值限定在0和1之间 ( 包括0和1 ) 。0对应不可能发生的事件:任何事件其发生概率都不可能小于其绝不可能发生的概率,因此概率值不可能小于0。同理,1对应必定会发生的事件:任何事件,其发生概率都不可能大于其一定会发生的概率,因此概率值不可能大于1。一定会发生的事件很无趣,我们所能做的就是等待它们发生。绝不可能发生的事件也是如此,我们所能做的就是坦然接受它们不可能发生的事实。具有不确定性的世界才是有趣的:它们有可能发生,也有可能不发生,我们无法确定。可能发生也可能不发生的事件,其发生的概率介于0和1之间。概率值越小,事件发生的可能性就越小;概率值越接近1,事件发生的可能性就越大。但汉德关注的是极不可能发生的事情,也就是概率值非常接近于0,但又不等于0的事件。这种极不可能的事件徘徊在不可能发生和可能发生的边界。


非概率原理以各种概率理论为基础,涉及了概率运算、大数定律和中心极限定理。


① 概率运算。如果一个事件发生的概率不受另一个影响,在这种情况下,事件是相互独立的,我们很容易计算出它们同时发生的概率,只要把它们各自发生的概率相乘即可。而当一个事件发生的概率取决于另一个事件是否发生时,计算就变得复杂了。一个事件在另一个事件已经发生的前提下发生的概率称为该事件的条件概率。条件概率是非概率原理的重要组成部分,因为有些事件在一般情况下不大可能发生,但在特殊的情况下很有可能发生。


② 大数定律。汉德认为大数定律“更先进但仍属基本原理范畴”。大数定律指的是,从给定数集中随机抽取一组数值,其平均值可能会越来越接近于该数据的平均值。比如,一个含6个数字的集合{ 1, 2, 3, 4, 5, 6 },其平均值为(1+2+3+4+5+6)/6=3.5。假设我们从该集合中随机选取数字,选后立即返回,这样我们可以多次选取数字。然后,由大数定律得知,我们选择的数值越多,其平均值就越接近3.5。当我们选出了足够多的数字时,其平均值不太可能与3.5相差太大。


③ 中心极限定理。汉德将中心极限定理视为对非概率原理“提供了支撑的先进思想”。中心极限定理告诉我们,当样本量越来越大时,均值分布将会呈现什么样的形态。根据该定理,随着样本量的增加,均值的分布越来越接近于正态分布,其形状看起来像一口钟。正态分布与许多自然分布很接近,这是因为我们通常获得的测量值是许多部分的和或平均值,但它并不能完美地反应自然。我们不应当期望在自然界中找到完美的正态分布,它是一种数学抽象,是一种理想化的分布。


五个法则奠定基础


为非概率原理奠定了基础的任何一条法则都可能导致小概率事件发生,但只有它们一起发挥作用时,非概率原理才会显示出全部的威力。


①必然法则。最重要的一条法则是必然法则。它是其他法则的基础。它指明了一个简单的事实:一些事件必定会发生。抛硬币时,硬币不是正面朝上,就是反面朝上。当然,也有可能立起来,或者被路过的飞鸟吞下,或者落入地板缝隙中不见了,等等。无论如何,只要列出了所有可能的结果,那么其中的一个结果必定会出现。


这就是必然法则的全部内容:当我们列出所有可能出现的结果时,其中的一个结果必然会出现。然而,虽然我们知道,必然有一个结果会出现,但我们不知道具体会出现哪一个。如果有人构建了1024个股票投资组合,然后预测其涨跌,那么其中总有一些股票在上涨,而最终必定有一种组合会出现。但是,其概率仅有1/1024。


②巨数法则。博雷尔定律告诉我们,概率足够小的事件永远不会发生,然而它们却实实在在地发生了。这需要我们做出一些解释,而解释的依据就是巨数法则。巨数法则指的是,只要机会足够多,任何离奇的事件都有可能发生。在世界各地的赌场里,工作人员日复一日,年复一年地转动轮盘,自轮盘赌诞生以来,连续26次转出黑色数字的次数有很多,其概率肯定远大于1/1.37亿。因此,我们可以预计,在某个时候、某个地方,概率为1/1.37亿的事件肯定会发生。


19世纪,奥古斯都·德·摩根曾写道:“尝试的次数足够多的话,任何事情都有可能发生。”即使单个事件发生的概率极小,只要基数足够大,该事件发生的概率也可能非常大。但也有一些特殊情况,即使机会不够多,巨数法则也会发挥作用。不仅如此,有时我们还会被愚弄。有些时候,机会实际上很多,但看起来很少,这会导致我们严重低估事件发生的概率。我们认为某些事情不太可能发生,但实际上并非如此,它们几乎肯定会发生。


③选择法则。选择法则是指,若在事后进行选择,就可以随心所欲地提高想要的结果出现的概率。也就是说,事后选择数据可以改变概率的大小。比如,我们能买到“完好”的核桃仁,其实都是经过制造商进行分拣选择的结果,从而使敲碎核桃壳后得到完整核桃仁的概率变成了1。和非概率原理的其他方面一样,选择法则也以各种意想不到的方式影响着我们。一个意义更重大的例子是选择法则推动了生物进化的自然选择过程,即适者生存。


弗朗西斯·高尔顿是现代科学的奠基人之一。他在研究父母身高对子女影响时发现,似乎存在某种生物机制将一代代人的身高拉回至平均水平。高尔顿的不凡之处就在于,他认识到将事物拉回平均水平的这股力量纯粹是一种统计选择,是选择法则发挥作用的一种表现。这就是均值回归效应。选择法则的均值回归效应会体现在各种意想不到的领域。当分数、结果或反应含有随机成分时,这种效应就会显现出来。比如一个人在考试、工作、运动或其他方面的表现在一定程度上取决于他的能力、准备情况和其他因素,但也受到偶然性因素的影响。均值回归效应表明,看到成绩时要三思:极高的分数可能主要是偶然性因素导致的。反过来说也合理,如果说极好的表现是有利的偶然性因素导致的,那么极差的表现就是不利的偶然性因素导致的。任何一种排名都是这样的:如果高排名主要靠机会获得,那么下次的排名可能就会下滑。


④概率杠杆法则。1987年10月19日,标普500指数期货合约暴跌,出现这么大跌幅的概率是1/10¹⁶º,即1的后面有160个0。也就是说,即使股市持续运转了200亿年,达到宇宙寿命的上限,或者宇宙连续爆炸了20次,每次爆炸后股市都能持续运行200亿年,也不会发生这样的崩盘。博雷尔定律已经提示我们,概率足够小的事件永远不会发生,然而它却实实在在地发生了。答案根植于非概率原理的另一个组成部分——概率杠杆法则。概率杠杆法则告诉我们,环境的微小变化可能对概率产生巨大影响,比如使微小的概率转变为极大的概率。股市的波动幅度虽然近似地呈正态分布,但并非分毫不差。在概率杠杆法则的作用下,极微小的偏离会被放大,最终对结果产生巨大的影响。


大约10年后,即1998年,美国对冲基金长期资本管理公司倒闭了。罗杰·洛文斯坦这样评论该事件发生的概率:“该公司持续遭受厄运——比如说在一个月内损失了40%的资本,概率低得令人难以置信……事实上,数据表明,只有发生所谓的10西格玛( sigma )事件……该公司才会在一年内损失所有资本。”10西格玛事件(发生的概率是1/1.3ⅹ10²³)是以正态分布的标准差为基础表述不大可能出现的结果的方式。正态分布的离散度或标准差通常用希腊字母西格玛表示。10西格玛事件指的是发生概率者少比平均值大10个标准差的事件。10西格玛事件发生的概率要比5西格玛事件(发生的概率是1/350万)发生的概率小得多。如果假设是错误的,股价变化呈非正态分布,那么这类崩盘事件的发生可能就是意料之中的。这就是概率杠杆法则的本质:模型的微小变化或者我们认知的细微差异,都可能导致概率出现巨大的差异。


⑤够近法则。够近法则是非概率原理的一个组成部分,其意是指,足够相似的事件可以被视为完全相同。根据这一法则,相似的事物可被视为匹配,这可以增加潜在巧合的数量。数字命理学是够近法则大显神通的领域。数理命理学的一大表现是运用不同的公式可得出相同的数字,这样的巧合导致人们认为事件发生一定另有原因。在巨数法则的作用下,这样的数字巧合出现几乎是不可避免的:只要搜寻的时间足够长,即使是随机产生的数字序列,其中也会包含我们想要找到的任何子序列。


至于匹配,匹配源于实物的属性,其中的一个范例来自金字塔学领域。苏格兰皇家天文学家查尔斯·斯迈思在《大金字塔揭秘》一书中描述了吉萨大金字塔各方面的数据与天文测量值之间的关系。他声称,若以英寸为单位衡量的话,吉萨金字塔的周长等于1000年的总天数。做足够多的测量,把得到的测量值与足够多的天文数据进行比较,就能找到巨数法则,再加上够近法则,一些巧合就必然出现了。


肥尾效应的一个另解


汉德指出,科学是以概率为基础的。我们提出理论、猜想、假设和解释;我们收集证据和数据,检验理论。当数据与理论相矛盾时,我们就改变了理论。这样,科学就进步了,我们对世界也有了更深入的了解。但是,总是有可能出现与现有理论相矛盾的新证据。科学的本质就在于其结论是可以改变的,也就是说,真理不是绝对的。随着新事实的积累,非概率原理的各个组成部分也可能发挥作用,帮助我们确定何时改变思想,判定旧理论无法解释新事实。


在汉德看来,宇宙演化就是非概率原理在运作,其中的两个法则发挥了作用,即巨数法则和选择法则。其逐步登顶的策略主要由三部分组成:每一步的方向都是随机选择:需要迈很多步;只能往增高的方向迈步,即使增高的幅度很小,下一步的起点也会更高。这些都体现了巨数法则和选择法则。正是这个策略推动了生物的进化,导致了生命和人类的形成。


查尔斯·达尔文曾经总结了基本的进化过程:“当对生物有利的变异发生时,毫无疑问,具有这种特征的个体将更容易在生存斗争中取胜;在强大的遗传原理作用下,它们往往会繁殖出具有类似特征的后代。为了简洁起见,我把每一个有利的微小变异被保存下来的原理称为自然选择。”这是非常简洁、优雅和强大的理论,是巨数法则和选择法则共同作用的结果。


博雷尔定律认为,我们预期那些概率极小的事件不太可能会发生,但我们在现实中看到了无数的此类事件,原因就在于非概率原理。这类事件的发生是因为我们没有考虑到这类事件必然会发生 ( 必然法则 ) ,或者我们探索了很多可能性 ( 巨数法则 ) ,或者我们事后选择了想要的结果 ( 选择法则 ) ,或者非概率原理的其他部分发挥的作用。非概率原理告诉我们,我们认为事件不太可能发生,是因为我们的判断出错了。如果我们能确认是哪里出了错,我们就会明白,不大可能事件有可能发生。


非概率原理是由一组相互关联、相互增强、共同发挥作用的部分组成的,就像一根绳子,把事件和结果串联了起来。它的主要组成部分包括必然法则、巨数法则、选择法则、概率杠杆法则和够近法则,其中任何一个部分都足以导致不太可能发生的事情发生,但只有它们共同发挥作用时,它们的巨大威力才会充分显现出来。我认为非概率原理从一个不同的角度解释了肥尾效应,与纳西姆·塔勒布对肥尾效应的阐述相得益彰。当年塔勒布就是因为许多人对概率的错误认知,产生了《肥尾效应》那本书,而汉德则从非概率原理的角度另辟蹊径进行解释。


版权声明:部分文章推送时未能与原作者取得联系。若涉及版权问题,敬请原作者联系我们。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
招银理财“不赚不收费”连锁效应:公募固定管理费模式困局待解拾象实践:为了理解AI-Native,我们做了几款AI应用亚马逊雨林三首在分子尺度上理解电化学界面一氧化碳偶联反应的阳离子效应 | NSR注意!房东收这些费用非法:省议员帮助多伦多租客反抗成功!从根上理解Maven拉包原理,搞定Maven全功能注意!洛杉矶中领馆发提示:别用非正常途径补办护照!仅仅五天,悉尼夫妇一生的积蓄被骗光!愤而起诉银行:应该负责傅盛:应用生态决定大模型公司的商业价值破局之作:首部开源 AIGC 软件工程应用电子书《构筑大语言模型应用:应用开发与架构设计》一文盘点视觉大模型高效应用方法人类顶级理解!韦一敏效应永流传张文宏:“二阳”症状更轻,病毒感染还有很长的拖尾效应;贵州茅台拟参与设立茅台招华等基金丨早报你不理解K-pop女团这事儿我特别理解别的简报|英格兰教会:应尊重单身人士,因为耶稣也单身从内核角度理解K8s CPU限流的原理终于找全了:蝴蝶效应、青蛙现象、鳄鱼法则、鲇鱼效应、羊群效应、刺猬法则、手表定律、破窗理论、二八定律、木桶理论,你知道吗?3D渲染——光栅化渲染原理解析马克谈天下(373) 怀念坂本龙一和他的那些不朽乐曲「阿卡波糖」降血糖:应用警惕这三点!04月10日:应对未来的底层能力,人人都应具备我们是大唐盛世 第十七章 董方明珠之死2天可汗(7)钱权名的不能全占原理,女皇骑唐的蝴蝶效应源头(万字长篇)龚俊四月行程理解建筑,就是理解生活|筑格精选文末送书 | OpenAI CEO强推!国内首部顶级AI学者ChatGPT原理解释之作不用非得"刷盘子,美甲,送外卖……"来美讨生活有了新选项,"快速通道"获公民。下周补博客视觉大模型高效应用方法盘点(内附论文代码)理解了vivo,就理解了什么叫长期主义新功能上线!ChatGPT上线应用“代码解释器”MySQL主从复制原理剖析与应用实践认知陷阱的3大心理学效应:阻止你成长的,从来不是别人中领馆提示:勿用非正常途径补办护照惊人的3大强者法则:鲨鱼效应,共生效应,21天效应
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。