1997年IBM的深蓝用AI专家系统，击败了国际象棋大师Kasparov，在学界和大众媒体里引起了轰动。我当时一半基于对
十具
楼主 (文学城)
我当时一半基于对decision tree方法论的局限性的认知，一半出于民族自尊心，不无自负地对学生们说，我们这辈子还看不到AI赢围棋的。我7岁学会了围棋的规则，喜欢玩，就为了攻击的刺激，自然是臭棋了一辈子。唯一学到了的是，组合爆炸的厉害，如真想动脑子去下的话。
自不用说，20年后的阿尔法狗推翻了我的预言。我开始对深度学习的超大模型服气。但我还是大大低估了大语言模型的威力和它研发的惊人速度。原因是我认为自然语言处理要比下围棋又要复杂太多了，至少就决策优化目标而言。
自然语言的语义，常常要相邻好几个句子，几十个单词，才能决定。这里对应的组合数比宇宙里的原子数都多。GPT的大语言模型（LLM）的成功揭示了，人类语言除了句法和词法，应该还有语义方面的内在规则。这个规则还没被人发掘出来，却被GPT抢先发现和利用了。这个潜在语义规则应该是基于统计的，它让LLM用的高阶上下文空间极其稀疏，因而使得高阶统计推断在计算层面上成为可能。
在汉语口语中，“眼睛进了沙子“和”沙子进了眼睛“是同一个意思。对rule-based 传统AI，汉语语法的不严谨是一个头疼的问题，但对LLM统计推断模型不算困难。通过对大数据的观察，GPT很容易学会汉语语法松弛的习俗，因为an eye dropping into the sand is an extremely improbable event。同理，GPT会轻松地filter out ”吃食堂“这种nonsense，得到正确的语义。