70年前他本想逃避考试，却影响了整个互联网
杨净 尚恩 发自 凹非寺
量子位 | 公众号 QbitAI
谁曾想，一次学生不想参加考试的“任性”，后来竟影响了整个互联网。
70年前MIT的一堂信息论课上，一位老师为了给学生“减压”，摆出一道选择题。
要么参加期末考试，要么写篇论文改进现有算法，自己挑。
这位老师名叫罗伯特·范诺，他没告诉学生们的是，这个“现有算法”，正是他和信息论创始人香农合著的香农-范诺编码。而为了改进算法不足，他本人已经投入大量时间进行研究。
（老师内心OS：没想到吧。）
虽然有点损，但这招还真管用。这票学生一听“交篇论文”就不用考试，拍脑袋就决定写论文，包括大卫•哈夫曼。
不选不知道，一选吓一跳。初出茅庐的哈夫曼很快意识到了老师挖的坑——这论文也太**难搞了。
这一写，就是好几个月，并且苦苦挣扎中，哈夫曼仍然一无所获。
但命运，有时候就是十分奇妙。就在哈夫曼终于放弃“逃考”，准备将论文笔记扔到垃圾桶中时，突然灵光一现！答案出现了！
哈夫曼放弃对已有编码的研究，转向新的探索，最终发现了基于有序频率二叉树编码的方法。
他提出的这一想法，效率成功超越他老师的方法论。甚至在之后的发展中，以他命名的编码方法——哈夫曼编码，直接改变了数据压缩范式。
至于当时那篇结题报告，已引用近万次。
低效的传统编码方法
1951年，正在MIT任教的罗伯特·范诺正在思考一道信息论的难题：
如何用二进制代码高效表示数字、字母或者其他符号？
当时最常见、也是最直接的方法，就是为每个字符分配一个独一无二的二进制数。
比如，字母A可能表示为01000001，！表示为 00100001，每个八位数的数字都对应一个字符。
这样一来代码容易解析，但效率极低。
另外还有种优化方法，类似于摩尔斯电码。常用字母E仅由一个点表示，但不常见的Q需要更长且更费力的“—— —— · ——”。
这种方式，会导致代码长度不一， 信息不容易被理解；而且传输中还需要在字符间加入间隙，否则就无法区分不同的字符组合。
范诺意识到，或许这两种方法的优势可以兼并之——以不同长度的二进制代码表示字符。进一步地，为避免代码“重叠”，他还构建了二叉树。
他详尽地测试了每一种排列的可能性以获得最大效率，最终得到了一种有效情况：
每条消息按照频率分为两个分支，并尽可能让两边字母使用频率基本相同。
这样，常用的字符就会在更短、密度更低的分支上。
1948年，信息论之父香农在介绍信息理论的文章“通信数学理论”中提出了这一方法；不久之后，范诺也独立地以技术报告形式将其发布。故而这套方法被称作是香农-范诺编码。
但这个方法并非总是有效。像字母出现概率分别为{0.35，0.17，0.17，0.16，0.15}这种情况时，就不能给出理想编码。
范诺认为一定存在更好压缩策略。于是乎，这样的重任就交到了他的学生手里。
一次灵光乍现，一篇世纪论文
如果说，范诺教授他们的方法是从上到下构建字符树，并在成对的树枝之间尽可能保持对称。
那么哈夫曼的方法，是直接颠覆了这一过程——自下而上构建二叉树。
他认为，无论发生什么情况，在一段有效的代码中，两个最不常见的字符应该有两个最长的代码。
因此首先就确定两个最不常见的字符，将它们组合在一起作为一个分支对，然后再重复该过程，再从剩余字符中与刚刚构建的字符对中寻找最不常见的字符（对）。
以schoolroom为例，其中O出现了四次，S、C、H、L、R、M各出现一次。
范诺的方法，就是首先将O与另一个字母分配给左侧分支，这样一来两边都是5次总使用量，生成的编码总共27位。
相比之下，哈夫曼的方法，比如就从不常见的r和m开始，将其组合成一个字母对。
组合完之后，现有字符（对）包括：O（4次）、RM（2次）以及单个字母S、C、H和L。
按照出现频率划分，重复上一操作——将两个不常见的选项分组，然后更新数树和频率图。
最终，“schoolroom”变成了 11101111110000110110000101，比Fano 自上而下的方法少了1位。
虽然1位在这里并不多，但要是当扩展到数十亿字节时候，这就是一次不小的节省。
事实上，哈夫曼的方法已经被证明非常强大，据谷歌学术统计，当年论文已经被引用9570次。
至于他老师的办法，却几乎没有再被使用过。
直至今天，几乎所有无损压缩方法都全部或部分使用了哈夫曼的方法，可以压缩图像、音频、表格等。它支持从PNG图像标准到无处不在的软件PKZip 的一切。
现代计算机科学先驱、图灵奖得主高德纳曾这样形容哈夫曼的成就：
在计算机科学和数据通信领域，哈夫曼编码是人们一直在使用的基本思想。
后来哈夫曼再回忆起那个「灵光乍现」时刻，当时他正准备将论文笔记扔进垃圾桶，结果突然思想汇聚，答案在脑海里出现了：
那是我生命中最奇特的时刻。
突然恍然大悟，犹如闪电一般。
并表示，如果他知道自己的教授范诺(Fano)曾与这个问题作过斗争，他可能永远都不会尝试解决这个问题，更不用说在25岁的时候就大胆去尝试。
成就与秩序感，用数学玩艺术
哈夫曼编码改变了数据压缩范式，也为其赢得了众多荣誉与奖章。
比如，1998年哈夫曼获得 IEEE 信息理论学会颁发的技术创新金禧奖、1999年获得电气和电子工程师协会 (IEEE) 颁发的理查德·汉明奖章（Richard Hamming Medal）。
不过即便如此，在他一生历程中，相比发明无损压缩方法这件事儿，最让他引以为傲的反而是这篇博士论文。
题目：The Synthesis of Sequential Switching Circuits。
哈夫曼在MIT读博期间，发布这篇讨论时序开关电路的重要论文。在当时，哈夫曼几乎是首个阐述如何设计异步顺序开关电路的学者，而这一理论后来也为计算机发展提供了重要逻辑支撑。
这篇论文的发布，不仅帮助他获得富兰克林研究所的Louis E. Levy Medal，也顺理成章让他获得留校任职资格，教授关于开关电路的课程。
在校期间，哈夫曼还提出一种革新的数学公式，可以在不丢失任何信息的情况下将一个二进制数序列转换成另一个二进制数序列，这项研究在当时密码学中发挥了重要作用，也为其谋得了一份重要职位。
时任贝尔实验室研究副总裁的William O. Baker将其招纳入了一个审查委员会，主要负责为国家安全局审查未来科技计划。Baker博士曾担任过艾森豪威尔、肯尼迪、约翰逊、尼克松和里根五位总统的科学顾问。
1967年已是正教授的霍夫曼选择离开MIT，加入加利福尼亚大学圣克鲁兹分校(UCSC)，期间主导创立了计算机科学系，并参与学术课程开发工作，为之后计算机科学系发展奠定重要基础。
数学可以说是哈夫曼毕生追求之一，以至于后来在搞艺术时，也离不开数学。
70年代开始，哈夫曼对折纸产生浓厚兴趣，同时研究数学和折纸艺术，制作了上百件曲痕折纸作品，还专门发表论文分析曲痕折纸的数学性质，成为折纸数学领域的先驱人物。
回过头看，哈夫曼的一生赢得过无数荣誉与表彰，却从未为自己任何一项发明申请过专利。
最后，借用哈夫曼自己的一段话。
作为一名科学家和老师，我真的非常执着。如果我觉得自己还没有找到问题的最简单解决方法，我会非常不满意，这种不满会一直持续，直到我找到最佳方法为止。对我来说，这就是科学家的本质。
参考链接：
[1]https://www.quantamagazine.org/how-lossless-data-compression-works-20230531
[2]https://www.huffmancoding.com/my-uncle/scientific-american
[3]https://www.nytimes.com/1999/10/13/us/d-a-huffman-computer-expert-dies-at-74.html
— 完 —
大咖云集，锚定新技术，稀土开发者大会主会场亮点抢先看！
2023 年，数字技术快速发展，带给人们新的掘金方向。以“不变”应“万变”，把握技术趋势，需要所有开发者始终站在一起同频共振，以期在新的范式转换和新技术浪潮中摘得先机。
本届大会主论坛演讲嘉宾分别是：火山引擎副总裁&字节跳动开源治理运营负责人张鑫、英特尔软件与先进技术事业部研发总监杨继国、Google Cloud 首席架构师于有志、LVS 创始人章文嵩、火山引擎边缘云资深架构师徐广治、北京大学王选计算机研究所教授、CCF 自然语言处理专委会秘书长万小军，他们将聚焦生成式 AI、云原生、边缘云、ChatGPT等热门话题，深入分析新技术给未来产业带来的挑战和机遇。主会场还将为「掘金引力榜」的获奖项目和个人进行颁奖。点击扫码进入官网，点击「立即报名」，还有少量名额可线下免费参与主论坛！
点这里👇关注我，记得标星哦～
微信扫码关注该文公众号作者