zz baidu分词算法分析之一 by 张俊林# EmergingNetworking - 热门网络技术
d*l
1 楼
查询处理以及分词技术
随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作
为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为普通网民
，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把
有代表性的搜索引擎作为研究对象. 搜索引擎经济的崛起，又一次向人们证明了网络所
蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘
的金矿。
但是,如何设计一个高效的搜索引擎?我们可以以百度所采取的技术手段来探讨如何设计
一个实用的搜索引擎.搜索引擎涉及到许多技术点,比如查询处理,排序算法,页面抓取算
法,CACHE机制,ANTI-SPAM等等.这些技术细节,作为商业公司的搜索引擎服务提供商比如
百度,GOOGLE等是不会公之于众的.我们可以将现有的搜索引擎看作一个黑盒,通过向黑
盒提交输入,判断黑盒返回的输出大致判断黑盒里面不为人知的技术细节.
查询处理与分词是一个中文搜索引擎必不可少的工作,而百度作为一个典型的中文搜索
引擎一直强调其”中文处理”方面具有其它搜索引擎所不具有的关键技术和优势.那么
我们就来
随着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作
为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为普通网民
，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把
有代表性的搜索引擎作为研究对象. 搜索引擎经济的崛起，又一次向人们证明了网络所
蕴藏的巨大商机。网络离开了搜索将只剩下空洞杂乱的数据，以及大量等待去费力挖掘
的金矿。
但是,如何设计一个高效的搜索引擎?我们可以以百度所采取的技术手段来探讨如何设计
一个实用的搜索引擎.搜索引擎涉及到许多技术点,比如查询处理,排序算法,页面抓取算
法,CACHE机制,ANTI-SPAM等等.这些技术细节,作为商业公司的搜索引擎服务提供商比如
百度,GOOGLE等是不会公之于众的.我们可以将现有的搜索引擎看作一个黑盒,通过向黑
盒提交输入,判断黑盒返回的输出大致判断黑盒里面不为人知的技术细节.
查询处理与分词是一个中文搜索引擎必不可少的工作,而百度作为一个典型的中文搜索
引擎一直强调其”中文处理”方面具有其它搜索引擎所不具有的关键技术和优势.那么
我们就来