文章封面示意:搜索框、结果列表与右侧的判断清单
阅读口径

本文讲分词的一般原理,不涉及任何具体站点的实现细节。

中文怎么被切开

检索系统处理中文时,第一步是分词。常见做法有三种:按词典做最长匹配、按单字切分、按统计模型找最可能的词边界。不同做法对同一串字给出不同切法,命中范围也随之不同。同一个词,在甲站被切成两个词,在乙站被当成一个整体,结果自然对不上。这套机制在后台运行,界面上没有任何提示,所以用户只能看到结果差异,看不到原因。词典匹配依赖词表,新词与专名常常切不出来;单字切分召回高但噪声大;统计模型居中,却最不可预测。

中英混排的边界

中英混排会多出一个边界问题:拉丁字母通常被当作一个整体,汉字则按词典切。于是连写的站名加后缀可能被切成两段,也可能整体保留,还可能把字母和前面的汉字粘在一起。切点不同,能命中的页面就不同,这也是同一串字在两个站结果差异明显的原因之一。字母越多,边界越不确定,三个字母刚好落在可切可不切的位置上。还有一种情况是字母被拆成单个字符,这时搜完整的三个字母反而命中更多,因为每个字符都成了条件。

切法改变的是什么

切法改变的是必须同时出现的条件数量。切得越碎,条件越多,命中越少;整体保留,条件只有一个,但要求字符串完全一致。理解这一点,就能解释为什么加一个空格有时结果变多、有时变少:它改变的不是词义,而是切点。同样,去掉后缀之所以常常有效,不是后缀有特殊含义,而是去掉之后切点变简单了。所以调词形的本质是调条件数量:想放宽就拆,想收紧就并,但并起来可能变成索引里不存在的整体。这也是为什么同一句话在不同站点表现不同:不是内容不同,而是切法不同,条件数量就不同。

可执行检查单

  1. 01先搜最短的核心词,记下条数作为基准。
  2. 02再加一个空格,比较条数是增是减。
  3. 03最后去掉后缀,看是否出现新的结果类型。

一个常见问题

问:加空格一定更好吗?

不一定。空格可能帮助切分,也可能被直接忽略,还可能被当成必须匹配的分隔。只有对照才能确定,别人的经验不能直接搬过来。

不透明,但可以实验

分词是站内搜索里最不透明的部分,因为大多数站点不公开切词规则。能做的只有实验:同一串字,三种写法,三次记录。实验做多了,你会对这个站的切法形成直觉,而直觉比任何规则表都更贴近实际。更重要的是,这套实验方法可以迁移到任何站点,因为不透明是普遍现象,公开规则才是例外。记录时最好写清三种写法各自的条数,隔一段时间回看,你会发现切法其实相当稳定。