打开主菜单

中文自动分词

把中文文本进行词语切分的技术

中文自动分词指的是使用计算机自动对中文文本进行词语的切分,即像英文那样使得中文句子中的词之间有空格以标识。中文自动分词被认为是中文自然语言处理中的一个最基本的环节。

现有方法编辑

  • 基于词典的匹配
    • 前向最大匹配
    • 后向最大匹配
  • 基于字的标注
    • 最大熵模型
    • 条件随机场模型
    • 感知器模型
  • 其它方法
    • 与词性标注结合
    • 与句法分析结合

外部連結编辑