NLP入门干货：手把手教你3种中文规则分词方法

class MM(object):
    def __init__(self):
        self.window_size = 3

    def cut(self,text):
        result=[]
        index=0
        text_length = len(text)
        dic = ['研究','研究生','生命','起源']
        while text_length > index:
            for size in range(self.window_size+index,index,-1):#4，0，-1
                piece = text[index:size]
                if piece in dic:
                    index = size-1
                    break
            index = index + 1
            result.append(piece)
        return result

text = '研究生命的起源'
tokenizer = MM()
print(tokenizer.cut(text))

['研究生', '命', '的', '起源']

class RMM(object):
    def __init__(self):
        self.window_size = 3

    def cut(self, text):
        result = []
        index = len(text)
        dic = ['研究', '研究生', '生命', '命', '的', '起源']
        while index > 0:
            for size in range(index-self.window_size ,index):
                piece = text[size:index]
                if piece in dic:
                    index = size + 1
                    break
            index = index - 1
            result.append(piece)
        result.reverse()
        return result

text = '研究生命的起源'
tokenizer = RMM()
print(tokenizer.cut(text))

['研究', '生命', '的', '起源']

#统计单字成词的个数
def count_singlechar(word_list):
    return sum(1 for word in word_list if len(word) == 1)

def bidirectional_segment(text):
    mm = MM()
rmm = RMM()
    f = mm.cut(text)
    b = rmm.cut(text)
    if (len(f) < len(b)):
        return f
    elif (len(f) > len(b)):
        return b
    else:
        if (count_singlechar(f) >= count_singlechar(b)):
            return b
        else:
            return f

print(bidirectional_segment('研究生命的起源'))

['研究', '生命', '的', '起源']

关于作者：杜振东，国家标准委人工智能技术专家和AIIA（中国人工智能产业发展联盟）技术专家。拥有8年机器学习与文本挖掘相关技术经验，6年中文自然语言处理相关项目实战经验，擅长PyTorch、TensorFlow等主流深度学习框架，擅长运用NLP前沿技术解决真实项目的难题。

涂铭，数据架构师和人工智能技术专家，曾就职于阿里，现就职于腾讯。对大数据、自然语言处理、图像识别、Python、Java等相关技术有深入的研究，积累了丰富的实践经验。