def tokenize(content):
    # 将文章包含的单词储存到 Python 集合里面。
    words = set()                                                       
    # 遍历文章包含的所有单词。
    for match in WORDS_RE.finditer(content.lower()):                    
        # 剔除所有位于单词前面或后面的单引号。
        word = match.group().strip("'")                                 
        # 保留那些至少有两个字符长的单词。
        if len(word) >= 2:                                              
            words.add(word)                                             
    # 返回一个集合，集合里面包含了所有被保留并且不是停止词的单词。
    return words - STOP_WORDS
dataset/ETHPy150Open huangz1990/riacn-code/ch07_listing_source.py/tokenize/original