From 2ae659768e74967d39e516d193a8cff9b0c37f4f Mon Sep 17 00:00:00 2001 From: wangsheng Date: Wed, 29 Sep 2021 15:29:09 +0800 Subject: [PATCH] =?UTF-8?q?flashtext=5Fcut.py=E6=9B=B4=E6=96=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- 自然语言处理/中文分词/flashtext_cut.py | 17 ++++++++++++----- 1 file changed, 12 insertions(+), 5 deletions(-) diff --git a/自然语言处理/中文分词/flashtext_cut.py b/自然语言处理/中文分词/flashtext_cut.py index 24998bd..520e448 100644 --- a/自然语言处理/中文分词/flashtext_cut.py +++ b/自然语言处理/中文分词/flashtext_cut.py @@ -4,7 +4,7 @@ from flashtext import KeywordProcessor import pandas as pd def loadKeyWord(keyword_processor): - data = pd.read_table('./result.txt', + data = pd.read_table('./word-lib.txt', header=None, # 表示不要导入原文件内的表头 names=['index','keyword'], #自定义列名 sep=',', # 原文件的分隔符是'::'，此处是按此分隔符将数据导入 @@ -17,19 +17,26 @@ keyword_processor = KeywordProcessor(case_sensitive=False) loadKeyWord(keyword_processor) def wordCut(): - with open('../data_and_result/data-艺术-去重.txt', 'r', encoding='utf-8') as lines: + tempStr = '' + with open('./data-艺术.txt', 'r', encoding='utf-8') as lines: for line in lines: - print(line) #定义要去掉的标点字 drop_dict = [u'，', u'\n', u'。', u'、', u'：', u'(', u')', u'[', u']', u'.', u',', u' ', u'\u3000', u'”', u'“', u'？', u'?', u'！', u'‘', u'’', u'…'] for i in drop_dict: #去掉标点字 line = line.replace(i, '') keywords_found = keyword_processor.extract_keywords(line, span_info=False) - print(keywords_found) + if len(keywords_found) >= 4: + tempStr += ' '.join(keywords_found) + '\n' -# wordCut() + fd = open('./word-cut.txt', 'w', encoding='utf-8') + fd.write(tempStr) + fd.close() +wordCut() + +''' keywords_found = keyword_processor.extract_keywords('1862-1942），俄罗斯和苏联著名画家，美术教育家，巡回展览画派画家，1941年斯大林奖章的获得者。1862年5月19日他出生在乌法一个传统的商人家庭，自幼对绘画感兴趣，早年进入莫斯科绘画雕刻建筑学院学习，先后跟著名画家谢洛夫和马科夫斯基学习，创作了不少风俗画，获得了自由画家的称号和古典画家的称号。1888年《爱情魔药》是画家取材俄罗斯民间传说故事的尝试，画作《隐士》被科特列季亚科夫购买。1900年他开始痛苦寻找新的创作题材，这时期完成的《高尔基像》（1901）才真正显示出他的创作才能和油画技巧。1905年的革命促使画家转变了创作方向，选择日常生活中的普通人为主题，1905年的《画家妻子涅斯捷洛娃》，1906年又画了女儿的肖像，同年前往托尔斯泰庄园为作家画像。十月革命后，特别是20世纪20年代末，他的创造力再次焕发，完成了许多当代名人的肖像，最著名是1935年的《伊凡・巴甫洛夫》，这幅画在1941年被前苏联政府授予“斯大林奖”及“劳动红旗”的荣誉。1941年6月苏德战争爆发后，他的健 康状况和经济状况迅速恶化。1942年，他在创作《村庄里的秋天》时中风去世。主要作品有《爱情魔药》、《软禁家中》、《巴甫洛夫肖像》、《画家妻子涅斯捷罗娃肖像》等。', span_info=False) print(keywords_found) +'''