You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.

test_textrank.py 11 kB

6 years ago
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127
  1. # -*- encoding:utf-8 -*-
  2. """
  3. * Copyright (C) 2017 OwnThink.
  4. *
  5. * Name : test_textrank.py
  6. * Author : zengbin93 <zeng_bin8888@163.com>
  7. * Version : 0.01
  8. * Description : TextRank算法 Unittest
  9. """
  10. import unittest
  11. import re
  12. from jiagu import utils
  13. import jiagu
  14. class TestTextRank(unittest.TestCase):
  15. def setUp(self):
  16. pass
  17. def tearDown(self):
  18. pass
  19. def test_default_stopwords(self):
  20. file = utils.default_stopwords_file()
  21. stopwords = [x.strip() for x in open(file, 'r', encoding='utf-8')]
  22. self.assertTrue(len(stopwords) > 0)
  23. def test_keywords(self):
  24. text = '''
  25. 该研究主持者之一、波士顿大学地球与环境科学系博士陈池(音)表示,
  26. “尽管中国和印度国土面积仅占全球陆地的9%,但两国为这一绿化过程
  27. 贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的
  28. 问题,这个发现令人吃惊。”
  29. NASA埃姆斯研究中心的科学家拉玛·内曼尼(Rama Nemani)说,“这一
  30. 长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为,
  31. 植被增加是由于更多二氧化碳排放,导致气候更加温暖、潮湿,适宜生长。”
  32. “MODIS的数据让我们能在非常小的尺度上理解这一现象,我们发现人类活动
  33. 也作出了贡献。”
  34. NASA文章介绍,在中国为全球绿化进程做出的贡献中,有42%来源于植树造林
  35. 工程,对于减少土壤侵蚀、空气污染与气候变化发挥了作用。
  36. 据观察者网过往报道,2017年我国全国共完成造林736.2万公顷、森林抚育
  37. 830.2万公顷。其中,天然林资源保护工程完成造林26万公顷,退耕还林工程
  38. 完成造林91.2万公顷。京津风沙源治理工程完成造林18.5万公顷。三北及长江
  39. 流域等重点防护林体系工程完成造林99.1万公顷。完成国家储备林建设任务68万公顷。
  40. '''
  41. keywords = jiagu.keywords(text, 5) # 关键词
  42. self.assertTrue(len(keywords) == 5)
  43. def test_summarize(self):
  44. text = ''''江西省上饶市信州区人民法院 刑事判决书 (2016)赣1102刑初274号 公诉机关
  45. 上饶市信州区人民检察院。 被告人曾榴仙,女,1954年11月22日出生于江西省上饶市信州区,
  46. 汉族,文盲,无业,家住上饶市信州区,因涉嫌过失致人死亡罪,2016年4月27日被上饶市公
  47. 安局信州区分局刑事拘留,2016年6月1日被执行逮捕。 辩护人毛巧云,江西盛义律师事务所
  48. 律师。 上饶市信州区人民检察院以饶信检公诉刑诉[2016]260号起诉书指控被告人曾榴仙犯
  49. 过失致人死亡罪,于2016年8月22日向本院提起公诉。本院依法组成合议庭,公开开庭审理了
  50. 本案。上饶市信州区人民检察院指派检察员苏雪莉出庭支持公诉,被告人曾榴仙及辩护人毛巧云,
  51. 到庭参加诉讼。现已审理终结。 公诉机关指控: 被告人曾榴仙与被害人祝某两家系位于信州区
  52. 沙溪镇向阳村柘阳的多年邻居,被害人祝某有多年心脏病史,被告人曾榴仙对此事明知。
  53. 2016年4月27日7时许,被告人曾榴仙的丈夫徐某1在修理两家相邻路埂时因权属问题遭到对方阻拦,
  54. 被告人曾榴仙和其丈夫徐某1分别与被害人祝某及其丈夫徐某2发生争吵、拉扯,被告人曾榴仙与
  55. 被害人祝某拉扯至祝某家的厕所边,后被害人祝某心脏病发作倒地,在送往医院途中死亡。
  56. 经江西上饶司法鉴定中心鉴定,被害人祝某额部及全身多处皮肤因外力作用致软组织挫擦伤,
  57. 生前患有心肌肥大,心瓣膜病等器质性疾病导致心源性猝死是主因,本次与他人发生争吵、
  58. 拉扯系导致心源性猝死的诱因。 2016年4月27日,被告人曾榴仙得知祝某死亡的消息后,
  59. 在其丈夫徐某1的陪同下到沙溪派出所投案自首。 被告人曾榴仙对起诉书指控的犯罪事实不持异议。
  60. 辩护人毛巧云提出辩护意见,其对起诉书指控的犯罪事实不持异议,但认为本案系意外事件。
  61. 理由如下:1、被告人曾榴仙是否知道祝某有心脏病;2、被告人曾榴仙即便是知道祝某有心脏病,
  62. 这一明知并不能等同于对死亡结果有预见。同时认为被告人曾榴仙具有如下量刑情节:
  63. 1、自首;2、当庭认罪;3、一贯表现良好;4、有悔罪表现。 经审理查明:
  64. 被告人曾榴仙与被害人祝某两家系位于信州区沙溪镇向阳村柘阳的多年邻居,被害人祝某有多年
  65. 心脏病史,被告人曾榴仙对此事明知。2016年4月27日7时许,被告人曾榴仙的丈夫徐某1在修理
  66. 两家相邻路埂时因权属问题遭到对方阻拦,被告人曾榴仙和其丈夫徐某1分别与被害人祝某及其
  67. 丈夫徐某2发生争吵、拉扯,被告人曾榴仙与被害人祝某拉扯至祝某家的厕所边,后被害人
  68. 祝某心脏病发作倒地,在送往医院途中死亡。经江西上饶司法鉴定中心鉴定,被害人祝某额
  69. 部及全身多处皮肤因外力作用致软组织挫擦伤,生前患有心肌肥大,心瓣膜病等器质性疾病
  70. 导致心源性猝死是主因,本次与他人发生争吵、拉扯系导致心源性猝死的诱因。
  71. 2016年4月27日,被告人曾榴仙得知祝某死亡的消息后,在其丈夫徐某1的陪同下
  72. 到沙溪派出所投案自首。 本案在审理过程中,被告人曾榴仙家属赔偿了被害人祝某家属的损失,
  73. 并取得了谅解。 上述事实,被告人曾榴仙在开庭审理过程中亦无异议,且有被告人曾榴仙的
  74. 常住人口信息,归案情况说明,证人徐某1、冯某、徐某3、徐某2、黄某、郑某的证言,
  75. 被告曾榴仙的供述及辨认笔录,鉴定意见,现场勘查笔录等证据证实,足以认定。 本院认为,
  76. 被告人曾榴仙明知被害人祝某有心脏病,应当预见其行为可能导致祝某病发死亡的后果,
  77. 因轻信能够避免而与被害人祝某发生争吵和拉扯,导致被害人病发死亡。其行为已触犯刑法,
  78. 构成过失致人死亡罪。公诉机关指控的罪名成立,本院予以支持。辩护人毛巧云辩称该案系意外
  79. 事件的意见本院不予支持。案发后,被告人曾榴仙主动到公安机关投案,并如实供述自己的罪行,
  80. 系自首,依法具备可以从轻或减轻处罚情节;被告人曾榴仙家属赔偿了被害人祝某家属的损失,
  81. 并取得了谅解,被告人曾榴仙具备酌情从轻处罚情节。本案系因邻里纠纷矛盾激化引发,被告人
  82. 曾榴仙具备酌情从轻处罚情节。依照《中华人民共和国刑法》第二百三十三条、
  83. 第六十七条第一款、第七十二条第一款、第七十三条第二款、第三款的规定,
  84. 判决如下: 被告人曾榴仙犯过失致人死亡罪,判处有期徒刑一年,缓刑一年。
  85. (缓刑考验期限,从判决确定之日起计算) 如不服本判决,可在接到判决书的第二日起十日内,
  86. 通过本院或者直接向江西省上饶市中级人民法院提出上诉。书面上诉的,
  87. 应当提交上诉状正本一份,副本二份。 审判长程明 人民陪审员钱进 人民陪审员郑艳
  88. 二〇一六年十一月十四日 书记员郭建锋 " value="江西省上饶市信州区人民法院
  89. 刑事判决书 (2016)赣1102刑初274号 公诉机关上饶市信州区人民检察院。
  90. 被告人曾榴仙,女,1954年11月22日出生于江西省上饶市信州区,汉族,文盲,无业,
  91. 家住上饶市信州区,因涉嫌过失致人死亡罪,2016年4月27日被上饶市公安局信州区分局刑事
  92. 拘留,2016年6月1日被执行逮捕。 辩护人毛巧云,江西盛义律师事务所律师。
  93. 上饶市信州区人民检察院以饶信检公诉刑诉[2016]260号起诉书指控被告人
  94. 曾榴仙犯过失致人死亡罪,于2016年8月22日向本院提起公诉。本院依法组成合议庭,
  95. 公开开庭审理了本案。上饶市信州区人民检察院指派检察员苏雪莉出庭支持公诉,
  96. 被告人曾榴仙及辩护人毛巧云,到庭参加诉讼。现已审理终结。 公诉机关指控:
  97. 被告人曾榴仙与被害人祝某两家系位于信州区沙溪镇向阳村柘阳的多年邻居,
  98. 被害人祝某有多年心脏病史,被告人曾榴仙对此事明知。
  99. 2016年4月27日7时许,被告人曾榴仙的丈夫徐某1在修理两家相邻路埂时因权属问题遭到
  100. 对方阻拦,被告人曾榴仙和其丈夫徐某1分别与被害人祝某及其丈夫徐某2发生争吵、拉扯,
  101. 被告人曾榴仙与被害人祝某拉扯至祝某家的厕所边,后被害人祝某心脏病发作倒地,
  102. 在送往医院途中死亡。经江西上饶司法鉴定中心鉴定,被害人祝某额部及全身多处皮肤因外力
  103. 作用致软组织挫擦伤,生前患有心肌肥大,心瓣膜病等器质性疾病导致心源性猝死是主因,
  104. 本次与他人发生争吵、拉扯系导致心源性猝死的诱因。 2016年4月27日,被告人曾榴仙得
  105. 知祝某死亡的消息后,在其丈夫徐某1的陪同下到沙溪派出所投案自首。 被告人曾榴仙对
  106. 起诉书指控的犯罪事实不持异议。 辩护人毛巧云提出辩护意见,其对起诉书指控的犯罪事
  107. 实不持异议,但认为本案系意外事件。理由如下:1、被告人曾榴仙是否知道祝某有心脏病;
  108. 2、被告人曾榴仙即便是知道祝某有心脏病,这一明知并不能等同于对死亡结果有预见。
  109. 同时认为被告人曾榴仙具有如下量刑情节:1、自首;2、当庭认罪;3、一贯表现良好;
  110. 4、有悔罪表现。 经审理查明: 被告人曾榴仙与被害人祝某两家系位于信州区沙溪镇向阳村
  111. 柘阳的多年邻居,被害人祝某有多年心脏病史,被告人曾榴仙对此事明知。'''
  112. text = re.sub('\\n| ', '', text)
  113. summarize = jiagu.summarize(text, 3) # 摘要
  114. print(summarize)
  115. self.assertTrue(len(summarize) == 3)
  116. if __name__ == '__main__':
  117. unittest.main()

Jiagu使用大规模语料训练而成。将提供中文分词、词性标注、命名实体识别、情感分析、知识图谱关系抽取、关键词抽取、文本摘要、新词发现、情感分析、文本聚类等常用自然语言处理功能。参考了各大工具优缺点制作,将Jiagu回馈给大家

Contributors (1)