前言

词云图在文本分析上有着显著的效果，前段时间看完了《倚天屠龙记》，这里使用Python通过jieba库进行小说全文分词,在通过wordcloud库基于小说中人物的登场效率(确切的说是人物名字的出现频率)生成词云图，登场率高的字体更大。先看看看效果，如下图：

词云图

环境搭建

1.按照国际惯例Python库先装一波
1
2
3
  
pip3 install jieba
pip3 install worldcloud

woroldcloud默认是不支持中文的，需要下载一个中文字体,或者指定系统的中文字体路径

2.小说txt文本

点击即可下载

倚天屠龙记.txt

3.创建自定义关键词

自定义字典文件 “namedict.txt”。在这个字典文件中，记录了几个小说人物名，并标注词性为”nr“，代表名字，举个例子，作用就是告诉程序周芷若是一个人的名字，jieba分词虽然功能强大，但是对于不常见的，特定的小说人物名称的断句和分词表现就不是那么亮眼了。格式如下：

iamge

jieba和wordcloud功能简介

1. 中文分词组件jieba

功能1. 分词

  • jieba.cut方法接受两个输入参数: 1) 第一个参数为需要分词的字符串 2）cut_all参数用来控制是否采用全模式

  • jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细

  • 1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
      
    import jieba

    txt = "我是西南林业大学一名大三的学生"
    seg_list = jieba.cut(txt,cut_all=True)
    print("[全模式]：", "/".join(seg_list))

    seg_list = jieba.cut(txt,cut_all= False)
    print("[精确模式]：","/".join(seg_list))

    seg_list = jieba.lcut_for_search(txt)
    print("[搜索引擎模式]:",'/'.join(seg_list))


    >>>
    [全模式]： 我/是/西南/林业/林业大学/业大/大学/一名/大三/的/学生
    [精确模式]： 我/是/西南/林业大学/一名/大三/的/学生
    [搜索引擎模式]: 我/是/西南/林业/业大/大学/林业大学/一名/大三/的/学生

可以看到就文本分析而言，精确模式分词效果是比较好的,当不指定cut_all参数时，默认为False,即默认为精确模式

功能2.添加自定义词典

  • 开发者可以指定自己自定义的词典，以便包含jieba词库里没有的词。虽然jieba有新词识别能力，但是自行添加新词可以保证更高的正确率

  • 用法： jieba.load_userdict(file_name) # file_name为自定义词典的路径

  • 词典格式和dict.txt一样，一个词占一行；每一行分三部分，一部分为词语，另一部分为词频，最后为词性（可省略），用空格隔开。

西南林业大学是一所大学的名称，不希望产生分词错误，通过创建dict.txt 里面输入“西南林业大学”

1
2
3
4
5
6
7
8
9
10
11
12
  
import jieba
jieba.load_userdict('dict.txt')

txt = "我是西南林业大学一名大三的学生"
seg_list = jieba.cut(txt)
print("[通过自定义词典,避免分词错误]：", "/".join(seg_list))


>>>
[通过自定义词典,避免分词错误]： 我/是/西南林业大学/一名/大三/的/学生

功能3. 关键词提取

  • jieba.analyse.extract_tags(sentence,topK) #需要先import jieba.analyse
  • setence为待提取的文本
  • topK为返回几个TF/IDF权重最大的关键词，默认值为20

以小说分词和得到的文本信息，如下图，提取出现频率最大的三个名字

image

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
  

import jieba
import jieba.analyse


with open('分词后.txt') as f:
    fc = f.read()
topthree = jieba.analyse.extract_tags(fc,topK= 3)
print('/'.join(topthree))

>>>

张无忌/张翠山/谢逊

3.其他

分析词性功能，可以标注句子分词后每个词的词性，后续通过词性进行关键词提取;
并行分词
原理：将目标文本按行分隔后，把各行文本分配到多个python进程并行分词，然后归并结果，从而获得分词速度的可观提升,windows系统下还不支持

补充

Python join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。

1
2
3
4
5
6
7
8
9
10
11
12
13
  
seq = ('一','二三','四五六')
print('/'.join(seq))

>>>
一/二三/四五六

for i in seq:
    print(i+'/',end = '')

>>>
一/二三/四五六/

2.词云生成库wordcloud

这个库的使用就更简单了，只需要设置背景图片，字体，等参数，具体参数的设置可以参考文档，设置collocations=False参数是为了使词云图避免出现重复的关键词。

3.matplotlib库

python的一个画图库，这里用到只是为了显示生产的词云图，不用也行，可以将生产的词云图先保存下来，再在文件夹中找到打开进行显示

代码结构

词云中的词汇只有角色的名字，没有其他无关词汇，这样才能更好地反映出角色的权重。

整个程序的实现思路：

分词 (函数)
    小说文本整体分词（jieba）
    构建自定义人名词典
    筛选关键词(人名)
生成词云，绘制图片

完整代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

import jieba
jieba.load_userdict("namedict.txt")
import jieba.analyse as analyse
from wordcloud import WordCloud
from scipy.misc import imread
import matplotlib.pyplot as plt

# 获取关键词
def get_words(file_name):
    with open(file_name,encoding='utf-8') as f:
        fiction_text = f.read()
    wordList = jieba.cut(fiction_text)  #分词
    print('小说分词完成...')
    allow_pos = ('nr',)                 #设置筛选参数为”nr“
    tags = jieba.analyse.extract_tags(fiction_text, topK=30, withWeight=False, allowPOS=allow_pos) #从原文文本original_text中，筛选词性为”nr“的前30个词汇作为关键词
    print('关键词筛选完成...')
    stags="/".join(tags)                         #将关键词用‘/’分隔
    with open("stags.txt","w") as f:
        f.write(stags)     #将关键词保存到stags.txt文件中（可供调试查看）
    outstr = ''
    for word in wordList:
        if word  in stags:   #与关键词字符串比较，只保留关键词
            if word != '/':
                outstr += word 
                outstr += "/"
    return outstr

# 绘制词云
def draw_wordcloud(strwords):
    backgroud_Image = plt.imread('backpic.png')
    cloud = WordCloud(width=1024, height=768,
                 background_color='white',mask=backgroud_Image,
                 font_path='/home/yhch/Downloads/kaiti.ttf',collocations=False,
                 max_font_size=400,random_state=50)
    word_cloud = cloud.generate(strwords)                # 生成词云数据
    return word_cloud

if __name__ == '__main__':
    file_name = '/home/yhch/Downloads/yitian.txt'
    outstr = get_words(file_name)
    word_cloud=draw_wordcloud(outstr)
    plt.imshow(word_cloud)
    plt.axis('off')
    plt.show()
    word_cloud.to_file('yitian.jpg')

分析结果

生成的词云

词云图

因为分析的结果是图片，直观，简单，一目了然，这里就不再赘述了，同时也暴露出了小问题这里把武功 , 少林 等关键词也当成了人名进行操作，wordcloud有停用词方法，可以对不想显示的关键词语进行屏蔽;同时程序也有需要改进的地方，整个程序大概要运行2分钟才能结束，一部分原因是这部小说有一百万字，数据量还是比较大的，程序中频繁的IO操作也是有影响速度的主要因素，是考虑到将中间结果保存下来，可供调试，就懒得。先这样后续会改进更新。