【NLP】文本LDA主题聚类&主题词生成&PyLDAvis可视化
【NLP】文本LDA主题聚类&主题词生成&可视化LDA主题聚类这是NLP中常用的一类方法,一般Sklearn,genism里有可以实现。一般结果会有文档-主题model(即说明每个文档属于某类主题的概率),概率最大则说明该文档属于该类别。以及主题-词语model,可以给出每个主题的前N个词。主要部分代码:from sklearn.feature_extraction.tex...
【NLP】文本LDA主题聚类&主题词生成&可视化
LDA主题聚类
这是NLP中常用的一类方法,一般Sklearn,genism里有可以实现。一般结果会有文档-主题model(即说明每个文档属于某类主题的概率),概率最大则说明该文档属于该类别。以及主题-词语model,可以给出每个主题的前N个词。
主要部分代码:
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
import lda
vectorizer = CountVectorizer(min_df=10, stop_words=stopwords) # 定义计数器
transformer = TfidfTransformer() # 该类会统计每个词语的tf-idf权值
tf = vectorizer.fit_transform(documents) # 计算TF
tfidf = transformer.fit_transform(tf) # fit_transform计算tf-idf,fit_transform将文本转为词频矩阵
vocab = vectorizer.get_feature_names()
model = lda.LDA(n_topics=5, n_iter=150, random_state=1)
model.fit(tf)
topic_words = model.topic_word_
# 显示每个话题的前10词
n = 10
topickey=[]
for i, t in enumerate(topic_words):
topicwords = np.array(vocab)[np.argsort(-t)][:n]
print('*Topic {}\n- {}'.format(i+1, ' '.join(topicwords)))
topickey.append(','.join(topicwords))
print(topickey)
# 显示前10个文本的前K个话题
k = 1
doc_topic = model.doc_topic_
print(model.doc_topic_)
for i in range(194):
topic_most_pr = doc_topic[i].argsort()[::-1]
print("doc: {} topic: {}".format(textnames[i], topic_most_pr[:k][0]+1))
# 如果k不等于1,上面topic_most_pr[:k][0]换成topic_most_pr[:k]
这里对于爬取的一些知乎关于疫情的评论数据进行结果示意:
(1)每一类的主题词:
(2)每一条评论属于哪一类(取概率最大的一类)
解释下图1:比如矩阵的第一个列表就是文档0分别属于(设置分5类)各类的概率,可见属于第3类概率最大。(类别为了好记已经全加1,从第1类开始)
可见图2:输出最大概率的类,结果的确是类3
Pyldavis进行可视化
这部分是由于在评估聚类效果的时候,不确定类别是否重叠,因此用pyldavis这个可以对LDA进行可视化的包。
先用sklearn LDA进行运行,再利用PyLdavis可视化。
划分的4类最合适,划分5类及以上有重叠情况:
代码里特征数需要注意,这个数值会影响聚类结果和右侧的词频分布。(实验中发现)
一些中间结果:
2020-02-09 By EchoZhang
![Logo](https://devpress.csdnimg.cn/79de2bf0b7994defa4242ef90d5513fa.jpg)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)