python 文档相似度验证 · php笔记

## python 文档相似度验证 ```python # coding=UTF-8 import time import os import sys import re import json import hashlib from Db import * import jieba from gensim import corpora,models,similarities reload(sys) sys.setdefaultencoding('utf-8') # 1. 名词与概念: # 文档: 字符串 # 词: 一个词语 # 集(合): 集合中的每个元素都是唯一的 # 分词列表: 结巴分词库返回的词列表(非集合,而是可能会有重复的词,这点很重要!!!) # 词袋: 可以看做是分词的集合 (不重复) # 语料库: 一个向量, 表示了词袋中的每个词在某个分词列表中出现的频率(频率为0, 即没在分词列表中出现的词不计入向量) # 向量: [(a, b), ...] a:词, b:频率 (纯数学的概念是一组坐标值,这里是一个列表,每一项为一个元组,元组里面两个元素) # tip: 测试语料库用来匹配的, 语料库用来被匹配的, 相当于搜索词和搜索源数据库 (d0 ~ d7 相当于表中的记录) # 要解决的问题: 得到一个字符串与其它多条字符串之间的相关性值 # 解决方式: 一个分词列表与其它多个分词列表之间的相关性值(中间有计算文档中每个词的TF-IDF值等过程), 即最终得到与每个目标文档的相似度 # 分词列表 = jieba.cut(待分词的字符串即文档) # 词袋 = corpora.Dictionary(分词列表的列表) # 语料库 = 词袋.doc2bow(分词列表) # ----- # 2. 参考: # 用Python进行简单的文本相似度分析_xiexf189的博客-CSDN博客_python 文本相似度 # https://blog.csdn.net/xiexf189/article/details/79092629 # 结巴分词 # https://github.com/fxsjy/jieba # 一文看懂 TF-IDF (概念图解+4大变种+发展历史) # https://easyai.tech/ai-definition/tf-idf/ # TF （Term Frequency）—— “单词频率” # IDF（Inverse Document Frequency）—— “逆文档频率” # ---- # 3. 流程总结: # 1. 对 d0 ~ d7 文档进行分词,得到分词列表, 再组合成 "分词列表的列表" [['', ...], ...] # 2. 使用 "分词列表的列表" 生成词袋, 即词集合(每个词唯一了) # 3. 用词袋依次和每个分词列表来生成一个个语料库 ,d0语料库, ... # 4. 将生成的8个语料库组成一个语料库列表 # 5. 对语料库列表进行建模 tfidf模型 = model(语料库列表) # 6. ____^_^____第一阶段到这里可以告一段落,可以先休息一下,我们一会再继续 # 7. # 8. 对 t_doc 文档进行分词,得到分词列表 # 9. 使用上面的词袋和 t_doc 的分词列表生成一个 t_doc语料库 (重点: 基于同一词袋生成的语料库之间才能进行相似性分析) # 10. 获取测试文档中，每个词的TF-IDF值, t_doc 的 TF-IDF值 = tfidf模型[t_doc语料库] (一个向量,表示了每个词的 TF-IDF值) # 11. 同理: d0 的 TF-IDF值 = tfidf模型[d0语料库] # 12. 语料库转化对象 = tfidf模型[语料库列表] (<gensim.interfaces.TransformedCorpus object at 0x0000000016715F60>) # 13. ____^_^____再休息一会,消化一下上面的东西 # 14. # 15. 回顾一下,现在我们有了: 词袋, 语料库列表[d0语料库, ...], tfidf模型和 t_doc语料库, 每个文档的 TF-IDF值, 语料库转化对象 # 16. 下面我们将利用这些已得到的东西, 来实现我们一开始的目标: 分析 t_doc 文档与每个目标文档 d0 ~ d7 之间的相似度 # 17. 得到相似性对象 = similarities.SparseMatrixSimilarity(语料库转化对象, 词袋长度) (<gensim.similarities.docsim.SparseMatrixSimilarity object at 0x0000000016787FD0>) # 18. 答案 = 相似性对象[t_doc 的 TF-IDF值] <type 'numpy.ndarray'> 矩阵: (t_doc 与 d0 的相似度, ..., t_doc 与 d7 的相似度) # 19. 对 numpy.ndarray 结果进行排序: [(a, b), ...] a: 第几个文档, b: 相似度 # 20. 同理, d0 与 d0 ~ d7 的相似度 = 相似性对象[d0 的 TF-IDF值] # 21. 相似性对象[语料库转化对象] 得到 d0 与 d0 ~ d7, ..., d7 与 d0 ~ d7 的相似度列表 [[...],...] # 22. 完, 建议多看几遍 # ========================================================== # 待进行分词的文档 doc0 = "我不喜欢上海" doc1 = "上海是一个好地方" doc2 = "北京是一个好地方" doc3 = "上海好吃的在哪里" doc4 = "上海好玩的在哪里" doc5 = "上海是好地方" doc6 = "上海路和上海人上海上海上海" doc7 = "喜欢小吃" # 将 d1 改成 '我喜欢上海,不喜欢吃' d0 和 d1 的相关性就达到了 0.65295446 (原来 0.011466), # 但其实二者表达的是完全相反的意思,所以这个相似性,仅仅只是文本的词频率比较, 而没有任何的语义解析处理 # 测试文档（判断这个文档与其它文档的相关性） # 用少文档去匹配多文档合成的分词库 doc_test = "我喜欢上海的小吃" # [(7, 0.70477605), (0, 0.54680777), (3, 0.17724207), (4, 0.17724207), (6, 0.030088982), (5, 0.013545224), (1, 0.010553493), (2, 0.0)] # doc_test = "可以看做是集合" # [(5, 0.5692461), (1, 0.4435168), (2, 0.32457215), (0, 0.0), (3, 0.0), (4, 0.0), (6, 0.0), (7, 0.0)] # doc_test = "可以看做集合" # [(0, 0.0), (1, 0.0), (2, 0.0), (3, 0.0), (4, 0.0), (5, 0.0), (6, 0.0), (7, 0.0)] all_doc = [] all_doc.append(doc0) all_doc.append(doc1) all_doc.append(doc2) all_doc.append(doc3) all_doc.append(doc4) all_doc.append(doc5) all_doc.append(doc6) all_doc.append(doc7) # 全部分词列表的列表 all_doc_list = [] for doc in all_doc: # 对每一个文档进行分词 # 默认使用了,精确分词模式 # 精确模式: 试图将句子最精确地切开，适合文本分析 # 只是将词切开,并不做词集合,这点很重要 doc_list = [word for word in jieba.cut(doc)] all_doc_list.append(doc_list) print all_doc_list # exit() # 制作语料库 # 使用全部分词列表的列表制作词袋，每个词都是唯一的 dictionary = corpora.Dictionary(all_doc_list) for i,item in dictionary.items(): print i, item # exit() # print dictionary.keys() print dictionary.token2id # 使用上一步生成的词袋和全部分词列表的列表制作语料库列表（唯一的词袋再与文档的分词列表生成语料库，即一组向量） # 语料库是一个向量，向量中的每个元素是一个二元组（编号、频次数），对应分词后的文档中的每一个词 # 语料库列表 corpus = [dictionary.doc2bow(doc) for doc in all_doc_list] # 向量列表 print corpus # exit() # tip: 将这些向量列表合并（词频累加），就能得出之前的分词文档列表集中的词频 # 同理，现在也对测试文档进行处理 # 现在对测试文档也进行分词 doc_test_list = [word for word in jieba.cut(doc_test)] print doc_test_list # 用上面生成的词袋和测试文档分词列表制作一个语料库 # 这里的关键是，制作语料库使用的是上面的词袋（搜索词集），这为后面计算相关性埋下伏笔 doc_test_vec = dictionary.doc2bow(doc_test_list) print doc_test_vec # doc_test_vec = dictionary.doc2bow(['上海1', '上海1', '湖北']) # print doc_test_vec # 相当于现在得到了测试的分词列表与搜索词集的向量，即词频 # 但也只是知道了词频关系，还是无法得知测试的分词列表究竟与哪个文档相关性最高 # exit() # 下面开始计算相关性 # 使用TF-IDF模型对语料库建模 (使用语料库列表进行建模) tfidf = models.TfidfModel(corpus) # 语料库模型 = models.TfidfModel(语料库列表) # TfidfModel(num_docs=8, num_nnz=34) <class 'gensim.models.tfidfmodel.TfidfModel'> print tfidf, type(tfidf) # 上面埋下的伏笔开始显现作用了：只有使用了相同的词袋生成的语料库之间才能够计算相似性 # 获取测试文档中，每个词的TF-IDF值 (使用测试语料库) # 值是一个向量: [(a, b), ...] a:词, b: TF-IDF值 doc_test_tfidf = tfidf[doc_test_vec] print doc_test_tfidf # 第一个文档中,每个词的TF-IDF值 (使用第一个文档的语料库) print tfidf[corpus[0]] # <gensim.interfaces.TransformedCorpus object at 0x0000000016715F60> print tfidf[corpus] # 对每个目标文档，分析测试文档的相似度 index = similarities.SparseMatrixSimilarity(tfidf[corpus], num_features=len(dictionary.keys())) # <gensim.similarities.docsim.SparseMatrixSimilarity object at 0x0000000016787FD0> print index # 测试语料库与每个语料库的相似度 sim = index[doc_test_tfidf] # <type 'numpy.ndarray'> print 'sim', sim, type(sim) # 第一个语料库与每个语料库的相似度 print index[tfidf[corpus[0]]] # 全部语料库与语料库列表本身的相似度列表 # 相当于 d0 与 d0 ~ d7, ..., d7 与 d0 ~ d7 的相似度列表 [[...],...] print index[tfidf[corpus]] # 根据相似度排序 print sorted(enumerate(sim), key=lambda item: -item[1]) ``` last update: 2020-11-20 21:32:02