机器学习::文本特征提取(TF-IDF) - 第二部分

阅读本教程的第一部分:文本特征提取(TF-IDF) - 第i部分

这篇文章是一个延续我们开始学习文本特征提取和矢量空间模型表示的理论和实践的第一部分。我真的推荐你阅读第一部分帖子系列以遵循这一第二篇文章。

由于很多人喜欢这个教程的第一部分,该第二部分是比第一个长一点。

介绍

在第一篇文章中,我们学会了如何使用术语频率表示向量空间中的文本信息。然而,术语-频率方法的主要问题是,它放大频繁项和缩小比高频项经验更丰富的稀有项。基本的直觉是,在许多文档中经常出现的术语并不是很好的鉴别器,而是真正有意义的(至少在许多实验测试中);这里的重要问题是:为什么你,比如在一个分类问题中,要强调一个几乎在你文档的整个语料库中都存在的术语?

TF-IDF重量来解决这个问题。TF-IDF给出的是一个在集合中的文档中的一个单词,这就是为什么TF-IDF包含本地和全局参数,因为它不仅考虑了孤立的术语,还考虑了文档集合中的术语。什么TF-IDF然后解决这个问题,是在缩放罕见术语时缩小频繁的术语;一个比另一个发生的10倍的术语不是它比它更重要的10倍,这就是为什么TF-IDF使用对数刻度来做到这一点。

但是让我们回到我们的定义\ mathrm {tf}(t,d)这实际上是术语的术语计数T.在文档中D.。使用这种简单的词频可能导致我们一样的问题关键词垃圾邮件,这是当我们有一个文档中的术语重复以改善上的IR其排名的目的(信息检索)系统,甚至对长文档产生偏见,使它们看起来比实际更重要,仅仅因为这个词在文档中出现的频率很高。

为了克服这一问题,采用了频率项\ mathrm {tf}(t,d)上的矢量空间中的文件的通常也归一化。让我们来看看我们是如何规范这一载体。

矢量归

假设我们将正常化术语频率矢量\ vec {v_ {d_4}}我们在本教程的第一部分已经计算。文件D4本教程的第一部分有这样的文本表示:

D4:我们可以看到闪亮的阳光,明亮的阳光。

使用该文档的非归阵术语频率的矢量空间表示为:

\ vec {v_ {d_4}} =(0,2,1,0)

为了归一化向量,与计算相同单位向量向量,它们用“帽子”表示法表示:\ hat {v}。单位矢量的定义\ hat {v}矢量\ vec {v}是:

\ displaystyle \ hat {v} = \ frac {\ vec {v}} {\ | \ vec {v} \ | _p}

那里\ hat {v}是单位矢量,或者归一化矢量,所述\ vec {v}是矢量将被标准化和\ | \ VEC {V} \ | _p向量的模(模,长度)是多少\ vec {v}在里面L ^ p空间(别担心,我要解释一下)。

单位向量实际上只不过是向量的标准化版本,是长度为1的向量。

归一化过程(来源:http://processing.org/learning/pvector/)
归一化过程(来源:http://processing.org/learning/pvector/)

但这里的重要问题是如何向量的长度来计算,并明白这一点,你必须了解的动机L ^ p空间,也叫勒贝格空间

勒贝格空间

这个向量有多长?(来源:资料来源:http://processing.org/learning/pvector/)
这个向量有多长?(来源:资料来源:http://processing.org/learning/pvector/)

通常,一个矢量的长度\ {VEC U】=(U_1,U_2,U_3,\ ldots,u_n)使用计算欧几里得范-一个准则是在矢量空间中分配一个严格正长度或大小于所有矢量的函数- ,其被定义为:

(来源:http://processing.org/learning/pvector/)
(来源:http://processing.org/learning/pvector/)

\ | \ vec {u} \ |= \ sqrt {u ^ 2_1 + u ^ 2_2 + u ^ 2_3 + \ ldots + u ^ 2_n}

但这不是定义长度的唯一方法,这就是为什么(有时)你会看到一个数字P.与规范表示法一起如同\ | \ vec {u} \ | _p。那是因为它可以是:

\ displaystyle \ | \ vec {u} \ | _p =(\ left | u_1 \ light | ^ p + \ left | u_2 \右| ^ p + \ left | u_3 \右| ^ p + \ ldots +左U_N \右| ^ p)^ \ frac {1} {p}

并简化为:

vec{你}\ displaystyle \ | \ \ | _p =(\ \和limits_ {i = 1} ^ {n} \左右vec{你}_i | \ \ | ^ p) ^ \压裂{1}{p}

所以当你读到aL2-NOM,你正在阅读关于欧几里得范规范P = 2.,最常见的标准用于测量载体的长度,通常称为“幅度”;实际上,当你有不合格的长度测量时(没有P.号码),你有L2-NOM(欧几里德常数)。

当你阅读一L1范你正在阅读与规范p = 1, 定义为:

\ displaystyle \ | \ vec {u} \ | _1 =(\ left | u_1 \ light | +左| u_2 \ revent | +左| u_3 \ revent | + \ ldots + \ left | u_n \ left |)

这无非是向量的组件的简单相加,也被称为出租车的距离,也称为曼哈顿距离。

出租车几何形状与欧几里德距离:在出租车几何中,所有三条镜线都具有相同的长度(12)。在欧几里德几何形状中,绿线具有长度6 \倍\ SQRT {2} \约8.48,是唯一的最短路径。
来源:维基百科::出租车几何

请注意,您还可以使用任何规范来规范向量,但我们将使用最常见的规范,L2-NOM,这也是0.9版本中的默认值Scikits.Learn.。You can also find papers comparing the performance of the two approaches among other methods to normalize the document vector, actually you can use any other method, but you have to be concise, once you’ve used a norm, you have to use it for the whole process directly involving the norm (如果您稍后将参加其L2-rom,则使用L1-Norm的单位矢量不会有长度1)。

返回向量标准化

既然你知道矢量规范化过程是什么,我们可以尝试一个具体的例子,使用L2-rom的过程(现在我们现在使用正确的术语)来规范化我们的矢量\ vec {v_ {d_4}} =(0,2,1,0)为了获得其单位矢量\ hat {v_ {d_4}}。为了做到这一点,我们将简单的将其插入单位矢量的定义,对其进行评估:

\ hat {v}= \frac{\vec{v}}{\|\vec{v}\|_p} \\ \\  \hat{v_{d_4}} = \frac{\vec{v_{d_4}}}{||\vec{v_{d_4}}||_2} \\ \\ \\  \hat{v_{d_4}} = \frac{(0,2,1,0)}{\sqrt{0^2 + 2^2 + 1^2 + 0^2}} \\ \\  \hat{v_{d_4}} = \frac{(0,2,1,0)}{\sqrt{5}} \\ \\  \small \hat{v_{d_4}} = (0.0, 0.89442719, 0.4472136, 0.0)

这就是它!我们的法矢\ hat {v_ {d_4}}现在有一个L2范\ | \ hat {v_ {d_4}} \ | _2 = 1.0

注意,在这里我们已经标准化了术语频率文档向量,但稍后我们将在计算tf-idf之后进行该操作。

术语频率-反文档频率(tf-idf)权重

现在你已经了解了矢量归在理论和实践是如何工作的,让我们继续我们的教程。假设你有你的收藏(从教程的第一部分拍摄)在下列文件:

火车文件集:D1:天空是蓝色的。D2:太阳很明亮。测试文件集:D3:天空中的太阳很明亮。D4:我们可以看到闪亮的阳光,明亮的阳光。

您的文档空间可以定义为d = \ {D_1,D_2,\ ldots,D_N \}在哪里N是在你的文集文档的数量,并在我们的情况下,D_{train} = \{d_1, d_2\}d_ {test} = \ {d_3,d_4 \}。我们的文档空间的基数定义为\左| {{D_火车}} \右|= 2左\ | {D_{测试}}\ | = 2,因为我们只有2个用于培训和测试的文件,但它们显然不需要具有相同的基数。

现在让我们看看,然后是如何IDF(逆文档频率)定义:

\ displaystyle \ mathrm {idf} (t) = \ log{\压裂{\左| D \右|}{1 +左| \ \ {D: t \ D \} \右|}}

在哪里\左手| \ {D:T \ IN D \} \右|是个文件数量这个术语在哪里T.出现,当术语频率函数满足时\ mathrm {tf}(t,d)\ neq 0,我们只是将1添加到公式中以避免零分。

TF-IDF的公式是:

\ mathrm {tf \ mbox { - } IDF}(t)= \ mathrm {tf}(t,d)\ times \ mathrm {idf}(t)

此公式具有重要的结果:当您在给定文档中具有高术语频率(TF)时,达到了高重量的TF-IDF计算(本地参数)和整个集合中的术语的低文档频率(全局参数)。

现在,让我们计算功能矩阵中存在的每个功能的IDF,我们在第一个教程中计算的术语频率:

M_ {}列车=  \begin{bmatrix}  0 & 1 & 1 & 1\\  0 & 2 & 1 & 0  \end{bmatrix}

由于我们有4个功能,我们必须计算\ mathrm {IDF}(T_1)\ mathrm {idf} (t_2)\ mathrm {idf} (t_3)\ mathrm {idf}(t_4)

\ mathrm {idf}(t_1)= \ log {\ frac {\ left | d \ light |} {1+ \ left | \ {d:t_1 \ in d \} \ light |}}} = \ log {\ frac{2} {1}} = 0.69314718

\ mathrm {idf}(t_2)= \ log {\ frac {\ left | d \ light |} {1+ \ left | \ {d:t_2 \在d \} \ light |}} = \ log {\ frac{2} {3}} = -0.40546511

\ mathrm {idf} (t_3) = \ log{\压裂{\左| D \右|}{1 +左| \ \{在D D: t_3 \ \} \右|}}= \ log{\压裂{2}{3}}= -0.40546511

\ mathrm {IDF}(T_4)= \日志{\压裂{\左| d \右|} {1+ \左| \ {d:T_4 \在d \} \右|}} = \日志{\压裂{2} {2}} = 0.0

这些IDF权重可以由矢量作为表示:

\ vec {idf_ {train}} =(0.69314718,-0.40546511,0.0)

现在我们拥有我们的矩阵,具有术语频率(M_ {}列车)和表示矩阵的每个特征的IDF的矢量(\ vec {idf_ {train}}),我们可以计算出我们的TF-IDF权重。我们要做的是矩阵中的每一列的简单乘法M_ {}列车与相应的\ vec {idf_ {train}}矢量维度。为此,我们可以创建一个广场对角线矩阵M_ {} IDF垂直和水平尺寸都等于矢量\ vec {idf_ {train}}尺寸:

m_ {idf} = \ begin {bmatrix} 0.69314718&0&0&0 \\ 0&0&0 \\ 0&0&0&0&0&0&0&0&0&0 \ {bmatrix}

然后将其乘以term frequency matrix,则最终结果可定义为:

m_ {tf \ mbox { - } IDF} = m_ {train} \ times m_ {idf}

请注意,矩阵乘法不是换向,结果一个\ times b会与之不同b \ times a,这就是为什么M_ {} IDF是对乘法的右侧,以完成每个IDF值到其对应的特征相乘的期望的效果:

\ begin {bmatrix} \ mathrm {tf}(t_1,d_1)&\ mathrm {tf}(t_2,d_1)&\ mathrm {tf}(t_3,d_1)&\ mathrm {tf}(t_4,d_1)\\\ mathrm {tf}(t_1,d_2)&\ mathrm {tf}(t_2,d_2)&\ mathrm {tf}(t_3,d_2)&\ mathrm {tf}(t_4,d_2)\ ent {bmatrix} \ times\ begin {bmatrix} \ mathrm {idf}(t_1)&0&0&0 \\ 0&\ mathrm {idf}(t_2)&0&0&0&0&0 \\ 0&0&\ mathrm {idf}(t_3)&0 \\ 0&0&0&0&\ mathrm {idf}(t_4)\ neg {bmatrix} \\ = \ begin {bmatrix} \ mathrm {tf}(t_1,d_1)\ times \ mathrm {idf}(t_1)&\ mathrm {tf}(t_2,d_1)\ times \ mathrm {idf}(t_2)&\ mathrm {tf}(t_3,d_1)\ times \ mathrm {idf}(t_3)&\ mathrm {tf}(t_4那D._1) \times \mathrm{idf}(t_4)\\   \mathrm{tf}(t_1, d_2) \times \mathrm{idf}(t_1) & \mathrm{tf}(t_2, d_2) \times \mathrm{idf}(t_2) & \mathrm{tf}(t_3, d_2) \times \mathrm{idf}(t_3) & \mathrm{tf}(t_4, d_2) \times \mathrm{idf}(t_4)   \end{bmatrix}

现在让我们来看看这个乘法的一个具体的例子:

m_ {tf \ mbox { - } IDF} = m_ {train} \ times m_ {idf} = \\ \ begin {bmatrix} 0和1&1&1 \\ 0&2&1&1 \\ 0&2&1&0 \ END {BMATRIX}\ times \ begin {bmatrix} 0.69314718&0&0&0 \\ 0&0&0 \\ 0&0&0&0&0&0&0&0&0&0&0&0&0&0&0 \ {bmatrix} \\= \ begin {bmatrix} 0&-0.40546511&0 \\ 0&0.0.81093022&-0.40546511&0 \ end {bmatrix}

最后,我们可以将L2标准化过程应用于m_ {tf \ mbox { - } IDF}矩阵。请注意,此标准化是“胜利”因为我们将作为分离的向量处理矩阵的每一行,以便归一化,而不是整个矩阵:

m_ {tf \ mbox { - } IDF} = \ frac {tf \ mbox { - } IDF}} {\ | m_ {tf \ mbox { - } IDF} \ | _2} = \begin{bmatrix}   0 & -0.70710678 & -0.70710678 & 0\\   0 & -0.89442719 & -0.4472136 & 0   \end{bmatrix}

这就是我们的我们的测试文档集,这实际上是单位向量的集合的漂亮归TF-IDF权重。如果你把矩阵的每一行的L2范数,你会发现它们都具有1的L2范数。

Python练习

环境中使用Python v.2.7.2.Numpy 1.6.1Scipy v.0.9.0Sklearn(Scikits.learn)v.0.9

现在轮到你等待的那部分了!在本节中,我将使用Python来展示tf-idf计算的每一步scikit.learn.特征提取模块。

第一步是创建我们的培训和测试文档集和计算术语频率矩阵:

来自sklearn.feature_extraction.text导入countvectorizer train_set =(“天空是蓝色的。”,太阳很明亮。“)test_set =(”天空中的太阳很明亮。“,”我们可以看到闪亮的太阳,明亮的太阳。“)count_vectorizer = countvectorizer()count_vectorizer.fit_transform(train_set)打印”词汇表:“,count_vectorizer.vocubulary #ocomabulary:{'blue':0,'sun':1,'亮':2,'sky','sky':3} freq_term_matrix = count_vectorizer.transform(test_set)print freq_term_matrix.todense()#[[0 1 1 1]#[0 2 1 0]]

现在,我们有频率项矩阵(称为freq_term_matrix),我们可以实例化TfidfTransformer,这将负责计算我们术语频率矩阵的TF-IDF权重:

从进口sklearn.feature_extraction.text TFIDF TfidfTransformer = TfidfTransformer(NORM = “L2”)tfidf.fit(freq_term_matrix)打印 “IDF:”,tfidf.idf_#IDF:[0.69314718 -0.40546511 -0.40546511 0]

注意,我已经指定了L2范数,这是可选的(实际上默认是L2范数),但我已经添加了参数来明确地告诉你它将使用L2范数。还要注意,您可以通过访问调用的内部属性来查看计算出的idf权重IDF_。现在合身()方法计算矩阵中的IDF上,让我们改造freq_term_matrix到TF-IDF重量矩阵:

tf_idf_matrix = tfidf.transform(freq_term_matrix)print tf_idf_matrix.todense()#[0.70710678 -0.70710678 0]#[0.0.89442719 -0.4472136 0.]]

那就是它,tf_idf_matrix实际上是我们之前的m_ {tf \ mbox { - } IDF}矩阵。您可以通过使用相同的效果来实现相同的效果矢量化器scikit.learn的类是一个自动结合的矢量器CountVectorizerTfidfTransformer给你。看这个例子要知道如何将其用于文本分类过程。

I really hope you liked the post, I tried to make it simple as possible even for people without the required mathematical background of linear algebra, etc. In the next Machine Learning post I’m expecting to show how you can use the tf-idf to calculate the cosine similarity.

如果您喜欢它,请随时发表评论和提出建议,更正等。

将本文引用:Christian S. Perone,“机器学习::文本特征提取(TF-IDF) - 第二部分,”亚洲金博宝Terra Incognita.03/10/2011,//www.cpetem.com/2011/10/machine-learning-text-feature-extraction-tf-idf-part-ii/

参考文献

反文档频率的理解:关于IDF的理论论证

维基百科:: TF-IDF

经典的向量空间模型

Sklearn文本功能提取代码

更新

2015年3月13日-格式化,固定图像的问题。
2011年10月3日-添加了关于Python示例的环境的信息

103思想“机器学习::文本特征提取(TF-IDF) - 第二部分”

  1. 哇!
    TF-IDF的完美介绍,非常感谢!亚洲金博宝亚洲金博宝非常有趣,我想长时间学习这个领域,你张贴了真正的礼物。阅读更多关于技术的使用情亚洲金博宝况是非常有趣的。如果他们存在,那么你可能会感兴趣,揭示一些文本语料库代表的其他方法,如果它们存在?
    (对不起,糟糕的英语,我正在努力对其进行改进,但仍然有很多工作要做的)

  2. 出色的工作基督徒!我期待着阅读的文档分类你的下一个职位,聚类和主题提取朴素贝叶斯,随机梯度下降,Minibatch-K均值和非负矩阵分解

    此外,Scikit-Learn的文档在文本特征提取部分上真正糟糕(我是主要的罪魁祸首......)。如果您想掌握当前情况,请随时加入邮件列表。

    1. 伟大的谢谢奥利维尔。我真的想帮助Sklearn,我只需要更多的时间来做这么做,你们已经做了一个很好的工作,我真的在Lib中已经实施的算法留下了深刻的印象,保持了良好的工作!

  3. 我喜欢这个教程的新概念我在这里学习水平较好。
    那就是说,你用的是哪个版本的scikits-learn ?
    Easy_Install安装的最新似乎有一个不同的模块层次结构(i.e在Sklearn中没有找到Feature_Extraction)。如果您可以提及您使用的版本,我将尝试使用这些示例。

  4. 第3部分在哪里?我必须在4天内提交关于矢量空间建模的作业。任何期待在周末放弃吗?

  5. 再次感谢这个完整和明确的教程,我正在等待即将到来的部分。

  6. 谢谢基督徒!在传亚洲金博宝染媒介空间的一个非常好的工作与sklearn。我刚刚有一个问题,假设我已经计算了'tf_idf_matrix',我想计算成对余弦相似度(每个行之间)。我有稀疏矩阵格式的问题,可以请举一个例子吗?我的矩阵也很大,比如25k乘60k。非常感谢!

  7. 很棒的帖子......我明白TF-IDF以及如何用具体例子实现它。但我抓到了2件我不确定的东西:
    1-你调用2维矩阵M_train,但它具有D3和D4文件的TF值,所以你应该已经给那矩阵M_test而不是M_train。由于D3和D4是我们的测试文档。
    2-当你计算t2 (sun)的idf值时,它应该是log(2/4)。因为文档的数量是2。D3有1次单词“sun”,D4有2次。它是3,但我们也在这个值上加1来消去除以0的问题。我说的对吗,还是我遗漏了什么?
    谢谢你。

    1. 你是正确的:这些是​​优秀的博客文章,但作者真的有一个责任/责任返回和纠正错误,如此(和其他,例如,第1部分; ......):缺少训练强调;设置stop_words参数;同样在我的电脑上,词汇索引是不同的。

      我们非常感谢努力(荣誉给作者!),对那些在原材料中奋斗的人(未纠正的)错误的人来说也是一个重要的诽谤。

      1. Re:我的'你是正确的评论'(上面),我应该补充说:

        “......注意到Frédériquepossot的评论(下面)关于分母:

        “......我们用的是什么确实是在发生的一个术语,无论任何给定的文档中出现的术语次数的文件数量。在这种情况下,然后,在用于T2(“太阳”)的IDF值分母确实2 + 1(2个文件具有“太阳”术语,1以避免潜在的零分割误差)。“

    2. 哈立德,
      这是对一个非常古老的问题的回应。亚洲金博宝但是,我仍然希望回应传达我从文章中了解的内容。
      您的问题2:“当您计算T2的IDF值(这是'Sun'),它应该是日志(2/4)”
      我的理解:日志期间的分母应该是(术语出现+ 1的文件数)而不是术语的频率。术语“Sun”的文档数量为2(D3中的1次,D4中的2次 - 完全出现在两个文件中的3次。3是频率,2个是文件数)。因此,分母是2 + 1 = 3。

  8. 优秀的帖子!
    我有一些问题。从最后的TF-IDF重量矩阵,我们如何分别获得术语的重要性(例如,这是最重要的术语?)。我们如何使用此矩阵来对文档进行分类

  9. 太感谢了。你以如此简单的方式解释了它。它真的很有用。再次感谢很多。

  10. 我与杰克一样怀疑(最后的评论)。从最后的TF-IDF重量矩阵,我们如何分别获得术语的重要性(例如,这是最重要的术语?)。我们如何使用此矩阵来对文档进行分类。

  11. 我有个问题..
    在TF-IDF操作之后,我们会获得一个值的Numpy数组。假设我们需要从数组中获取最高的50个值。我们怎样才能这样做?

    1. F(IDF)的高值表示特定的载体(或文件)具有高局部强度和低的全球强度,在这种情况下,您可以假设它在本地具有高意义并且不能忽略的术语。与Funtion(TF)相比,只有术语重复大量的次数,是更重要的是,大部分时间都不是一个正确的建模技术。

  12. 嘿 ,
    感谢名单FR d code..was的确非亚洲金博宝常有帮助!

    1.对于文档聚类,在计算倒词频后,是使用Jaccards系数这样的关联系数,然后使用k-means这样的聚类算法,还是在计算倒词频后直接对文档向量应用d k-means ?

    2.您是如何评价倒词频为calcuating文档向量文本聚类?

    由于一吨FR第四到来的答复!

  13. @khalid:你在1--让我太困惑了一分钟(m_train vs m_test)。但是,我误认为是你的第二点错误,因为我们使用的是一个术语发生的文件的数量,无论术语是否发生在任何给定的文档中。在这种情况下,T2的IDF值中的分母确实是2 + 1(2个文件具有术语“SUN”,+1以避免潜在的零分裂误差)。

    我也喜欢阅读这个系列的第三部分!我特别有兴趣了解更多关于功能选择的更多信息。是否有一种惯用的方法来获得具有最高TF.idf分数的条款的排序列表?您如何确定整体术语?您如何获得最负责高或低余弦的相似性(行按行)?

    谢谢你的精彩帖子!

  14. 优秀的文章和TD-IDF标准化的良好介绍。

    你必须解释这些复杂的概亚洲金博宝念非常清晰,结构化的方法。

    谢谢!

      1. 亚洲金博宝非常好的和信息教程......请上传与文档聚类过程相关的更多教程。

  15. 您是否可以使用TFIDF提供对余弦相似性的任何参考,因此我们有TF-IDF的矩阵,我们如何使用该矩阵来计算余弦。谢谢你的梦幻般的文章。

  16. 如果我是wordg,请纠正我
    从“我们在第一个教程中计算过的频率”开始的公式:应该是Mtest而不是Mtrain。这些idf权值可以用向量表示为:"应该是idf_test而不是idf_train。

    顺便说一句伟大的系列赛,你可以给如何实施分类的简单的方法?

  17. 亚洲金博宝很不错的职位。恭喜!!

    显示您的结果,我有一个问题:

    我读了维基百科:
    TF-IDF值与文档中出现的单词的次数成比例地增加,但是由语料库中的单词频率偏移,这有助于控制某些词语通常比其他词通常更常见。

    当我读它时,我理解,如果所有文档中的单词alpperars不太重要,那么只有一个文档中只出现的单词:

    然而,在结果中,“太阳”或“明亮”是比“天空”最重要的。

    我不确定完全理解它。

  18. 了不起!我之前熟悉TF-IDF,但我发现你的粪便示例有用随着我想知道这个包装。

  19. 优秀的帖子!在寻找CountVectorizer的更多信息时偶然发现了这个问题,但我很高兴阅读了您的两篇文章(第1部分和第2部分)。

    现在为您的博客添加书签

  20. 似乎不像你描述的fit_transform() ..
    任何想法为什么?
    >>> TS.
    ('天空是蓝色','太阳很明亮')
    >>> v7 = CountVectorizer()
    >>> v7.fit_transform(ts)
    <2×2稀疏矩阵''
    具有4个存储元素,坐标格式>
    >>>打印v7.vocabulary_
    {U'IS':0,U'the':1}

    1. 实际上,第一个Python样本中有两个小错误。
      1.应使得CountVectorizer这样实例化:
      count_vectorizer = countvectorizer(stop_words ='英语')
      这将确保' is ', ' the '等被删除。

      2.要打印词汇表,必须在末尾加上下划线。
      打印“词汇:” count_vectorizer.vocabulary_

      优秀的教程,只是小事情。hoep它可以帮助别人。

  21. 谢谢你精彩的解释。

    我有一个关于计算IDF(T#)的问题。
    在第一种情况下,您写了IDF(t1)= log(2/1),因为我们的集合中没有这样的术语,因此,我们将1添加到分母。现在,在T2的情况下,您写了日志(2/3),为什么分母等于3,而不是4(= 1 + 2 + 1)?在T3的情况下,您写入:log(2/3),因此分母等于3(= 1 + 1 + 1)。我看到这里有点不一致。请问,请解释,如何计算分母值。

    谢谢。

    1. 你理解错了,分母你不把这个词的总和每个文档中,你只是总结所有具有词的至少一个aparition的文件。

  22. 这是很好的,如果你能提供的方式来知道如何使用FT-IDF中的文档分类。我看到示例(Python代码),但如果有算法是最好的,因为没有所有的人都能理解这种语言。

    谢谢

  23. 好的。一种解释有助于正确看待这个事情。是TF-IDF的好办法做聚类(例如,从已知的语料用杰卡德分析或方差相对于平均值设定)?

    继续写:)

  24. 嗨基督徒,

    能读到这篇文章,我感到非亚洲金博宝常兴奋和幸运。你理解的清晰体现在文件的清晰上。这让我在机器学习领域重拾信心。

    非常感谢美丽的解释。

    想从你更多。

    谢谢,
    neethu

  25. 谢谢你的好包。你提到了一些比较L1和L2规范的论文,我计划更深入地研究这一点。你还知道他们的名字吗?

  26. 如何计算我自己的文本文件的TF IDF,该文件位于我的电脑中的一些位置?

  27. 辉煌的文章。

    到目前为止,我读过的TF-TDF最简单,最严重的解释。我真的很喜欢你如何解释它背后的数学。

  28. 嗨,好的文章!我使用scikit学习的TfidVectorizer模块来生成范数=l2的tf-idf矩阵。我已经检查了TfidfVectorizer在语料库的fit_transform之后的输出,我称之为tfidf_matrix。我对行求和,但它们的和不是1。代码是vect = TfidfVectorizer(use_idf=True, sublunar_tf=True, norm= " l2)。tfidf_matrix = vect.fit_transform(数据)。当我运行tfidf_matrix.sum(axis=1)时,向量大于1。也许我看错矩阵了,或者我误解了标准化的原理。我希望有人能澄清这一点!谢谢

  29. 我可以问您是否计算IDF时,例如,日志(2/1),您是否使用日志到基本10(e)或其他值?我得到了不同的计算!

  30. 伟大的教程,刚开始在ML一份新工作,这很清楚,因为它应该是解释的事情。亚洲金博宝

  31. Execellent Post ...... !!!感谢本文的很多。

    但是,我需要更多的信息,当你展示实际使用python,你可以为它提供JAVA语言..

  32. 我有点困惑,为什么TF-IDF在这种情况下,给出了负数?我们如何解读?纠正我,如果我错了,但是当载体为正值,这意味着该组件的大小确定字是该文件中有多么重要。如果是负数,我不知道如何解释它。如果我是采取向量的点积与所有积极的部件和一个负组件,这将意味着,一些部件可能负点积贡献,即使在载体有一个特定的词非常高的重视。亚洲金博宝

  33. 你好,
    非常感谢您对这个主题这个详细的解释,真是太好了。无论如何,你可以给我一个提示,这可能是我的错误,我不断看到的来源:

    freq_term_matrix = count_vectorizer.transform (test_set)
    AttributeError:'Matrix'对象没有属性“变换”

    我使用sklearn的版本错误?

  34. 很棒的简单有效的解释。请在更加令人敬畏的解释中发布更多主题。向前撰写即将到来的文章。
    谢谢

  35. 谢谢克里斯,你是网络上唯一一个关于对角线矩阵的网络。

  36. 我明白了TF-IDF计算过程。但该矩阵是什么意思,我们如何使用TFIDF矩阵来计算相似性让我感到困惑。你能解释一下,我们如何使用TFIDF矩阵.thanks

  37. 最好的解释..非常有帮助。亚洲金博宝你能告诉我如何在SVM中的文本分类中绘制矢量。我正在研究推文分类。我很困惑,请帮帮我。

  38. 我学到了很多事情。谢谢基督徒。期待您的下一个教程。

  39. 嗨,我很抱歉,如果我弄错了,但我无法理解如何|| vd4 || 2 = 1。
    d4的值=(0.0,0.89,0.44,0.0)所以归一化将是=根号(平方(.89)+平方(.44))=根号(.193)= .44
    那我错过了什么?请帮我理解。

  40. 嗨,这是一个伟大的博客!
    如果我需要做双克的情况下,我该如何使用sklearn来完成呢?

  41. 当我执行相同的脚本时,我没有得到同样的结果。
    打印(“IDF:”,TFIDF.IDF_):IDF:[2.09861229 1. 1.40546511 1.]

    我的Python版本是:3.5
    Scikit学习版是:o.18.1

    我需要改变什么?什么可能是可能的错误?

    谢谢,

    1. 它可能是很多事情,因为您使用不同的Python解释器版本以及其他氏锡学习版本,您应该期望结果中的差异,因为它们可能更改了默认参数,算法,舍入等。

  42. 完美的介绍!
    没有hocus pocus。清晰简单,因为技术应该是。
    亚洲金博宝很有帮助
    非常感谢。亚洲金博宝
    张贴!
    obrigado

  43. 为什么| d |= 2,在IDF方程。它不应该是4,因为| d |代表的审议的文件数量,我们有2从测试,2个来自火车。

  44. 嘿,Hii Christian
    你的帖子对我从基础上理解tfd-idf很有帮助。我正在做一个分类项目,我使用向量空间模型,这将决定我的测试文档应该出现的类别。这是机器学习的一部分。如果你能给我一些相关的建议就太好了。我在这一点上卡住了。
    谢谢你

  45. 请参阅此示例了解如何将其用于文本分类过程。“此”链接不再工作。能否提供一个相关的例子链接。

    谢谢

  46. 1vbxlh你已经提出了一个非常精彩的细节,欣赏它的帖子。亚洲金博宝

  47. 我知道这个网站提供基于高质量的文章或
    评论和其他数据,是否有任何其他网页,它呈现了这些类型的
    质量的信息?

  48. 在第一个例子。IDF(T1),日志(2/1)由计算器= 0.3010。为什么他们获得0.69 ..请有什么不对?

答复Antoine.取消回复

您的电子邮件地址不会被公开。

本网站使用AkisMet减少垃圾邮件。了解如何处理评论数据