机器学习::文本特征提取(TF-IDF) - 第二部分

阅读本教程的第一部分:文本特征提取(tf-idf) -第一部分

这个职位是一个延续我们开始学习文本特征提取和矢量空间模型表示的理论和实践的第一部分。我真的推荐你阅读第一部分帖子系列以遵循这一第二篇文章。

由于很多人喜欢这个教程的第一部分,该第二部分是比第一个长一点。

介绍

在第一篇文章中,我们学会了如何使用术语频率表示向量空间中的文本信息。然而,术语频率法的主要问题是,它放大了频繁项,缩小了稀有项,而稀有项在经验上比高频项更有信息。基本直觉是,经常出现在许多文档中的术语不是一个好的鉴别器,并且确实有意义(至少在许多实验测试中是如此);这里的重要问题是:例如,在一个分类问题中,为什么要强调一个几乎出现在整个文档语料库中的术语?

在TF-IDF权重来解决这个问题。什么TF-IDF给出的是如何重要的是一个集合中的文档的话,这就是为什么TF-IDF结合本地和全球的参数,因为它考虑到不仅需要隔离的期限,但也文献集内的术语。什么TF-IDF然后做来解决这个问题,是缩小,同时扩大了难得的条件频繁的条款;出现比其他的10倍以上期限不为10倍比它更重要的是,为什么TF-IDF采用对数刻度的做到这一点。

让我们回到它的定义\ mathrm {tf}(t,d)哪一个实际上是一个学期的学期计数T.在文件中D..使用这种简单的词频可能导致我们一样的问题关键词垃圾邮件,这是当我们有一个文档中的术语重复以改善上的IR其排名的目的(信息检索)系统甚至对长文档产生偏见,使它们看起来比它们更重要,这仅仅是因为该术语在文档中的频率很高。

为了克服这个问题,术语频率\ mathrm {tf}(t,d)上的矢量空间中的文件的通常也归一化。让我们来看看我们是如何规范这一载体。

矢量归一化

假设我们要对频率向量进行标准化\ vec {v_ {d_4}}我们在本教程的第一部分计算。文件D4本教程的第一部分有这样的文本表示:

D4:我们可以看到闪亮的阳光,明亮的阳光。

使用该文档的非归一化项频率的向量空间表示为:

\ vec {v_ {d_4}} =(0,2,1,0)

对向量进行规格化,就相当于计算单位矢量矢量,而他们使用的是“帽子”符号表示:\ hat {v}.单位向量的定义\ hat {v}一个向量的\ VEC {V}是:

\ displaystyle \帽子{v} = \压裂vec {v}} {\ vec {v} {\ | \ \ | _p}

那里\ hat {v}是单位矢量,或归一化的矢量,\ VEC {V}是矢量将被标准化和\ | \ vec {v} \ | _p是向量的范数(大小、长度)\ VEC {V}L ^ p空间(别担心,我将所有的解释)。

单位向量实际上就是向量的标准化版本,是一个长度为1的向量。

正常化过程(来源:http://processing.org/learning/pvector/)
正常化过程(来源:http://processing.org/learning/pvector/)

但这里的重要问题是如何计算矢量的长度和理解这一点,您必须了解的动机L ^ p空间,也称为勒贝格空间

勒贝格空间

这个向量有多长?(来源:来源:http://processing.org/learning/pvector/)
这个向量有多长?(来源:来源:http://processing.org/learning/pvector/)

通常,一个矢量的长度\ vec {u} =(u_1,u_2,u_3,\ ldots,u_n)使用计算欧几里德准则-常态是一个函数,为矢量空间中的所有向量分配严格的正长度或大小- ,其被定义为:

(来源:http://processing.org/learning/pvector/)
(来源:http://processing.org/learning/pvector/)

\ | \ vec {u} \ |= \ sqrt {u ^ 2_1 + u ^ 2_2 + u ^ 2_3 + \ ldots + u ^ 2_n}

但这不是定义长度的唯一方法,这就是为什么(有时)你会看到一个数字P.加上规范符号,比如invec{你}\ | \ \ | _p.这是因为它可以被概括为:

\ displaystyle \ | \ vec {u} \ | _p =(\ left | u_1 \ light | ^ p + \ left | u_2 \右| ^ p + \ left | u_3 \右| ^ p + \ ldots +左U_N \右| ^ p)^ \ frac {1} {p}

并简化为:

vec{你}\ displaystyle \ | \ \ | _p =(\ \和limits_ {i = 1} ^ {n} \左右vec{你}_i | \ \ | ^ p) ^ \压裂{1}{p}

所以当你读到一篇关于L2-norm,你正在阅读关于欧几里德准则,一种具有P = 2.,最常见的标准用于测量载体的长度,通常称为“幅度”;实际上,当你有不合格的长度测量时(没有P.电话号码),你有L2-norm(欧几里德常数)。

当你读到一个L1-NOM,你正在阅读常态p = 1,定义为:

\ displaystyle \ | \ vec {u} \ | _1 =(\ left | u_1 \ light | +左| u_2 \ revent | +左| u_3 \ revent | + \ ldots + \ left | u_n \ left |)

这只不过是载体的组件的简单总和,也称为出租车的距离,也被称为曼哈顿距离。

出租车几何形状与欧几里德距离:在出租车几何中,所有三条镜线都具有相同的长度(12)。在欧几里德几何形状中,绿线具有长度6 \ times \ sqrt {2} \约8.48,是唯一的最短路径。
来源:维基百科::出租车几何

请注意,您也可以使用任何规范正常化的载体,但我们将使用最常用的规范,L2范数,这也是在0.9版本的默认scikits.learn.You can also find papers comparing the performance of the two approaches among other methods to normalize the document vector, actually you can use any other method, but you have to be concise, once you’ve used a norm, you have to use it for the whole process directly involving the norm (一个使用l1范数的单位向量的长度不会是1如果你稍后要取它的l2范数的话)。

回到向量规范化

既然你知道矢量规范化过程是什么,我们可以尝试一个具体的例子,使用L2-rom的过程(现在我们现在使用正确的术语)来规范化我们的矢量\ vec {v_ {d_4}} =(0,2,1,0)为了得到它的单位向量\ hat {v_ {d_4}}.为了做到这一点,我们将简单的将其插入单位矢量的定义,对其进行评估:

\ hat {v} = \ frac {\ vec {v}} {\ | \ vec {v} \ | _p} \\ \\ \\ \ hat {v_ {d_4}} = \ frac {\ vec {v_ {d_4}}} {|| \ vec {v_ {d_4}} || _2} \\ \\ \\ \ hat {v_ {d_4}} = \ frac {(0,2,1,0)} {\ sqrt {0^ 2 + 2 ^ 2 + 1 ^ 2 + 0 ^ 2}} \\ \\ \ hat {v_ {d_4}} = \ frac {(0,2,1,0)} {\ sqrt {5}}} \\\ \ small \ hat {v_ {d_4}} =(0.0,0.89442719,0.4472136,0.0)

那就是它!我们的规范化矢量\ hat {v_ {d_4}}现在有一个l2-norm\ | \ hat {v_ {d_4}} \ | _2 = 1.0

注意,这里我们已经规范化了术语频率文档向量,但稍后我们将在计算tf idf之后进行规范化。

术语频率-反文档频率(tf-idf)权重

现在你已经了解了矢量归在理论和实践是如何工作的,让我们继续我们的教程。假设你有你的收藏(从教程的第一部分拍摄)在下列文件:

火车文件集:D1:天空是蓝色的。D2:太阳很明亮。测试文件集:D3:天空中的太阳很明亮。D4:我们可以看到闪亮的阳光,明亮的阳光。

您的文档空间可以定义为d = \ {d_1,d_2,\ ldots,d_n \}在哪里N是在你的文集文档的数量,并在我们的情况下,D{train}=\{D\u 1,D\u 2\}d_ {test} = \ {d_3,d_4 \}.我们的文档空间的基数定义为\左| {{D_火车}} \右|= 2\左|{D{test}}\右|=2,因为我们只有两个文档用于培训和测试,但它们显然不需要具有相同的基数。

我们现在看,如何定义IDF(逆文档频率):

\ displaystyle \ mathrm {idf} (t) = \ log{\压裂{\左| D \右|}{1 +左| \ \ {D: t \ D \} \右|}}

在哪里{d: t \in d\}\右|是个文件数量这个术语在哪里T.出现,术语频率函数满足当\ mathrm {tf} (t, d) \ neq 0,我们只是将1添加到公式中以避免零分。

TF-IDF的公式是:

\ mathrm {tf \ mbox { - } IDF}(t)= \ mathrm {tf}(t,d)\ times \ mathrm {idf}(t)

此公式具有重要的结果:当您在给定文档中具有高术语频率(TF)时,达到了高重量的TF-IDF计算(本地参数)和整个集合中的术语的低文档频率(全局参数)。

现在让我们用我们在第一个教程中计算的术语频率来计算特征矩阵中每个特征的idf:

M_ {rain} = \ begin {bmatrix} 0&1&1&1 \\ 0&2&1&0 \ END {BMATRIX}

由于我们有4个功能,我们必须计算\ mathrm {IDF}(T_1)\数学{idf}(t_2)\数学{idf}(t_3)\ mathrm {idf} (t_4)

\ mathrm {IDF}(T_1)= \日志{\压裂{\左| d \右|} {1+ \左| \ {d:T_1 \在d \} \右|}} = \日志{\压裂{2} {1}} = 0.69314718

\ mathrm {idf}(t_2)= \ log {\ frac {\ left | d \ light |} {1+ \ left | \ {d:t_2 \在d \} \ light |}} = \ log {\ frac{2} {3}} = -0.40546511

\mathrm{idf}(t|3)=\log{\frac{\left}D\right}{1+\left}{D:t|3\in D\}\right}}=\log{\frac{2}{3}=-0.40546511

\ mathrm {IDF}(T_4)= \日志{\压裂{\左| d \右|} {1+ \左| \ {d:T_4 \在d \} \右|}} = \日志{\压裂{2} {2}} = 0.0

这些IDF权重可以由向量表示为:

\vec{idf_{train}} = (0.69314718, -0.40546511, -0.40546511, 0.0)

现在我们拥有我们的矩阵,具有术语频率(m_ {火车})和表示矩阵的每个特征的IDF的矢量(\ {VEC {idf_列车}}),我们可以计算我们的TF-IDF重量。我们要做的是矩阵中每列的简单乘法m_ {火车}与相应的\ {VEC {idf_列车}}矢量维度。为此,我们可以创建一个广场对角矩阵m_ {idf}竖直方向和水平方向都等于这个向量\ {VEC {idf_列车}}尺寸:

M_{idf} = begin{bmatrix} 0.69314718 & 0 & 0 & 0\\ 0 & -0.40546511 & 0\\ 0 & 0\\ 0 & -0.40546511 & 0\\ 0 & 0 & 0 & 0 & 0 & 0\ end{bmatrix}

然后将其乘以术语频率矩阵,最终结果可定义为:

M_{tf\mbox{-}idf} = M_{train} \乘以M_{idf}

请注意,矩阵乘法不是换向,结果一个\ times b会不会有不同的结果乙\一个时代,这就是为什么m_ {idf}是对乘法的右侧,以完成每个IDF值到其对应的特征相乘的期望的效果:

\ begin {bmatrix} \ mathrm {tf}(t_1,d_1)&\ mathrm {tf}(t_2,d_1)&\ mathrm {tf}(t_3,d_1)&\ mathrm {tf}(t_4,d_1)\\\ mathrm {tf}(t_1,d_2)&\ mathrm {tf}(t_2,d_2)&\ mathrm {tf}(t_3,d_2)&\ mathrm {tf}(t_4,d_2)\ ent {bmatrix} \ times\ begin {bmatrix} \ mathrm {idf}(t_1)&0&0&0 \\ 0&\ mathrm {idf}(t_2)&0&0&0&0&0 \\ 0&0&\ mathrm {idf}(t_3)&0 \\ 0&0&0&0&\ mathrm {idf}(t_4)\ neg {bmatrix} \\ = \ begin {bmatrix} \ mathrm {tf}(t_1,d_1)\ times \ mathrm {idf}(t_1)&\ mathrm {tf}(t_2,d_1)\ times \ mathrm {idf}(t_2)&\ mathrm {tf}(t_3,d_1)\ times \ mathrm {idf}(t_3)&\ mathrm {tf}(t_4那D._1) \times \mathrm{idf}(t_4)\\   \mathrm{tf}(t_1, d_2) \times \mathrm{idf}(t_1) & \mathrm{tf}(t_2, d_2) \times \mathrm{idf}(t_2) & \mathrm{tf}(t_3, d_2) \times \mathrm{idf}(t_3) & \mathrm{tf}(t_4, d_2) \times \mathrm{idf}(t_4)   \end{bmatrix}

现在让我们来看看这个乘法的一个具体的例子:

M_ {tf \ mbox {-} idf} = M_ M_ {idf{火车}\倍 } = \\   \ 开始{bmatrix} 0 & 1 & 1 & 1 \ \ 0 & 2 & 1 & 0 \ {bmatrix}结束\ * \ {bmatrix}开始0.69314718 & 0 & 0 & 0 \ \ 0 & -0.40546511 & 0 & 0 \ \ 0 & 0 & -0.40546511 & 0 \ \ & 0 & 0 & 0 \ {bmatrix结束 } \\   =   \ 开始{bmatrix} & -0.40546511 & -0.40546511 & 0 & -0.81093022 & \ \ 0-0.40546511 & 0 \end{bmatrix}

最后,我们可以把L2标准化过程应用到m_ {tf \ mbox { - } IDF}矩阵。请注意,这种标准化是“胜利”因为我们要处理矩阵的每一行作为一个被标准化的独立向量,而不是矩阵作为一个整体

M_ {TF \ MBOX { - } IDF} = \压裂{M_ {TF \ MBOX { - } IDF}} {\ | M_ {TF \ MBOX { - } IDF} \ | _2} = \ begin {bmatrix} 0&-0.70710678&0 \\ 0&-0.89442719&-0.4472136&0 \ end {bmatrix}

这就是我们的我们的测试文档集,这实际上是单位向量的集合的漂亮归TF-IDF权重。如果你把矩阵的每一行的L2范数,你会发现它们都具有1的L2范数。

Python练习

使用的环境Python v.2.7.2.Numpy 1.6.1Scipy v.0.9.0Sklearn(Scikits.Learn)V.0.9

现在是您等待的部分!在本节中,我将使用Python来显示使用Scikit.learn特征提取模块。

第一步是创建我们的培训和测试文档集和计算术语频率矩阵:

来自sklearn.feature_extraction.text导入countvectorizer train_set =(“天空是蓝色的。”,太阳很明亮。“)test_set =(”天空中的太阳很明亮。“,”我们可以看到闪亮的太阳,明亮的太阳。“)count_vectorizer = countvectorizer()count_vectorizer.fit_transform(train_set)打印”词汇表:“,count_vectorizer.vocubulary #ocomabulary:{'blue':0,'sun':1,'亮':2,'sky','sky':3} freq_term_matrix = count_vectorizer.transform(test_set)print freq_term_matrix.todense()#[[0 1 1 1]#[0 2 1 0]]

现在我们有频率术语矩阵(调用freq_term_matrix.),我们可以实例化tfidftransformer.,这将是负责来计算我们的词频矩阵TF-IDF权重:

从进口sklearn.feature_extraction.text TFIDF TfidfTransformer = TfidfTransformer(NORM = “L2”)tfidf.fit(freq_term_matrix)打印 “IDF:”,tfidf.idf_#IDF:[0.69314718 -0.40546511 -0.40546511 0]

请注意,我已经将规范指定为L2,这是可选的(实际上默认值是L2规范),但我添加了参数以明确说明它将使用L2规范。还请注意,通过访问名为idf_.现在合身()方法计算矩阵中的IDF上,让我们改造freq_term_matrix.到TF-IDF重量矩阵:

Tf_idf_matrix = tfidf.transform(freq_term_matrix) print Tf_idf_matrix .todense() # [[0.]-0.70710678 - -0.70710678 0。[0。-0.89442719 - -0.4472136 0。]]

就是这样tf_idf_matrix其实是我们以前的m_ {tf \ mbox { - } IDF}矩阵。你可以通过使用矢量器scikit.learn的类是一个自动结合的矢量器计数矢量器tfidftransformer.给你。看到这个例子要知道如何将其用于文本分类过程。

I really hope you liked the post, I tried to make it simple as possible even for people without the required mathematical background of linear algebra, etc. In the next Machine Learning post I’m expecting to show how you can use the tf-idf to calculate the cosine similarity.

如果你喜欢它,请随意评论,提出建议,改正,等等。

将本文引用:Christian S. Perone,“机器学习::文本特征提取(TF-IDF) - 第二部分,”亚洲金博宝Terra Incognita., 03/10/2011,//www.cpetem.com/2011/10/machine-learning-text-feature-extraction-tf-idf-part-ii/

参考文献

理解反向文档频率:关于IDF的理论论证

维基百科:: TF-IDF

经典的向量空间模型

Sklearn文本功能提取代码

更新

2015年3月13日-格式化,固定图像的问题。
2011年10月3日-添加了有关使用Python示例环境信息

103个想法“机器学习::文本特征提取(TF-IDF) - 第二部分”

  1. 哇!
    很好的tf-idf介绍,非常感谢!亚洲金博宝亚洲金博宝非常有趣,我一直想研究这个领域很长时间,你的帖子是一个真正的礼物。阅读更多关于该技术用例的亚洲金博宝内容将是非常有趣的。如果有其他的文本语料库表示方法,你可能会感兴趣。
    (对不起英语不好,我正在努力改进它,但还有很多工作要做)

  2. 出色的工作基督徒!我期待着阅读的文档分类你的下一个职位,聚类和主题提取朴素贝叶斯,随机梯度下降,Minibatch-K均值和非负矩阵分解

    而且,scikit学习的文档上的文本特征提取部分(我是罪魁祸首?)真的很差。如果你想给一个手并改善目前的状况,不要犹豫,加入邮件列表。

    1. 十分感谢奥利弗。我真的想帮助sklearn,我只是得到一些更多的时间来做到这一点,你们都做了伟大的工作,我真的在lib中已经实现的算法量折服,保持良好的工作!

  3. 我喜欢这个教程的新概念我在这里学习水平较好。
    也就是说,您使用的是哪个版本的scikits learn?。
    Easy_Install安装的最新似乎有一个不同的模块层次结构(i.e在Sklearn中没有找到Feature_Extraction)。如果您可以提及您使用的版本,我将尝试使用这些示例。

  4. 第3部分在哪里?我必须在4天内提交关于矢量空间建模的作业。任何期待在周末放弃吗?

  5. 谢谢基督徒!在传亚洲金博宝染媒介空间的一个非常好的工作与sklearn。我刚刚有一个问题,假设我已经计算了'tf_idf_matrix',我想计算成对余弦相似度(每个行之间)。我有稀疏矩阵格式的问题,可以请举一个例子吗?我的矩阵也很大,比如25k乘60k。非常感谢!

  6. 很棒的帖子......我明白TF-IDF以及如何用具体例子实现它。但我抓到了2件我不确定的东西:
    1-你调用2维矩阵M_train,但它具有D3和D4文件的TF值,所以你应该已经给那矩阵M_test而不是M_train。由于D3和D4是我们的测试文档。
    2-计算t2(即“太阳”)的idf值时,应为log(2/4)。因为文档的数量是2。D3有“太阳”一次,D4有两次。这使得它是3,但我们也给这个值加上1,以避免被0除的问题。这就是4…我是对的还是我遗漏了什么?
    谢谢你。

    1. 你是正确的:这些都是非常优秀的博客文章,但是作者真的有义务/责任回去改正错误,比如下面的(或者其他的,比如第一部分;……):缺少训练是重中之重;设置stop_words参数;在我的电脑上,词汇索引也是不同的。

      虽然我们非常感谢作者的努力,但对于那些纠结于原著中那些(未改正的)错误的人来说,这也是一种极大的伤害。

      1. 回复:我“你是正确的注释”(上),我应该补充:

        “......还注意到康斯登Passot的评论(下同)关于分母:

        '......我们使用的是,无论在任何给定文件中发生术语的次数,我们都使用的文件数量是术语的次数。在这种情况下,T2的IDF值中的分母确实是2 + 1(2个文件具有“SUN”,+1,以避免潜在的零分裂错误)。'“

    2. 哈立德,
      这是对一个老问题的回答。亚洲金博宝但是,我还是想回应交流我从文章中理解的东西。
      你的问题2:“当你计算t2 (sun)的idf值时,它应该是log(2/4)”
      我的理解是:log term的分母应该是(该term出现的文档数量+ 1),而不是该term出现的频率。术语“Sun”出现的文档数量是2 (D3中出现1次,D4中出现2次——总共在两个文档中出现3次。3为频次,2为文档数量)。因此分母是2 + 1 = 3。

  7. 棒极了!
    我有一些问题。从上个TF-IDF权重矩阵,我们怎么能拿到各自任期的重要性(例如,这是最重要的用语?)。我们如何使用这个矩阵对文件进行分类

  8. 太感谢了。你以如此简单的方式解释了它。它真的很有用。再次感谢很多。

  9. 我有同样的疑问,杰克(最后的评论)。从上个TF-IDF权重矩阵,我们怎么能拿到各自任期的重要性(例如,这是最重要的用语?)。我们如何利用这个矩阵来区分文档。

  10. 我有个问题..
    在TF-IDF操作之后,我们会获得一个值的Numpy数组。假设我们需要从数组中获取最高的50个值。我们怎样才能这样做?

    1. F(IDF)的高值,表示特定载体(或文件)具有较高的局部强度和低全球实力,在这种情况下,你可以假设,在它的条款具有很高的重要性本地和不能忽视的。针对funtion(TF),其中只有长期重复大量的时间给予更多重视的那些,其中大部分时间是不正确的建模技术比较。

  11. 嘿 ,
    感谢名单FR d code..was的确非亚洲金博宝常有帮助!

    1.对于文档聚类,在计算反向项频率后,shud i使用任何关联系数,如Jaccards系数,然后应用聚类算法,如k-means或shud i在计算反向项频率后直接将d k-means应用于文档向量?

    2.如何对文档聚类进行计算文档向量的倒数术语频率如何?

    由于一吨FR第四到来的答复!

  12. @Khalid:你在1中指出的-也让我困惑了一分钟(M_train vs M_test)。不过,我认为你在第二点上是错误的,因为我们使用的实际上是某个术语出现的文档数量,而不管该术语在任何给定文档中出现的次数。在这种情况下,t2(“sun”)的idf值的分母确实是2+1(2个文档使用术语“sun”,+1以避免潜在的零除法错误)。

    我喜欢阅读本系列的第三批呢!我特别想了解更多有关特征选择。是否有一个惯用的方式来获得最高的分数TF.IDF条款的排序列表?你将如何确定这些方面的整体?你将如何得到这是最负责高或低的余弦相似度(逐行)的条款?

    谢谢你的精彩帖子!

  13. 优秀的文章和TD-IDF标准化的良好介绍。

    您有一个非常明确和结构亚洲金博宝化的方式解释这些困难的概念。

    谢谢

      1. 亚洲金博宝非常好的和信息丰富的教程....请上传更多文档聚类过程相关的教程。

  14. 你能提供任何参考来使用tfidf做余弦相似度吗我们有tf-idf的矩阵我们如何使用它来计算余弦。谢谢你的精彩文章。

  15. 请纠正我,如果我拨错
    从“我们在第一个教程中计算过的频率”开始的公式:应该是Mtest而不是Mtrain。这些idf权值可以用向量表示为:"应该是idf_test而不是idf_train。

    顺便说一句伟大的系列赛,你可以给如何实施分类的简单的方法?

  16. 亚洲金博宝很好的帖子。恭喜!!

    为了展示你的成果,我有一个问题:

    我在维基百科读了:
    TF-IDF值与文档中出现的单词的次数成比例地增加,但是由语料库中的单词频率偏移,这有助于控制某些词语通常比其他词通常更常见。

    当我阅读它的时候,我明白了如果一个单词出现在所有文档中,那么它的重要性要低于只出现在一个文档中的单词:

    然而,在结果中,“太阳”或“明亮”一词比“天空”最重要。

    我不确定完全理解它。

  17. 好极了!我以前熟悉tf-idf,但我发现你的scikits的例子很有帮助,因为我正试图学习那个包。

  18. 棒极了!偶然发现这篇文章是为了寻找更多关于CountVectorizer的信息,但我很高兴我阅读了你们的两篇文章(第1部分和第2部分)。

    现在为您的博客添加书签

  19. 似乎不像你描述的fit_transform() ..
    任何想法为什么?
    >>> TS.
    ('天空是蓝色','太阳很明亮')
    >>> v7 = CountVectorizer()
    > > > v7.fit_transform (ts)
    <2×2类型稀疏矩阵"
    具有4个存储元素,坐标格式>
    >>>打印v7.vocabulary_
    {U'IS':0,U'the':1}

    1. 实际上,第一个Python样本中有两个小错误。
      1.CountVectorizer应该像这样实例化:
      count_vectorizer = countvectorizer(stop_words ='英语')
      这将确保删除“是”、“是”等。

      2.要打印词汇表,必须在末尾添加下划线。
      打印“词汇:”,count_vectorizer.vocabulary_

      优秀的教程,只是小事情。hoep它可以帮助别人。

  20. 谢谢你精彩的解释。

    我有一个关于IDF(T#)的计算问题。
    在第一种情况下,你写idf(t1) = log(2/1),因为我们的集合中没有这个项,因此,分母加1。现在,对于t2,你写的是log(2/3)为什么分母是3而不是4 (=1+2+1)对于t3,你写:log(2/3),因此分母等于3(=1+1+1)。我看到这里有点不一致。你能解释一下,分母是怎么计算出来的吗?

    谢谢

    1. 您遇到了错误的是,在分母中,您没有在每个文档中将术语的总和放在每个文档中,只需总结至少一个术语“术语”的所有文件。

  21. 这是很好的,如果你能提供的方式来知道如何使用FT-IDF中的文档分类。我看到示例(Python代码),但如果有算法是最好的,因为没有所有的人都能理解这种语言。

    谢谢

  22. 好的。解释有助于将事物置于视角。TF-IDF是群集的好方法(例如,使用Jaccard分析或差异与来自已知语料库的平均值)?

    继续写:)

  23. 嗨基督徒,

    读了这篇文章,我感到非常亚洲金博宝兴奋和幸运。您理解的清晰反映在文档的清晰中。这让我在机器学习领域重拾信心。

    由于一吨为美丽的解释。

    想从你更多。

    谢谢

  24. 谢谢你的好包。你提到了一些比较L1和L2规范的论文,我计划更深入地研究这一点。你还知道他们的名字吗?

  25. 如何计算我自己的文本文件的TF IDF,该文件位于我的电脑中的一些位置?

  26. 才华横溢的文章。

    到目前为止,这是我读过的关于tf-tdf的最简单、最合理的解释。我很喜欢你解释背后的数学原理。

  27. 嗨,好帖子!我正在使用scikit中的TfidVectorizer模块学习生成范数为l2的tf idf矩阵。在对语料库进行fit_变换后,我一直在检查tfidf向量器的输出,我称之为tfidf_矩阵。我已经把这些行加了起来,但它们的总和不是1。代码为vect=TfidfVectorizer(使用_idf=True,sublunar_tf=True,norm=“l2”)。tfidf_矩阵=向量拟合_变换(数据)。当我运行tfidf_matrix.sum(轴=1)时,向量大于1。也许我看错了矩阵,或者我误解了标准化的工作原理。我希望有人能澄清这一点!谢谢

  28. 请问你在计算IDF的时候,比如log(2/1),你是用log以10 (e)为底还是用其他的值?我得到了不同的计算!

  29. 很好的教程,刚刚在ML中开始了一项新的工作,这非常清楚地解释了应该做的事情。亚洲金博宝

  30. Execellent Post ...... !!!感谢本文的很多。

    但是,我需要更多的信息,当你展示实际使用python,你可以为它提供JAVA语言..

  31. 我有点困惑,为什么TF-IDF在这种情况下,给出了负数?我们如何解读?纠正我,如果我错了,但是当载体为正值,这意味着该组件的大小确定字是该文件中有多么重要。如果是负数,我不知道如何解释它。如果我是采取向量的点积与所有积极的部件和一个负组件,这将意味着,一些部件可能负点积贡献,即使在载体有一个特定的词非常高的重视。亚洲金博宝

  32. 你好,
    非常感谢您对此主题的详细说明,真的很棒。无论如何,你能给我一个暗示我继续看到的错误的源泉:

    频率项矩阵=计数向量器.变换(测试集)
    AttributeError: ' matrix ' object has no attribute ' transform '

    我使用sklearn的版本错误?

  33. 真棒简单而有效的explaination.Please发布更多的话题与这样真棒explainations.Looking着为即将到来的文章。
    谢谢

  34. 谢谢克里斯,你是网络上唯一一个关于对角线矩阵的网络。

  35. 我明白了TF-IDF计算过程。但该矩阵是什么意思,我们如何使用TFIDF矩阵来计算相似性让我感到困惑。你能解释一下,我们如何使用TFIDF矩阵.thanks

  36. 最好的解释..非常有帮助。亚洲金博宝你能告诉我如何在SVM中的文本分类中绘制矢量。我正在研究推文分类。我很困惑,请帮帮我。

  37. 嗨,我很抱歉,如果我弄错了,但我无法理解如何|| vd4 || 2 = 1。
    d4的值=(0.0,0.89,0.44,0.0),因此标准化将是=sqrt(平方(.89)+平方(.44))=sqrt(.193)=.44
    所以我有没有遗漏了什么?请帮我明白了。

  38. 嗨,这是一个伟大的博客!
    如果我需要做双克的情况下,我该如何使用sklearn来完成呢?

  39. 它非常伟大。亚洲金博宝我喜欢你的教导。亚洲金博宝非常非常棒

  40. 当我执行相同的脚本时,我没有得到同样的结果。
    print (" IDF: ", tfidf.idf_): IDF: [2.09861229 1. print (" IDF: ", tfidf.idf_);1.40546511 - 1。]

    我的Python版本:3.5
    Scikit学习版本为:o.18.1

    我需要改变什么?可能的错误是什么?

    谢谢,

    1. 可能有很多原因,因为你使用的是不同的Python解释器版本和不同的Scikit-Learn版本,你应该会看到结果的不同,因为它们可能改变了默认参数、算法、舍入等。

  41. 完美的介绍!
    没有的变戏法。清晰而简单,就像技术应该的那样。
    亚洲金博宝很有帮助
    非常感谢。亚洲金博宝
    张贴!
    Obrigado

  42. 为什么| D |= 2,在IDF方程中。不应该是4以来| D |表示所考虑的文件数,我们有2个测试,2来自火车。

  43. 嗨,克里斯汀
    你的帖子对我从基础上理解tfd-idf很有帮助。我正在做一个分类项目,我使用向量空间模型,这将决定我的测试文档应该出现的类别。这是机器学习的一部分。如果你能给我一些相关的建议就太好了。我在这一点上卡住了。
    谢谢你

  44. 请参阅此示例,了解如何将其用于文本分类过程。“此”链接不再起作用。你能为这个例子提供一个相关的链接吗。

    谢谢

  45. 当然有很大的了解这个问题。我真的很喜欢所有的点,你做。

  46. 1vbxlh你已经提出了一个非常精彩的细节,欣赏它的帖子。亚洲金博宝

  47. 我知道这个网站提供基于高质量的文章或
    评论和其他数据,还有没有其他的网页呈现这类
    信息的质量?

  48. 在第一个例子中。IDF(T1),计算器的日志(2/1)= 0.3010。为什么他们获得0.69 ..请问错误吗?

答复食品植物组织取消回复

您的电子邮件地址不会被公开。

这个网站使用Akismet来减少垃圾邮件。了解如何处理评论数据