# 机器学习::文本特征提取（TF-IDF） - 第一部分I

Read the first part of this tutorial:文本特征提取（TF-IDF） - 第一部分

This post is a延续在哪里，我们开始学习有关文本特征提取和向量空间模型表示的理论和实践的第一部分。我真的建议你阅读第一部分of the post series in order to follow this second post.

Since a lot of people liked the first part of this tutorial, this second part is a little longer than the first.

### 介绍

In the first post, we learned how to use theterm-frequency以表示在矢量空间的文本信息。然而，与术语频率方法的主要问题是，它大大加快了频繁的条款和规模下降，这比高频方面经验更丰富罕见的条款。基本的直觉是，在许多文件中经常出现的一个术语不太好鉴别，真正有意义的（至少在许多实验测试）;这里最重要的问题是：你为什么会在例如分类问题，强调术语，是在你的文档的整个语料库几乎礼物？

The tf-idf weight comes to solve this problem. What tf-idf gives is how important is a word to a document in a collection, and that’s why tf-idf incorporates local and global parameters, because it takes in consideration not only the isolated term but also the term within the document collection. What tf-idf then does to solve that problem, is to scale down the frequent terms while scaling up the rare terms; a term that occurs 10 times more than another isn’t 10 times more important than it, that’s why tf-idf uses the logarithmic scale to do that.

### 矢量归

D4：我们可以看到闪亮的阳光，明亮的阳光下。

$\ {VEC V_ {D_4}} =（0,2,1,0）$

$\的DisplayStyle \帽子{V} = \压裂{\ vec的{V}} {\ | \ vec的{V} \ | _p}$

Where the$\帽子{V}$是单位矢量，或者归一化矢量，所述$\vec{v}$在矢量将被归一化和$\ | \ VEC {V} \ | _p$是矢量的范数（大小，长度）$\vec{v}$在里面$L^p$空间（别担心，我将所有的解释）。

### Lebesgue spaces

Usually, the length of a vector$\ {VEC U】=（U_1，U_2，U_3，\ ldots，u_n）$is calculated using the欧几里得范一个准则是在矢量空间中分配一个严格正长度或大小于所有矢量的函数-, which is defined by:

$\|\vec{u}\| = \sqrt{u^2_1 + u^2_2 + u^2_3 + \ldots + u^2_n}$

$\displaystyle \|\vec{u}\|_p = ( \left|u_1\right|^p + \left|u_2\right|^p + \left|u_3\right|^p + \ldots + \left|u_n\right|^p )^\frac{1}{p}$

$\displaystyle \|\vec{u}\|_p = (\sum\limits_{i=1}^{n}\left|\vec{u}_i\right|^p)^\frac{1}{p}$

$\的DisplayStyle \ | \ VEC【U} \ | _1 =（\左| U_1 \右| + \左| U_2 \右| + \左| U_3 \右| + \ ldots + \左| u_n \右|）$

Taxicab geometry versus Euclidean distance: In taxicab geometry all three pictured lines have the same length (12) for the same route. In Euclidean geometry, the green line has length$6 \倍\ SQRT {2} \约8.48$，并且是唯一的最短路径。

Note that you can also use any norm to normalize the vector, but we’re going to use the most common norm, the L2-Norm, which is also the default in the 0.9 release of thescikits.learn。You can also find papers comparing the performance of the two approaches among other methods to normalize the document vector, actually you can use any other method, but you have to be concise, once you’ve used a norm, you have to use it for the whole process directly involving the norm (即所使用的L1范数的单位矢量是不会具有长度1，如果你要以后采取其L2范数).

### 返回矢量归

$\帽子{V}= \frac{\vec{v}}{\|\vec{v}\|_p} \\ \\ \hat{v_{d_4}} = \frac{\vec{v_{d_4}}}{||\vec{v_{d_4}}||_2} \\ \\ \\ \hat{v_{d_4}} = \frac{(0,2,1,0)}{\sqrt{0^2 + 2^2 + 1^2 + 0^2}} \\ \\ \hat{v_{d_4}} = \frac{(0,2,1,0)}{\sqrt{5}} \\ \\ \small \hat{v_{d_4}} = (0.0, 0.89442719, 0.4472136, 0.0)$

### The term frequency – inverse document frequency (tf-idf) weight

Now you have understood how the vector normalization works in theory and practice, let’s continue our tutorial. Suppose you have the following documents in your collection (taken from the first part of tutorial):

火车文档集：D1：天空是蓝色的。D2：阳光灿烂。测试文档集：D3：在天空，阳光灿烂。D4：我们可以看到闪亮的阳光，明亮的阳光下。

$\displaystyle \mathrm{idf}(t) = \log{\frac{\left|D\right|}{1+\left|\{d : t \in d\}\right|}}$

where$\左| \ {d：T \在d \} \右|$是个number of documentswhere the term$t$appears, when the term-frequency function satisfies$\ mathrm {TF}（T，d）\ 0 NEQ$, we’re only adding 1 into the formula to avoid zero-division.

$\ mathrm {TF \ MBOX { - } IDF}（T）= \ mathrm {TF}（T，d）\倍\ mathrm {IDF}（t）的$

$M_ {}列车= \begin{bmatrix} 0 & 1 & 1 & 1\\ 0 & 2 & 1 & 0 \end{bmatrix}$

Since we have 4 features, we have to calculate$\mathrm{idf}(t_1)$,$\ mathrm {IDF}（T_2）$,$\ mathrm {IDF}（t_3处）$,$\ mathrm {IDF}（T_4）$:

$\mathrm{idf}(t_1) = \log{\frac{\left|D\right|}{1+\left|\{d : t_1 \in d\}\right|}} = \log{\frac{2}{1}} = 0.69314718$

$\ mathrm {IDF}（T_2）= \log{\frac{\left|D\right|}{1+\left|\{d : t_2 \in d\}\right|}} = \log{\frac{2}{3}} = -0.40546511$

$\ mathrm {IDF}（t_3处）= \日志{\压裂{\左| d \右|} {1+ \左| \ {d：t_3处\在d \} \右|}} = \日志{\压裂{2} {3}} = -0.40546511$

$\ mathrm {IDF}（T_4）= \日志{\压裂{\左| d \右|} {1+ \左| \ {d：T_4 \在d \} \右|}} = \日志{\压裂{2} {2}} = 0.0$

$\ {VEC {idf_列车}} =（0.69314718，-0.40546511，-0.40546511，0.0）$

$M_ {} IDF= \begin{bmatrix} 0.69314718 & 0 & 0 & 0\\ 0 & -0.40546511 & 0 & 0\\ 0 & 0 & -0.40546511 & 0\\ 0 & 0 & 0 & 0 \end{bmatrix}$

$M_ {TF \ MBOX { - } IDF} = M_ {火车} \倍M_ {IDF}$

Please note that the matrix multiplication isn’t commutative, the result of$A \乘以B$会比的结果不同$B \times A$，这就是为什么$M_ {} IDF$is on the right side of the multiplication, to accomplish the desired effect of multiplying each idf value to its corresponding feature:

$\begin{bmatrix} \mathrm{tf}(t_1, d_1) & \mathrm{tf}(t_2, d_1) & \mathrm{tf}(t_3, d_1) & \mathrm{tf}(t_4, d_1)\\ \mathrm{tf}(t_1, d_2) & \mathrm{tf}(t_2, d_2) & \mathrm{tf}(t_3, d_2) & \mathrm{tf}(t_4, d_2) \end{bmatrix} \times \begin{bmatrix} \mathrm{idf}(t_1) & 0 & 0 & 0\\ 0 & \mathrm{idf}(t_2) & 0 & 0\\ 0 & 0 & \mathrm{idf}(t_3) & 0\\ 0 & 0 & 0 & \mathrm{idf}(t_4) \end{bmatrix} \\ = \begin{bmatrix} \mathrm{tf}(t_1, d_1) \times \mathrm{idf}(t_1) & \mathrm{tf}(t_2, d_1) \times \mathrm{idf}(t_2) & \mathrm{tf}(t_3, d_1) \times \mathrm{idf}(t_3) & \mathrm{tf}(t_4, d_1) \times \mathrm{idf}(t_4)\\ \mathrm{tf}(t_1, d_2) \times \mathrm{idf}(t_1) & \mathrm{tf}(t_2, d_2) \times \mathrm{idf}(t_2) & \mathrm{tf}(t_3, d_2) \times \mathrm{idf}(t_3) & \mathrm{tf}(t_4, d_2) \times \mathrm{idf}(t_4) \end{bmatrix}$

Let’s see now a concrete example of this multiplication:

$M_ {TF \ MBOX { - } IDF} = M_ {火车} \倍M_ {IDF}= \\ \begin{bmatrix} 0 & 1 & 1 & 1\\ 0 & 2 & 1 & 0 \end{bmatrix} \times \begin{bmatrix} 0.69314718 & 0 & 0 & 0\\ 0 & -0.40546511 & 0 & 0\\ 0 & 0 & -0.40546511 & 0\\ 0 & 0 & 0 & 0 \end{bmatrix} \\ = \begin{bmatrix} 0 & -0.40546511 & -0.40546511 & 0\\ 0 & -0.81093022 & -0.40546511 & 0 \end{bmatrix}$

$M_{tf\mbox{-}idf} = \frac{M_{tf\mbox{-}idf}}{\|M_{tf\mbox{-}idf}\|_2}$ $= \begin{bmatrix} 0 & -0.70710678 & -0.70710678 & 0\\ 0 & -0.89442719 & -0.4472136 & 0 \end{bmatrix}$

And that is our pretty normalized tf-idf weight of our testing document set, which is actually a collection of unit vectors. If you take the L2-norm of each row of the matrix, you’ll see that they all have a L2-norm of 1.

### Python的实践

从sklearn.feature_extraction.text进口CountVectorizer train_set =（“天空是蓝色的。”，“阳光灿烂”。）TEST_SET =（“在天空中的太阳是光明的。”，“我们可以看到闪耀的太阳，。明亮的太阳“）count_vectorizer = CountVectorizer（）count_vectorizer.fit_transform（train_set）打印 ”词汇“，count_vectorizer.vocabulary＃词汇：{ '蓝'：0， '太阳'：1， '鲜艳'：2 '天空'：3} freq_term_matrix = count_vectorizer.transform（TEST_SET）打印freq_term_matrix.todense（）＃[[0 1 1 1]＃[0 2 1 0]]

from sklearn.feature_extraction.text import TfidfTransformer tfidf = TfidfTransformer(norm="l2") tfidf.fit(freq_term_matrix) print "IDF:", tfidf.idf_ # IDF: [ 0.69314718 -0.40546511 -0.40546511 0. ]

tf_idf_matrix = tfidf.transform（freq_term_matrix）打印tf_idf_matrix.todense（）＃[[0 -0.70710678 -0.70710678 0]＃[0 -0.89442719 -0.4472136 0]]

I really hope you liked the post, I tried to make it simple as possible even for people without the required mathematical background of linear algebra, etc. In the next Machine Learning post I’m expecting to show how you can use the tf-idf to calculate the cosine similarity.

Cite this article as: Christian S. Perone, "Machine Learning :: Text feature extraction (tf-idf) – Part II," inTerra Incognita，03/10/2011，//www.cpetem.com/2011/10/machine-learning-text-feature-extraction-tf-idf-part-ii/

### References

The classic Vector Space Model

Sklearn text feature extraction code

### 更新

2015年3月13日Formating, fixed images issues.
03 Oct 2011Added the info about the environment used for Python examples

## 103 thoughts to “Machine Learning :: Text feature extraction (tf-idf) – Part II”

1. Severtcev 说：

哇！
完美的前奏在TF-IDF，非常感谢你！亚洲金博宝亚洲金博宝很有意思，我想学这个领域很长一段时间，你的职位是一个真正的礼物。这将是非常有趣的阅读更多亚洲金博宝关于该技术的使用情况。而且可能是你有兴趣，请，摆脱对文本语料库表示的其他方法的一些光，如果他们存在？
（对不起，糟糕的英语，我正在努力对其进行改进，但仍然有很多工作要做的）

2. Excellent work Christian! I am looking forward to reading your next posts on document classification, clustering and topics extraction with Naive Bayes, Stochastic Gradient Descent, Minibatch-k-Means and Non Negative Matrix factorization

Also, the documentation of scikit-learn is really poor on the text feature extraction part (I am the main culprit…). Don’t hesitate to join the mailing list if you want to give a hand and improve upon the current situation.

1. Great thanks Olivier. I really want to help sklearn, I just have to get some more time to do that, you guys have done a great work, I’m really impressed by the amount of algorithms already implemented in the lib, keep the good work !

3. I like this tutorial better for the level of new concepts i am learning here.
这就是说，学习scikits您正在使用哪个版本？
最新通过的easy_install安装似乎有不同的模块层次结构（即没有找到sklearn feature_extraction）。如果你能提到你使用的版本，我只是尝试用这些例子。

1. 您好阿南德，我很高兴你喜欢它。我已经增加了大约只用一节“的Python惯例”之前，我使用的是scikits.learn 0.9（发布在几个星期前）环境的信息。

4. siamii 说：

哪里是第3部分？我必须提交在4天内向量空间模型的分配。把它在周末的希望吗？

1. 我没有时间来发布它，因为我没有任何时间来写吧=（

5. 说：

再次感谢这个完整和明确的教程和我在等待即将到来的部分。

6. 吴季刚 说：

由于基督徒！与s亚洲金博宝klearn向量空间很不错的工作。我只有一个问题，假设我已经计算了“tf_idf_matrix”，我想计算成对余弦相似性（每行之间）。我是有问题的稀疏矩阵格式，你可以请给出这样的例子？也是我的基质是相当大的，由60K说25K。非常感谢！

7. Khalid 说：

Great post… I understand what tf-idf and how to implement it with a concrete example. But I caught 2 things that I’m not sure about:
1- You called the 2 dimensional matrix M_train, but it has the tf values of the D3 and D4 documents, so you should’ve called that matrix M_test instead of M_train. Because D3 and D4 are our test documents.
2 - 当你计算IDF值的T2（这是“太阳”），它应该是日志（2/4）。因为文件的数目是2 D3有词“太阳” 1次，D4有它的2倍。这使得3，但是我们也加1到值摆脱0分的问题。这使得4 ...我说得对不对还是我失去了一些东西？
Thank you.

1. Victoria 说：

你是正确的：这些都是优秀的博客文章，但作者真的有责任/责任回去和纠正错误，这样的（和其他人，例如，第1部分; ...）：缺席训练下划线;设置STOP_WORDS参数;还我的电脑上，词汇索引是不同的。

正如我们赞赏的努力（荣誉的作者！），它也是一个显著伤害那些谁斗争过去在原有材料的（未修正）的错误。

1. Victoria 说：

re: my ‘you are correct comment’ (above), I should have added:

“… noting also Frédérique Passot’s comment (below) regarding the denominator:

“......我们用的是什么确实是在发生的一个术语，无论任何给定的文档中出现的术语次数的文件数量。在这种情况下，然后，在用于T2（“太阳”）的IDF值分母确实2 + 1（2个文件具有“太阳”术语，1以避免潜在的零分割误差）。“

2. Yeshwant 说：

哈立德，
这是一个很古老的问题的答复。亚洲金博宝不过，我还是想回应沟通一下我从文章中了解。
你的问题2：“当你计算IDF值的T2（这是‘太阳’），它应该是日志（2/4）”
我的理解：在数项的分母应该是（一些文件，其中术语出现+ 1），而不是长期的频率。术语“太阳”出现的文件的数目是2（1次在D3和D4中的2倍 - 完全出现3次在两个文件3是频率和2是文件号）。因此，分母为2 + 1 = 3。

8. 阿尔苏 说：

thanks… excellent post…

9. Jack 说：

优秀的帖子！
我有一些问题。从上个TF-IDF权重矩阵，我们怎么能拿到各自任期的重要性（例如，这是最重要的用语？）。我们如何利用这个矩阵文件进行分类

10. Thanuj 说：

Thank You So Much. You explained it in such a simple way. It was really useful. Once again thanks a lot.

11. Thanuj 说：

I have same doubt as Jack(last comment). From the last tf-idf weight matrix, how can we get the importance of term respectively(e.g. which is the most important term?). How can we use this matrix to classify documents.

12. 丁丁 说：

我有个问题..
After the tf-idf operation, we get a numpy array with values. Suppose we need to get the highest 50 values from the array. How can we do that?

1. 阿什温sudhini 说：

high value of f(idf) denotes that the particular vector(or Document) has high local strength and low global strength, in which case you can assume that the terms in it has high significance locally and cant be ignored. Comparing against funtion(tf) where only the term repeats high number of times are the ones given more importance,which most of the times is not a proper modelling technique.

13. 维克拉姆Bakhtiani 说：

Hey ,
Thanx fr d code..was very helpful indeed !

1.适用于文档聚类，计算反相的术语频率之后，shud我使用任何关联性系数等Jaccards系数，然后应用聚类算法中像k均值或shud我计算反转术语频率后直接适用d k均值到文档向量？

2.您是如何评价倒词频为calcuating文档向量文本聚类？

谢谢a ton fr the forth coming reply!

14. @Khalid：你在1-指出什么让我困惑过了一分钟（M_train VS M_test）。我想你误会了你的第二点，不过，因为我们用的是什么是真正发生的一个术语，无论任何给定的文档中出现的术语次数的文件数量。在这种情况下，那么，在为T2（“太阳”）的IDF值分母确实2 + 1（2个文件具有的术语“太阳”，1以避免潜在的零分割误差）。

I’d love to read the third installment of this series too! I’d be particularly interested in learning more about feature selection. Is there an idiomatic way to get a sorted list of the terms with the highest tf.idf scores? How would you identify those terms overall? How would you get the terms which are the most responsible for a high or low cosine similarity (row by row)?

Thank you for the _great_ posts!

1. Varghese表示邦妮 说：

如果IDF（T2）进行登录2/4？

15. Matthys Meintjes 说：

Excellent article and a great introduction to td-idf normalization.

你必须解释这些复杂的概亚洲金博宝念非常清晰，结构化的方法。

谢谢！

1. 谢谢for the feedback Matthys, I’m glad you liked the tutorial series.

1. PARAM 说：

亚洲金博宝很不错的＆infomative教程...。请相关的上传文档聚类过程更多的教程。

16. Laurent 说：

Excellent article ! Thank you Christian. You did a great job.

17. 加文·伊戈尔 说：

您可以为使用TFIDF所以我们有TFIDF的矩阵，我们怎么可以用它来计算余弦做余弦相似度任何引用。感谢神奇的物品。

18. 薰衣草 说：

非常感谢这和彻底解释整个TF-IDF的事情。

1. 谢谢for the feedback, I’m glad you liked the tutorial series.

19. Please correct me if i’m worng
the formula after starting with “frequency we have calculated in the first tutorial:” should Mtest not Mtrain. also after starting ‘These idf weights can be represented by a vector as:” should be idf_test not idf_train.

Btw great series, can you give an simple approach for how to implement classification?

20. 迪夫亚 说：

优秀它真的帮助我度过VSM的概念和TF-IDF得到。由于基督教

21. 塞尔吉奥 说：

Very good post. Congrats!!

显示你的结果，我有个问题：

我读了维基百科：
The tf-idf value increases proportionally to the number of times a word appears in the document, but is offset by the frequency of the word in the corpus, which helps to control for the fact that some words are generally more common than others.

当我看到它，我明白，如果一个字中的所有文档apperars就是一个字只出现在一个文档中不太重要的：

然而，在结果中，“太阳”或“明亮”是比“天空”最重要的。

I’m not sure of understand it completly.

22. Awesome! Explains TF-IDF very well. Waiting eagerly for your next post.

23. 有一个明确的解释真棒工作。即使是外行人容易理解的主题..

1. 十分感谢您的反馈拉胡尔！

24. 苏珊 说：

了不起！我以前熟悉的TF-IDF，但我发现你scikits例子有益，因为我想学习那个包。

1. I’m glad you liked Susan, thanks for the feedback !

25. Thank you for writing such a detailed post. I learn allot.

26. Eugene Chinveeraphan 说：

优秀的帖子！一次偶然的机会找上CountVectorizer更多信息，无意中发现了这一点，但我很高兴我通过两个您的文章（第1部分和第2部分）的读取。

Bookmarking your blog now

1. Great thanks for the feedback Eugene, I’m really glad you liked the tutorial series.

27. 说：

Does not seem to fit_transform() as you describe..
Any idea why ?
>>> ts
（“天空是蓝色的”，“阳光灿烂”）
>>> v7 = CountVectorizer()
>>> v7.fit_transform（TS）
<2×2型的稀疏矩阵“”
用4个存储元件在坐标格式>
>>>打印v7.vocabulary_
{u’is’: 0, u’the’: 1}

1. Ash 说：

其实，还有第一个Python样本中的两个小错误。
1. CountVectorizer应该被实例化，如下所示：
count_vectorizer = CountVectorizer(stop_words='english')
这将确保“是”，“的”等被删除。

2.要打印的词汇，你必须在末尾添加下划线。
打印“词汇：” count_vectorizer.vocabulary_

Excellent tutorial, just small things. hoep it helps others.

1. 德罗戈 说：

谢谢ash. although the article was rather self explanatory, your comment made the entire difference.

28. 约翰·凯尔文 说：

我喜欢你的文章。

29. I’m using scikit learn v .14. Is there any reason my results for running the exact same code would result in different results?

30. Karthik 说：

感谢您抽出时间来写这篇文章。发现它非常有用。亚洲金博宝

31. Vijay 说：

它的有用... ..thank你解释非常精心的TD_IDF ..亚洲金博宝

32. Mike 说：

谢谢for the great explanation.

I have a question about calculation of the idf(t#).
在第一种情况下，你写的IDF（T1）=日志（2/1），因为我们没有我们收集此类条款，因此，我们添加1分母。现在，在T2的情况下，你写的日志（2/3），所以分母等于3，而不是4（= 1 + 2 + 1）？万一t3时，你写：日志（2/3），从而分母等于3（= 1 + 1 + 1）。我在这里看到的那种不一致性。你能不能，请解释一下，你是怎么计算的分母值。

谢谢。

1. 您好迈克，感谢您的反馈意见。你说得对，我只是还没有固定它尚未由于缺乏时间来审查它，并重新计算值。

2. xpsycho 说：

你理解错了，分母你不把这个词的总和每个文档中，你只是总结所有具有词的至少一个aparition的文件。

3. mik 说：

是的，我有同样的问题...

33. huda 说：

这是一个好职位

34. huda 说：

it is good if you can provide way to know how use ft-idf in classification of document. I see that example (python code) but if there is algorithm that is best because no all people can understand this language.

谢谢

35. Ganesh神 说：

伟大的职位，真正帮助我理解了TF-IDF的概念！

36. Samuel Kahn 说：

漂亮的文章

37. 尼斯。一种解释有助于正确看待这个事情。是TF-IDF的好办法做聚类（例如，从已知的语料用杰卡德分析或方差相对于平均值设定）？

Keep writing:)

38. 尼普雷姆 说：

Hi Christian,

这让我非常兴奋和幸运，读亚洲金博宝这篇文章。你理解的清晰反映了文件的清晰度。这让我重拾我的信心在机器学习领域。

由于一吨为美丽的解释。

Would like to read more from you.

谢谢，

1. 大感谢那种wors尼！我很高兴亚洲金博宝你喜欢本系列教程。

39. esra'a OK 说：

谢谢very very much,very wonderful and useful.

1. 谢谢for the feedback Esra’a.

40. 阿恩 说：

Thank you for the good wrap up. You mention a number of papers which compare L1 and L2 norm, I plan to study that a bit more in depth. You still know their names?

41. seher 说：

how can i calculate tf idf for my own text file which is located some where in my pc?

42. Shubham 说：

辉煌的文章。

到目前为止TF-TDF的最简单，最完善的解释，我读过。我真的很喜欢你如何解释数学后面。

43. mehrab 说：

superb article for newbies

1. Dayananda 说：

优良的材质。优秀的！！！

44. 起重机 说：

嗨，伟大的职位！我使用的是TfidVectorizer模块scikit学习产生与规范= L2的TF-IDF矩阵。我把它叫做tfidf_matrix语料的fit_transform后，我一直在检查TfidfVectorizer的输出。我总结了行，但他们并不总和为1的代码是VECT = TfidfVectorizer（use_idf =真，sublunar_tf =真，规范=” L2）。tfidf_matrix = vect.fit_transform（数据）。当我运行tfidf_matrix.sum（轴= 1）的载体是大于1也许我看错矩阵或我误解如何正常化的作品。我希望有人能澄清这一点！谢谢

45. 克里斯 说：

我能问你的时候计算的IDF，例如日志（2/1），你用日志基地10（E）或其他一些价值？我得到不同的计算！

46. Gonzalo G 说：

伟大的教程,刚开始一份新工作在毫升和this explains things very clearly as it should be.

47. Harsimranpal 说：

Execellent帖子...。！非常感谢这篇文章。

But I need more information, As you show the practical with python, Can you provide it with JAVA language..

48. 塞巴斯蒂安 说：

我有点困惑，为什么TF-IDF在这种情况下，给出了负数？我们如何解读？纠正我，如果我错了，但是当载体为正值，这意味着该组件的大小确定字是该文件中有多么重要。如果是负数，我不知道如何解释它。如果我是采取向量的点积与所有积极的部件和一个负组件，这将意味着，一些部件可能负点积贡献，即使在载体有一个特定的词非常高的重视。亚洲金博宝

49. 嗨，
非常感谢您对这个主题这个详细的解释，真是太好了。无论如何，你可以给我一个提示，这可能是我的错误，我不断看到的来源：

freq_term_matrix = count_vectorizer.transform（TEST_SET）
AttributeError的：“矩阵”对象没有属性“变换”

Am I using a wrong version of sklearn?

50. Mohit Gupta 说：

Awesome simple and effective explaination.Please post more topics with such awesome explainations.Looking forward for upcoming articles.
谢谢

51. 亚历山德罗 说：

谢谢克里斯，你是唯一一个谁是明确了对角矩阵在网络上。

52. ishpreet 说：

Great tutorial for Tf-Idf. Excellent work . Please add for cosine similarity also:)

53. sherlockatsz 说：

I understood the tf-idf calculation process. But what does that matrix mean and how can we use the tfidf matrix to calculate the similarity confuse me. can you explain that how can we use the tfidf matrix .thanks

54. lightningstrike 说：

thx for your explict&detailed explaination.

55. 匿名 说：

谢谢，nice post, I’m trying it out

56. 匿名 说：

Thank you so much for such an amazing detailed explanation!

57. Akanksha潘德 说：

best explanation.. Very helpful. Can you please tell me how to plot vectors in text classification in svm.. I am working on tweets classification. I am confused please help me.

58. 科希克 说：

我学到了很多东西。由于基督教。期待你的下一个教程。

59. Mhr 说：

嗨，I’m sorry if i have mistaken but i could not understand how is ||Vd4||2 = 1.
D4 =的值（0.0，0.89,0.44,0.0），因此归一化将是= SQRT（正方形（0.89）+平方（0.44））= SQRT（0.193）= 0.44
so what did i missed ? please help me to understand .

60. 李催情 说：

嗨，这是一个伟大的博客！
If I need to do bi-gram cases, how can I use sklearn to finish it?

61. 阿里 说：

这是非常大的亚洲金博宝。我喜欢你教。亚洲金博宝非常非常棒

62. 仅限Ritesh 说：

I am not getting same result, when i am executing the same script.
打印（“IDF：”，tfidf.idf_）：IDF：[2.09861229 1. 1.40546511 1]

My python version is: 3.5
Scikit了解的版本是：o.18.1

什么我需要改变？可能是什么可能的错误？

谢谢，

1. 它可以是很多东西，因为你使用的是不同的Python解释器的版本也不同Scikit-学习版，你应该会在结果的差异，因为他们可能已经改变了默认参数，算法，圆等

1. Ravithej Chikkala 说：

I am also getting: IDF: [2.09861229 1. 1.40546511 1. ]

63. Victor 说：

完美的介绍！
没有骗人把戏。清晰简单的，随着技术的应。
亚洲金博宝非常有帮助
Thank you very much.
请发帖！
Obrigado

64. 亚太区首席技术官Matt南卡尼 说：

为什么| d |= 2，在IDF方程。它不应该是4，因为| d |代表的审议的文件数量，我们有2从测试，2个来自火车。

65. LÊ VĂN HẠNH 说：

这篇文章很有意思。我喜欢这个岗位？

66. Bren 说：

clear cut and to the point explanations….great

67. Shipika Singh 说：

哎，HII基督教
your post is really helpful to me to understand tfd-idf from the basics. I’m working on a project of classification where I’m using vector space model which results in determining the categories where my test document should be present. its a part of machine learning . it would be great if you suggest me something related to that. I’m stuck at this point.
谢谢

68. Eshwar期基于g 说：

看到这个例子就知道如何使用它的文本分类过程。“这个”链接不起作用了。能否请您提供相关链接，例如。

谢谢

69. amanda 说：

such a great explanation! thankyou!

70. alternative investing 说：

哇，真棒post.Much再次感谢。将阅读

71. 和roid apps download for pc 说：

也就是说，如果你有一个很好的post.Really谢谢！太棒了。

72. togel在线 说：

Wow, great article post.Much thanks again. Awesome.

73. 手机电脑 说：

There is certainly a great deal to learn about this subject. I really like all the points you made.

74. chocopie 说：

1vbXlh You have brought up a very wonderful details , appreciate it for the post.

75. I know this site provides quality based articles or
reviews and additional data, is there any other web page which presents these kinds of
在质量信息？

76. 鲁塞 说：

在第一个例子。IDF（T1），日志（2/1）由计算器= 0.3010。为什么他们获得0.69 ..请有什么不对？