# 机器学习::文本特征提取（TF-IDF） - 第二部分

Since a lot of people liked the first part of this tutorial, this second part is a little longer than the first.

### 介绍

But let’s go back to our definition of the$\ mathrm {TF}（T，d）$这实际上是长期的长期计数$Ť$在文档中$d$。The use of this simple term frequency could lead us to problems like滥用关键字，which is when we have a repeated term in a document with the purpose of improving its ranking on an IR (信息检索) system or even create a bias towards long documents, making them look more important than they are just because of the high frequency of the term in the document.

To overcome this problem, the term frequency$\ mathrm {TF}（T，d）$of a document on a vector space is usually also normalized. Let’s see how we normalize this vector.

### 矢量归

D4：我们可以看到闪亮的阳光，明亮的阳光下。

And the vector space representation using the non-normalized term-frequency of that document was:

$\ {VEC V_ {D_4}} =（0,2,1,0）$

$\displaystyle \hat{v} = \frac{\vec{v}}{\|\vec{v}\|_p}$

$\帽子{V}$是单位矢量，或者归一化矢量，所述$\ VEC {V}$在矢量将被归一化和$\ | \ VEC {V} \ | _p$是个ñorm (magnitude, length) of the vector$\ VEC {V}$在里面$L^p$空间（别担心，我将所有的解释）。

### Lebesgue spaces

Usually, the length of a vector$\ {VEC U】=（U_1，U_2，U_3，\ ldots，u_n）$is calculated using the欧几里得范-一个准则是在矢量空间中分配一个严格正长度或大小于所有矢量的函数-, which is defined by:

$\ | \ VEC【U} \ |= \ SQRT【U ^ 2_1 + U ^ 2_2 + U ^ 2_3 + \ ldots + U ^ 2_n}$

But this isn’t the only way to define length, and that’s why you see (sometimes) a number$p$Ťogether with the norm notation, like in$\ | \ VEC【U} \ | _p$。这是因为它可以被概括为：

$\的DisplayStyle \ | \ VEC【U} \ | _p =（\左| U_1 \右| ^ P + \左| U_2 \右| ^ P + \左| U_3 \右| ^ P + \ ldots + \左|u_n \右| ^ p）^ \压裂{1} {p}$

$\的DisplayStyle \ | \ VEC【U} \ | _p =（\总和\ limits_ {I = 1} ^ {N} \左| \ VEC {U】_i \右| ^ P）^ \压裂{1} {P}$

So when you read about aL2范，you’re reading about the欧几里得范，a norm with$p = 2时$用于测量的矢量的长度的最常用标准，通常称为“大小”;其实，当你有一个不合格的长度测量（不$p$ñumber), you have theL2范（欧几里得范数）。

$\的DisplayStyle \ | \ VEC【U} \ | _1 =（\左| U_1 \右| + \左| U_2 \右| + \左| U_3 \右| + \ ldots + \左| u_n \右|）$

### Back to vector normalization

$\帽子{V}= \frac{\vec{v}}{\|\vec{v}\|_p} \\ \\ \hat{v_{d_4}} = \frac{\vec{v_{d_4}}}{||\vec{v_{d_4}}||_2} \\ \\ \\ \hat{v_{d_4}} = \frac{(0,2,1,0)}{\sqrt{0^2 + 2^2 + 1^2 + 0^2}} \\ \\ \hat{v_{d_4}} = \frac{(0,2,1,0)}{\sqrt{5}} \\ \\ \small \hat{v_{d_4}} = (0.0, 0.89442719, 0.4472136, 0.0)$

### 术语频率 - 逆文档频率（TF-IDF）重量

Now you have understood how the vector normalization works in theory and practice, let’s continue our tutorial. Suppose you have the following documents in your collection (taken from the first part of tutorial):

火车文档集：D1：天空是蓝色的。D2：阳光灿烂。测试文档集：D3：在天空，阳光灿烂。D4：我们可以看到闪亮的阳光，明亮的阳光下。

Your document space can be defined then as$d = \ {D_1，D_2，\ ldots，D_N \}$哪里$ñ$是个文件数in your corpus, and in our case as$D_{train} = \{d_1, d_2\}$$D_ {测试} = \ {D_3，D_4 \}$。我们的文档空间的基数被定义$\left|{D_{train}}\right| = 2$$\left|{D_{test}}\right| = 2$，since we have only 2 two documents for training and testing, but they obviously don’t need to have the same cardinality.

$\的DisplayStyle \ mathrm {IDF}（T）= \日志{\压裂{\左| d \右|} {1+ \左| \ {d：吨\在d \} \右|}}$

$\ mathrm {TF \ MBOX { - } IDF}（T）= \ mathrm {TF}（T，d）\倍\ mathrm {IDF}（t）的$

$M_ {}列车= \begin{bmatrix} 0 & 1 & 1 & 1\\ 0 & 2 & 1 & 0 \end{bmatrix}$

$\ mathrm {IDF}（T_1）= \日志{\压裂{\左| d \右|} {1+ \左| \ {d：T_1 \在d \} \右|}} = \日志{\压裂{2} {1}} = 0.69314718$

$\ mathrm {IDF}（T_2）= \日志{\压裂{\左| d \右|} {1+ \左| \ {d：T_2 \在d \} \右|}} = \日志{\压裂{2} {3}} = -0.40546511$

$\mathrm{idf}(t_3) = \log{\frac{\left|D\right|}{1+\left|\{d : t_3 \in d\}\right|}} = \log{\frac{2}{3}} = -0.40546511$

$\ mathrm {IDF}（T_4）= \日志{\压裂{\左| d \右|} {1+ \左| \ {d：T_4 \在d \} \右|}} = \日志{\压裂{2} {2}} = 0.0$

$\ {VEC {idf_列车}} =（0.69314718，-0.40546511，-0.40546511，0.0）$

$M_ {} IDF= \begin{bmatrix} 0.69314718 & 0 & 0 & 0\\ 0 & -0.40546511 & 0 & 0\\ 0 & 0 & -0.40546511 & 0\\ 0 & 0 & 0 & 0 \end{bmatrix}$

$M_ {TF \ MBOX { - } IDF} = M_ {火车} \倍M_ {IDF}$

$\begin{bmatrix} \mathrm{tf}(t_1, d_1) & \mathrm{tf}(t_2, d_1) & \mathrm{tf}(t_3, d_1) & \mathrm{tf}(t_4, d_1)\\ \mathrm{tf}(t_1, d_2) & \mathrm{tf}(t_2, d_2) & \mathrm{tf}(t_3, d_2) & \mathrm{tf}(t_4, d_2) \end{bmatrix} \times \begin{bmatrix} \mathrm{idf}(t_1) & 0 & 0 & 0\\ 0 & \mathrm{idf}(t_2) & 0 & 0\\ 0 & 0 & \mathrm{idf}(t_3) & 0\\ 0 & 0 & 0 & \mathrm{idf}(t_4) \end{bmatrix} \\ = \begin{bmatrix} \mathrm{tf}(t_1, d_1) \times \mathrm{idf}(t_1) & \mathrm{tf}(t_2, d_1) \times \mathrm{idf}(t_2) & \mathrm{tf}(t_3, d_1) \times \mathrm{idf}(t_3) & \mathrm{tf}(t_4, d_1) \times \mathrm{idf}(t_4)\\ \mathrm{tf}(t_1, d_2) \times \mathrm{idf}(t_1) & \mathrm{tf}(t_2, d_2) \times \mathrm{idf}(t_2) & \mathrm{tf}(t_3, d_2) \times \mathrm{idf}(t_3) & \mathrm{tf}(t_4, d_2) \times \mathrm{idf}(t_4) \end{bmatrix}$

Let’s see now a concrete example of this multiplication:

$M_ {TF \ MBOX { - } IDF} = M_ {火车} \倍M_ {IDF}= \\ \begin{bmatrix} 0 & 1 & 1 & 1\\ 0 & 2 & 1 & 0 \end{bmatrix} \times \begin{bmatrix} 0.69314718 & 0 & 0 & 0\\ 0 & -0.40546511 & 0 & 0\\ 0 & 0 & -0.40546511 & 0\\ 0 & 0 & 0 & 0 \end{bmatrix} \\ = \begin{bmatrix} 0 & -0.40546511 & -0.40546511 & 0\\ 0 & -0.81093022 & -0.40546511 & 0 \end{bmatrix}$

$M_ {TF \ MBOX { - } IDF} = \压裂{M_ {TF \ MBOX { - } IDF}} {\ | M_ {TF \ MBOX { - } IDF} \ | _2}$ $= \begin{bmatrix} 0 & -0.70710678 & -0.70710678 & 0\\ 0 & -0.89442719 & -0.4472136 & 0 \end{bmatrix}$

And that is our pretty normalized tf-idf weight of our testing document set, which is actually a collection of unit vectors. If you take the L2-norm of each row of the matrix, you’ll see that they all have a L2-norm of 1.

### Python的实践

Now the section you were waiting for ! In this section I’ll use Python to show each step of the tf-idf calculation using theScikit.learn特征提取模块。

从sklearn.feature_extraction.text进口CountVectorizer train_set =（“天空是蓝色的。”，“阳光灿烂”。）TEST_SET =（“在天空中的太阳是光明的。”，“我们可以看到闪耀的太阳，。明亮的太阳“）count_vectorizer = CountVectorizer（）count_vectorizer.fit_transform（train_set）打印 ”词汇“，count_vectorizer.vocabulary＃词汇：{ '蓝'：0， '太阳'：1， '鲜艳'：2 '天空'：3} freq_term_matrix = count_vectorizer.transform（TEST_SET）打印freq_term_matrix.todense（）＃[[0 1 1 1]＃[0 2 1 0]]

from sklearn.feature_extraction.text import TfidfTransformer tfidf = TfidfTransformer(norm="l2") tfidf.fit(freq_term_matrix) print "IDF:", tfidf.idf_ # IDF: [ 0.69314718 -0.40546511 -0.40546511 0. ]

Note that I’ve specified the norm as L2, this is optional (actually the default is L2-norm), but I’ve added the parameter to make it explicit to you that it it’s going to use the L2-norm. Also note that you can see the calculated idf weight by accessing the internal attribute calledidf_。现在fit()我Ťhod has calculated the idf for the matrix, let’s transform thefreq_term_matrix到TF-IDF权重矩阵：

tf_idf_matrix = tfidf.transform（freq_term_matrix）打印tf_idf_matrix.todense（）＃[[0 -0.70710678 -0.70710678 0]＃[0 -0.89442719 -0.4472136 0]]

I really hope you liked the post, I tried to make it simple as possible even for people without the required mathematical background of linear algebra, etc. In the next Machine Learning post I’m expecting to show how you can use the tf-idf to calculate the cosine similarity.

If you liked it, feel free to comment and make suggestions, corrections, etc.

### 参考

Understanding Inverse Document Frequency: on theoretical arguments for IDF

Sklearn文本特征提取码

### 更新

2015年3月13日-Formating, fixed images issues.
2011 10月3日-添加了有关使用Python示例环境信息

## 103个想法“机器学习::文本特征提取（TF-IDF） - 第二部分”

1. Severtcev 说：

哇！
Perfect intro in tf-idf, thank you very much! Very interesting, I’ve wanted to study this field for a long time and you posts it is a real gift. It would be very interesting to read more about use-cases of the technique. And may be you’ll be interested, please, to shed some light on other methods of text corpus representation, if they exists?
（对不起，糟糕的英语，我正在努力对其进行改进，但仍然有很多工作要做的）

2. Excellent work Christian! I am looking forward to reading your next posts on document classification, clustering and topics extraction with Naive Bayes, Stochastic Gradient Descent, Minibatch-k-Means and Non Negative Matrix factorization

而且，scikit学习的文档上的文本特征提取部分（我是罪魁祸首？）真的很差。如果你想给一个手并改善目前的状况，不要犹豫，加入邮件列表。

1. 十分感谢奥利弗。我真的想帮助sklearn，我只是得到一些更多的时间来做到这一点，你们都做了伟大的工作，我真的在lib中已经实现的算法量折服，保持良好的工作！

3. I like this tutorial better for the level of new concepts i am learning here.
That said, which version of scikits-learn are you using?.
最新通过的easy_install安装似乎有不同的模块层次结构（即没有找到sklearn feature_extraction）。如果你能提到你使用的版本，我只是尝试用这些例子。

1. Hello Anand, I’m glad you liked it. I’ve added the information about the environment used just before the section “Python practice”, I’m using the scikits.learn 0.9 (released a few weeks ago).

4. siamii 说：

哪里是第3部分？我必须提交在4天内向量空间模型的分配。把它在周末的希望吗？

1. 我没有时间来发布它，因为我没有任何时间来写吧=（

5. 说：

再次感谢这个完整和明确的教程和我在等待即将到来的部分。

6. Jason Wu 说：

由于基督徒！与s亚洲金博宝klearn向量空间很不错的工作。我只有一个问题，假设我已经计算了“tf_idf_matrix”，我想计算成对余弦相似性（每行之间）。我是有问题的稀疏矩阵格式，你可以请给出这样的例子？也是我的基质是相当大的，由60K说25K。非常感谢！

7. 哈立德 说：

伟大的职位......我明白了什么TF-IDF以及如何与一个具体的例子实施。但我发现2周的事情，我不知道：
1- You called the 2 dimensional matrix M_train, but it has the tf values of the D3 and D4 documents, so you should’ve called that matrix M_test instead of M_train. Because D3 and D4 are our test documents.
2- When you calculate the idf value for the t2 (which is ‘sun’) it should be log(2/4). Because number of the documents is 2. D3 has the word ‘sun’ 1 time, D4 has it 2 times. Which makes it 3 but we also add 1 to that value to get rid of divided by 0 problem. And this makes it 4… Am I right or am I missing something?
谢谢。

1. 胜利者ia 说：

You are correct: these are excellent blog articles, but the author REALLY has a duty/responsibility to go back and correct errors, like this (and others, e.g. Part 1; …): missing training underscores; setting the stop_words parameter; also on my computer, the vocabulary indexing is different.

As much as we appreciate the effort (kudos to the author!), it is also a significant disservice to those who struggle past those (uncorrected) errors in the original material.

1. 胜利者ia 说：

回复：我“你是正确的注释”（上），我应该补充：

“......还注意到康斯登Passot的评论（下同）关于分母：

“......我们用的是什么确实是在发生的一个术语，无论任何给定的文档中出现的术语次数的文件数量。在这种情况下，然后，在用于T2（“太阳”）的IDF值分母确实2 + 1（2个文件具有“太阳”术语，1以避免潜在的零分割误差）。“

2. Yeshwant 说：

哈立德，
这是一个很古老的问题的答复。亚洲金博宝不过，我还是想回应沟通一下我从文章中了解。
你的问题2：“当你计算IDF值的T2（这是‘太阳’），它应该是日志（2/4）”
My understanding: The denominator in log term should be (number of documents in which the term appears + 1) and not frequency of the term. The number of documents the term “Sun” appears is 2 (1 time in D3 and 2 times in D4 — totally it appears 3 times in two documents. 3 is frequency and 2 is number of documents). Hence the denominator is 2 + 1 = 3.

8. arzu 说：

感谢...优良的帖子...

9. 插口 说：

excellent post!
我有一些问题。从上个TF-IDF权重矩阵，我们怎么能拿到各自任期的重要性（例如，这是最重要的用语？）。我们如何利用这个矩阵文件进行分类

10. Thanuj 说：

非常感谢。你在这样一个简单的方法来解释它。这是非常有用的。再次感谢了很多。

11. Thanuj 说：

我有同样的疑问，杰克（最后的评论）。从上个TF-IDF权重矩阵，我们怎么能拿到各自任期的重要性（例如，这是最重要的用语？）。我们如何利用这个矩阵来区分文档。

12. 丁丁 说：

我有个问题..
在TF-IDF操作后，我们得到与值的numpy的阵列。假设我们需要从阵列中获得最高50个值。我们怎样才能做到这一点？

1. 阿什温sudhini 说：

F（IDF）的高值，表示特定载体（或文件）具有较高的局部强度和低全球实力，在这种情况下，你可以假设，在它的条款具有很高的重要性本地和不能忽视的。针对funtion（TF），其中只有长期重复大量的时间给予更多重视的那些，其中大部分时间是不正确的建模技术比较。

13. 维克拉姆Bakhtiani 说：

嘿，
Thanx fr d code..was very helpful indeed !

1.For document clustering,after calculating inverted term frequency, shud i use any associativity coefficient like Jaccards coefficient and then apply the clustering algo like k-means or shud i apply d k-means directly to the document vectors after calculating inverted term frequency ?

2.您是如何评价倒词频为calcuating文档向量文本聚类？

谢谢a ton fr the forth coming reply!

14. @Khalid: what you’re pointing out in 1- got me confused too for a minute (M_train vs M_test). I think you are mistaken on your second point, though, because what we are using is really the number of documents in which a term occurs, regardless of the number of times the term occurs in any given document. In this case, then, the denominator in the idf value for t2 (“sun”) is indeed 2+1 (2 documents have the term “sun”, +1 to avoid a potential zero division error).

我喜欢阅读本系列的第三批呢！我特别想了解更多有关特征选择。是否有一个惯用的方式来获得最高的分数TF.IDF条款的排序列表？你将如何确定这些方面的整体？你将如何得到这是最负责高或低的余弦相似度（逐行）的条款？

谢谢你的帖子_美好的_！

1. Varghese表示邦妮 说：

Should idf(t2) be log 2/4 ?

15. Matthys Meintjes 说：

优秀文章和一个伟大的介绍TD-IDF正常化。

你必须解释这些复杂的概亚洲金博宝念非常清晰，结构化的方法。

谢谢!

1. 谢谢for the feedback Matthys, I’m glad you liked the tutorial series.

1. PARAM 说：

亚洲金博宝很不错的＆infomative教程...。请相关的上传文档聚类过程更多的教程。

16. 洛朗 说：

Excellent article ! Thank you Christian. You did a great job.

17. 加文·伊戈尔 说：

Can you provide any reference for doing cosine similarity using tfidf so we have the matrix of tf-idf how can we use that to calculate cosine. Thanks for fantastic article.

18. lavender 说：

非常感谢这和彻底解释整个TF-IDF的事情。

1. 感谢您的反馈，我很高兴你喜欢这个系列教程。

19. 请纠正我，如果我拨错
与启动后的公式“我们在第一个教程中计算出的频率：”应该不MTEST Mtrain。也开始“这些IDF权重可以由矢量作为表示后：”应该是不idf_test idf_train。

Btw great series, can you give an simple approach for how to implement classification?

20. Divya 说：

Excellent it really helped me get through the concept of VSM and tf-idf. Thanks Christian

21. Sergio 说：

Very good post. Congrats!!

显示你的结果，我有个问题：

我读了维基百科：
成比例的TF-IDF值增加到的次数的字出现在文档中，但是通过在语料库中的字，这有助于控制的事实，一些词语通常比另一些更常见的频率偏移。

When I read it, I understand that if a word apperars in all documents is less important that a word that only appears in one document:

然而，在结果中，“太阳”或“明亮”是比“天空”最重要的。

我不知道的完全地理解它。

22. Awesome! Explains TF-IDF very well. Waiting eagerly for your next post.

23. awesome work with a clear cut explanation . Even a layman can easily understand the subject..

1. 十分感谢您的反馈拉胡尔！

24. 苏珊 说：

了不起！我以前熟悉的TF-IDF，但我发现你scikits例子有益，因为我想学习那个包。

1. 我很高兴你喜欢苏珊，感谢您的反馈！

25. 谢谢你写这么详细的职位。我学会了配发。

26. 尤金Chinveeraphan 说：

Excellent post! Stumbled on this by chance looking for more information on CountVectorizer, but I’m glad I read through both of your posts (part 1 and part 2).

现在用书签您的博客

1. 为回馈尤金十分感谢，我真的很高兴你喜欢这个系列教程。

27. 说：

似乎没有fit_transform（）为你描述..
任何想法，为什么？
>>> TS
（“天空是蓝色的”，“阳光灿烂”）
>>> V7 = CountVectorizer（）
>>> v7.fit_transform（TS）
<2×2型的稀疏矩阵“”
用4个存储元件在坐标格式>
>>>打印v7.vocabulary_
{u'is’：0，u'the”：1}

1. 说：

其实，还有第一个Python样本中的两个小错误。
1. CountVectorizer should be instantiated like so:
count_vectorizer = CountVectorizer（STOP_WORDS = '英语'）
This will make sure the ‘is’, ‘the’ etc are removed.

2. To print the vocabulary, you have to add an underscore at the end.
打印“词汇：” count_vectorizer.vocabulary_

Excellent tutorial, just small things. hoep it helps others.

1. 德罗戈 说：

由于灰。虽然文章是相当自我解释的，您的评论使整个差异。

28. Kelvin John 说：

我喜欢你的文章。

29. I’m using scikit learn v .14. Is there any reason my results for running the exact same code would result in different results?

30. Karthik 说：

感谢您抽出时间来写这篇文章。发现它非常有用。亚洲金博宝

31. 维杰 说：

它的有用... ..thank你解释非常精心的TD_IDF ..亚洲金博宝

32. 麦克风 说：

感谢伟大的解释。

我有一个关于IDF（T＃）的计算问题。
In the first case, you wrote idf(t1) = log(2/1), because we don’t have such term in our collection, thus, we add 1 to the denominator. Now, in case t2, you wrote log(2/3), why the denominator is equal to 3 and not to 4 (=1+2+1)? In case t3, you write: log(2/3), thus the denominator is equal 3 (=1+1+1). I see here kind of inconsistency. Could you, please, explain, how did calculate the denominator value.

谢谢。

1. 您好迈克，感谢您的反馈意见。你说得对，我只是还没有固定它尚未由于缺乏时间来审查它，并重新计算值。

2. xpsycho 说：

你理解错了，分母你不把这个词的总和每个文档中，你只是总结所有具有词的至少一个aparition的文件。

3. MIK 说：

yes, I had the same question…

33. 胡达 说：

这是一个好职位

34. 胡达 说：

it is good if you can provide way to know how use ft-idf in classification of document. I see that example (python code) but if there is algorithm that is best because no all people can understand this language.

谢谢

35. Ganesh 说：

伟大的职位，真正帮助我理解了TF-IDF的概念！

36. Samuel Kahn 说：

好贴

37. 尼斯。一种解释有助于正确看待这个事情。是TF-IDF的好办法做聚类（例如，从已知的语料用杰卡德分析或方差相对于平均值设定）？

继续写：）

38. 尼普雷姆 说：

嗨基督徒，

It makes me very excited and lucky to have read this article. The clarity of your understanding reflects in the clarity of the document. It makes me regain my confidence in the field of machine learning.

由于一吨为美丽的解释。

Would like to read more from you.

谢谢，

1. 大感谢那种wors尼！我很高兴亚洲金博宝你喜欢本系列教程。

39. esra'a ok 说：

非常感谢你非常，非常亚洲金博宝美妙的和有用的。

1. 感谢您的反馈Esra'a。

40. 阿恩 说：

谢谢你的良好的收官之作。你提到一些这比较L1和L2规范的论文，我计划研究，多一点深入。你还知道他们的名字？

41. seher 说：

我如何能计算TF IDF为自己的文本文件，它位于一些地方在我的电脑？

42. Shubham 说：

辉煌的文章。

到目前为止TF-TDF的最简单，最完善的解释，我读过。我真的很喜欢你如何解释数学后面。

43. mehrab 说：

精湛的文章新手

1. Dayananda 说：

优良的材质。优秀的！！！

44. 起重机 说：

Hi, great post! I’m using the TfidVectorizer module in scikit learn to produce the tf-idf matrix with norm=l2. I’ve been examining the output of the TfidfVectorizer after fit_transform of the corpora which I called tfidf_matrix. I’ve summed the rows but they do not sum to 1. The code is vect = TfidfVectorizer(use_idf=True, sublunar_tf=True, norm=”l2). tfidf_matrix = vect.fit_transform(data). When I run tfidf_matrix.sum(axis=1) the vectors are larger than 1. Perhaps I’m looking at the wrong matrix or I misunderstand how normalisation works. I hope someone can clarify this point! Thanks

45. 克里斯 说：

我能问你的时候计算的IDF，例如日志（2/1），你用日志基地10（E）或其他一些价值？我得到不同的计算！

46. 贡萨洛·g ^ 说：

伟大的教程,刚开始一份新工作在毫升和this explains things very clearly as it should be.

47. Harsimranpal 说：

Execellent帖子...。！非常感谢这篇文章。

But I need more information, As you show the practical with python, Can you provide it with JAVA language..

48. Sebastian 说：

我有点困惑，为什么TF-IDF在这种情况下，给出了负数？我们如何解读？纠正我，如果我错了，但是当载体为正值，这意味着该组件的大小确定字是该文件中有多么重要。如果是负数，我不知道如何解释它。如果我是采取向量的点积与所有积极的部件和一个负组件，这将意味着，一些部件可能负点积贡献，即使在载体有一个特定的词非常高的重视。亚洲金博宝

49. Hi,
非常感谢您对这个主题这个详细的解释，真是太好了。无论如何，你可以给我一个提示，这可能是我的错误，我不断看到的来源：

freq_term_matrix= count_vectorizer.transform(test_set)
AttributeError的：“矩阵”对象没有属性“变换”

Am I using a wrong version of sklearn?

50. 莫希特古普塔 说：

谢谢

51. 亚历山德罗 说：

谢谢克里斯，你是唯一一个谁是明确了对角矩阵在网络上。

52. ishpreet 说：

伟大的教程TF-IDF。优秀作品 。请添加对余弦相似性也:)

53. sherlockatsz 说：

我明白了TF-IDF计算处理。不过这是什么矩阵均值，以及我们如何使用TFIDF矩阵计算相似度让我困惑。你能解释一下，我们如何利用TFIDF矩阵.thanks

54. lightningstrike 说：

Ťhx for your explict&detailed explaination.

55. 匿名 说：

谢谢，好贴，我想它了

56. 匿名 说：

非常感谢您对这样一个惊人的详细的解释！

57. Akanksha潘德 说：

最好的解释..非常有帮助。亚洲金博宝你能告诉我如何绘制矢量文本分类的SVM ..我在微博分类工作。我很困惑，请帮助我。

58. 科希克 说：

我学到了很多东西。由于基督教。期待你的下一个教程。

59. MHR 说：

您好，我很抱歉，如果我有错，但我不明白是怎么|| VD4 || 2 = 1。
Ťhe value of d4 = (0.0 ,0.89,0.44,0.0) so the normalization will be = sqrt( square(.89)+square(.44))=sqrt(.193) = .44
所以我有没有遗漏了什么？请帮我明白了。

60. Cuiqing Li 说：

嗨，这是一个伟大的博客！
If I need to do bi-gram cases, how can I use sklearn to finish it?

61. 阿里 说：

这是非常大的亚洲金博宝。我喜欢你教。亚洲金博宝非常非常棒

62. 仅限Ritesh 说：

我没有得到相同的结果，当我执行相同的脚本。
打印（“IDF：”，tfidf.idf_）：IDF：[2.09861229 1. 1.40546511 1]

我的Python版本：3.5
Scikit Learn version is: o.18.1

what does i need to change? what might be the possible error?

谢谢，

1. 它可以是很多东西，因为你使用的是不同的Python解释器的版本也不同Scikit-学习版，你应该会在结果的差异，因为他们可能已经改变了默认参数，算法，圆等

1. Ravithej Chikkala 说：

I am also getting: IDF: [2.09861229 1. 1.40546511 1. ]

63. 胜利者 说：

Perfect introduction!
没有骗人把戏。清晰简单的，随着技术的应。
Thank you very much.
请发帖！

64. Hitesh Nankani 说：

为什么| d |= 2，在IDF方程。它不应该是4，因为| d |代表的审议的文件数量，我们有2从测试，2个来自火车。

65. 黎文禅师 说：

这篇文章很有意思。我喜欢这个岗位？

66. Bren 说：

明确的，重点突出的解释... .great

67. Shipika辛格 说：

哎，HII基督教
您的文章是真正帮助我了解从基础TFD-IDF。我在分类的一个项目，其中我使用向量空间模型，这导致在确定类别在我的测试文档应该存在。机器学习的一部分。如果你认为我有关的东西这将是巨大的。我被困在这一点上。
谢谢

68. Eshwar S G 说：

See this example to know how to use it for the text classification process. “This” link does not work any more. Can you please provide a relevant link for the example.

谢谢

69. 阿曼达 说：

这样一个伟大的解释！谢谢！

70. 另类投资 说：

wow, awesome post.Much thanks again. Will read on

71. 和roid apps download for pc 说：

也就是说，如果你有一个很好的post.Really谢谢！太棒了。

72. togel在线 说：

哇，伟大的文章post.Much再次感谢。真棒。

73. 手机电脑 说：

当然有很大的了解这个问题。我真的很喜欢所有的点，你做。

74. chocopie 说：

1vbXlh你提出了一个非常美妙的细节，欣赏它的职位。亚洲金博宝

75. I know this site provides quality based articles or
评论和其他数据，还有没有其他的网页呈现这类
information in quality?

76. Rousse 说：

在第一个例子。IDF（T1），日志（2/1）由计算器= 0.3010。为什么他们获得0.69 ..请有什么不对？