小李SEO博客

SEO網站排名優化服務

什么是TF-IDF算法?TF-IDF算法應用自動提取關鍵詞

         作者:小李網絡建設     來源:www.339491.tw

一、TF-IDF算法簡介

TF-IDF算法是一種用于信息檢索與數據挖掘的常用加權技術。TF的意思是詞頻(Term - frequency),IDF的意思是逆向文件頻率(inverse Document frequency).TF-IDF是傳統的統計算法,用于評估一個詞在一個文檔集中對于某一個文檔的重要程度。它與這個詞在當前文檔中的詞頻成正比,與文檔集中的其他詞頻成反比。

二、TF-IDF算法應用之自動提取關鍵詞

有一篇很長的文章,我要用計算機提取它的關鍵詞(Automatic Keyphrase extraction),完全不加以人工干預,請問怎樣才能正確做到?這個問題涉及到數據挖掘、文本處理、信息檢索等很多計算機前沿領域,但是出乎意料的是,有一個非常簡單的經典算法,可以給出令人相當滿意的結果。它簡單到都不需要高等數學,普通人只用10分鐘就可以理解,這就是我今天想要介紹的TF-IDF算法。讓我們從一個實例開始講起。

假定現在有一篇長文《中國seo未來發展的方向在哪里》,我們準備用計算機提取它的關鍵詞。 一個容易想到的思路,就是找到出現次數最多的詞。如果某個詞很重要,它應該在這篇文章中多次出現。于是,我們進行"詞頻"(Term Frequency,縮寫為TF)統計。結果你肯定猜到了,出現次數最多的詞是----"的"、"是"、"在"----這一類最常用的詞。它們叫做"停用詞"(stop words),表示對找到結果毫無幫助、必須過濾掉的詞。假設我們把它們都過濾掉了,只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題,我們可能發現"中國"、"發展"、"方向"這三個詞的出現次數一樣多。

這是不是意味著,作為關鍵詞,它們的重要性是一樣的?顯然不是這樣。因為"中國"是很常見的詞,相對而言,"發展"和"方向"不那么常見。如果這三個詞在一篇文章的出現次數一樣多,有理由認為,"發展"和"方向"的重要程度要大于"中國",也就是說,在關鍵詞排序上面,"發展"和"方向"應該排在"中國"的前面。所以,我們需要一個重要性調整系數,衡量一個詞是不是常見詞。如果某個詞比較少見,但是它在這篇文章中多次出現,那么它很可能就反映了這篇文章的特性,正是我們所需要的關鍵詞。

用統計學語言表達,就是在詞頻的基礎上,要對每個詞分配一個"重要性"權重。最常見的詞("的"、"是"、"在")給予最小的權重,較常見的詞("中國")給予較小的權重,較少見的詞("發展"、"方向")給予較大的權重。這個權重叫做"逆文檔頻率"(Inverse Document Frequency,縮寫為IDF),它的大小與一個詞的常見程度成反比。 知道了"詞頻"(TF)和"逆文檔頻率"(IDF)以后,將這兩個值相乘,就得到了一個詞的TF-IDF值。某個詞對文章的重要性越高,它的TF-IDF值就越大。所以,排在最前面的幾個詞,就是這篇文章的關鍵詞。 下面就是這個算法的細節。

第一步,計算詞頻:考慮到文章有長短之分,為了便于不同文章的比較,進行"詞頻"標準化。第二步,計算逆文檔頻率: 這時,需要一個語料庫(corpus),用來模擬語言的使用環境。如果一個詞越常見,那么分母就越大,逆文檔頻率就越小越接近0.分母之所以要加1.是為了避免分母為0(即所有文檔都不包含該詞)。log表示對得到的值取對數。 第三步,計算TF-IDF:可以看到,TF-IDF與一個詞在文檔中的出現次數成正比,與該詞在整個語言中的出現次數成反比。所以,自動提取關鍵詞的算法就很清楚了,就是計算出文檔的每個詞的TF-IDF值,然后按降序排列,取排在最前面的幾個詞。 還是以《中國的蜜蜂養殖》為例,假定該文長度為1000個詞,"中國"、"蜜蜂"、"養殖"各出現20次,則這三個詞的"詞頻"(TF)都為0.02.然后,搜索Google發現,包含"的"字的網頁共有250億張,假定這就是中文網頁總數。包含"中國"的網頁共有62.3億張,包含"蜜蜂"的網頁為0.484億張,包含"養殖"的網頁為0.973億張。則它們的逆文檔頻率(IDF)和TF-IDF如下: 從上表可見,"蜜蜂"的TF-IDF值最高,"養殖"其次,"中國"最低。(如果還計算"的"字的TF-IDF,那將是一個極其接近0的值。)所以,如果只選擇一個詞,"蜜蜂"就是這篇文章的關鍵詞。

除了自動提取關鍵詞,TF-IDF算法還可以用于許多別的地方。比如,信息檢索時,對于每個文檔,都可以分別計算一組搜索詞("中國"、"蜜蜂"、"養殖")的TF-IDF,將它們相加,就可以得到整個文檔的TF-IDF。這個值最高的文檔就是與搜索詞最相關的文檔。TF-IDF算法的優點是簡單快速,結果比較符合實際情況。缺點是,單純以"詞頻"衡量一個詞的重要性,不夠全面,有時重要的詞可能出現次數并不多。而且,這種算法無法體現詞的位置信息,出現位置靠前的詞與出現位置靠后的詞,都被視為重要性相同,這是不正確的。(一種解決方法是,對全文的第一段和每一段的第一句話,給予較大的權重。)

三、TF-IDF算法應用之找出相似文章:

我們再來研究另一個相關的問題。有些時候,除了找到關鍵詞,我們還希望找到與原文章相似的其他文章。比如,"Google新聞"在主新聞下方,還提供多條相似的新聞。 為了找出相似的文章,需要用到"余弦相似性"(cosine similiarity)。下面,我舉一個例子來說明,什么是"余弦相似性"。 為了簡單起見,我們先從句子著手: 句子A:我喜歡看電視,不喜歡看電影 句子B:我不喜歡看電視,也不喜歡看電影 請問怎樣才能計算上面兩句話的相似程度? 基本思路是:如果這兩句話的用詞越相似,它們的內容就應該越相似。

因此,可以從詞頻入手,計算它們的相似程度。 第一步,分詞。 句子A:我/喜歡/看/電視,不/喜歡/看/電影。 句子B:我/不/喜歡/看/電視,也/不/喜歡/看/電影。 第二步,列出所有的詞。 我,喜歡,看,電視,電影,不,也。 第三步,計算詞頻。 句子A:我 1.喜歡 2.看 2.電視 1.電影 1.不 1.也 0. 句子B:我 1.喜歡 2.看 2.電視 1.電影 1.不 2.也 1. 第四步,寫出詞頻向量。 句子A:[1. 2. 2. 1. 1. 1. 0] 句子B:[1. 2. 2. 1. 1. 2. 1] 到這里,問題就變成了如何計算這兩個向量的相似程度。 我們可以把它們想象成空間中的兩條線段,都是從原點([0. 0. ...])出發,指向不同的方向。兩條線段之間形成一個夾角,如果夾角為0度,意味著方向相同、線段重合;如果夾角為90度,意味著形成直角,方向完全不相似;如果夾角為180度,意味著方向正好相反。因此,我們可以通過夾角的大小,來判斷向量的相似程度。夾角越小,就代表越相似。 以二維空間為例,上圖的a和b是兩個向量,我們要計算它們的夾角θ。余弦定理告訴我們,可以用下面的公式求得: 假定a向量是[x1. y1],b向量是[x2. y2],那么可以將余弦定理改寫成下面的形式:

數學家已經證明,余弦的這種計算方法對n維向量也成立。假定A和B是兩個n維向量,A是 [A1. A2. ..., An] ,B是 [B1. B2. ..., Bn] ,則A與B的夾角θ的余弦等于: 使用這個公式,我們就可以得到,句子A與句子B的夾角的余弦。 余弦值越接近1.就表明夾角越接近0度,也就是兩個向量越相似,這就叫"余弦相似性"。所以,上面的句子A和句子B是很相似的,事實上它們的夾角大約為20.3度。

由此,我們就得到了"找出相似文章"的一種算法: (1)使用TF-IDF算法,找出兩篇文章的關鍵詞; (2)每篇文章各取出若干個關鍵詞(比如20個),合并成一個集合,計算每篇文章對于這個集合中的詞的詞頻(為了避免文章長度的差異,可以使用相對詞頻); (3)生成兩篇文章各自的詞頻向量; (4)計算兩個向量的余弦相似度,值越大就表示越相似。 "余弦相似度"是一種非常有用的算法,只要是計算兩個向量的相似程度,都可以采用它。

上一篇:站長在SEO優化中想要快速更新或刪除的方法 下一篇:蜘蛛池的排名原理是什么?seo培訓課程講解蜘蛛池的作用
?
相關SEO文章閱讀
SEO公司排名
(★^O^★)MG宝贝财神怎么玩 查看股指期货行情 重庆时时彩破解手机版 体彩p3今天出奖号 北京pk10牛牛是 甘肃11选5前3号码推荐 体彩竞彩足球比分 真钱彩金捕鱼游戏平台 江西新时时彩技巧qq群 ag漏洞让我赢了十几万 福彩黑龙江p62开奖号 竞彩篮球大小分范围 pk10牛牛开奖结果 河南快赢481视频 广东快乐10分走势图软件 bet365体育在线看 上海时时彩几点开始的-首页
?
QQ在線咨詢
SEM競價推廣
137-1296-7640
SEO優化外包
137-1296-7640