為什么要進(jìn)行地方分類(lèi)信息網(wǎng)站的重復(fù)信息判斷？

答案很簡(jiǎn)單，大量的重復(fù)的垃圾信息頁(yè)面會(huì)降低你的網(wǎng)站權(quán)重。

由于目前絕大多數(shù)地方分類(lèi)信息網(wǎng)站的信息排序方式，都是采用ID倒序，即按照時(shí)間順序排列，新信息在前，舊信息在后。這就無(wú)形中讓一些垃圾信息發(fā)布者為了獲得較好的排名，而每天甚至每個(gè)小時(shí)都不停的發(fā)布自己的信息，他們才不會(huì)管到底這樣會(huì)不會(huì)制造大量的重復(fù)垃圾信息，他們只想著，如果能上了你的網(wǎng)站首頁(yè)（因?yàn)楹芏嗑W(wǎng)站都在首頁(yè)調(diào)用了某欄目的最新信息）或者排在其他同行的前面，累點(diǎn)無(wú)所謂。

雖然這樣可以增加網(wǎng)站的人氣，也能夠提高數(shù)據(jù)量，但是對(duì)于SEO方面來(lái)說(shuō)，無(wú)疑是致命的。廊坊卡卡在初期，為了盡量滿足廣大信息發(fā)布者的要求，并沒(méi)有進(jìn)行這方面信息的判斷，隨著信息量的上升，重復(fù)信息也越來(lái)越多，而且趨勢(shì)也越來(lái)越嚴(yán)重，直到有一天，發(fā)現(xiàn)從店鋪、促銷(xiāo)頻道為入口的流量，驟降50%以上，才發(fā)現(xiàn)事情的嚴(yán)重性：因?yàn)槌涑庵罅恐貜?fù)、垃圾信息（這些信息發(fā)布者往往會(huì)同時(shí)在很多分類(lèi)信息網(wǎng)站發(fā)布完全相同的內(nèi)容），店鋪、促銷(xiāo)頻道被降權(quán)。

根據(jù)關(guān)鍵詞排行榜的統(tǒng)計(jì)，很多以前排名很好的關(guān)鍵詞，排到了第二頁(yè)、第三頁(yè)甚至完全消失。

一、避免重復(fù)信息的幾種方式

于是經(jīng)過(guò)廊坊卡卡團(tuán)隊(duì)的研究，制定出了一套專(zhuān)門(mén)針對(duì)分類(lèi)信息網(wǎng)站的重復(fù)信息判斷規(guī)則和方案，拿出來(lái)，與廣大站長(zhǎng)共享，也期待著能夠得到大家的批評(píng)指正，從而提高方案的可行性和效率。

方法一：改變排序規(guī)則

從信息發(fā)布者的目的來(lái)看，很明確，就是要讓自己排在前面、排在首頁(yè)，在網(wǎng)站現(xiàn)有的規(guī)則下，他只有通過(guò)重新發(fā)布信息來(lái)獲得好的排名。因此，網(wǎng)站可以更改排序規(guī)則，規(guī)定店鋪信息按照用戶(hù)好評(píng)度排序，或按照瀏覽量排序，或者在首頁(yè)只調(diào)用推薦的信息，而不是最新信息，那么新發(fā)布的店鋪，是很難馬上排到前邊的，這樣自然會(huì)打擊很多信息發(fā)布者的積極性，因?yàn)椴荒芸吹叫Ч麄円簿筒粫?huì)使勁的發(fā)新信息了。同時(shí)，信息發(fā)布者為了能夠獲得好的排名，反而會(huì)去推廣自己的鏈接，讓別人來(lái)頂或者瀏覽。缺點(diǎn)：新店鋪難有出頭之日，而信息發(fā)布者為了獲得更高的瀏覽量而去推廣鏈接，萬(wàn)一推廣過(guò)度，被QQ、百度貼吧、百度知道等封了域名，可就得不償失了。

方法二：增加更新功能

該操作方法簡(jiǎn)單易行，只需要在用戶(hù)的個(gè)人中心，發(fā)布信息的后面增加一個(gè)“更新”按鈕，則用戶(hù)點(diǎn)擊該按鈕，信息自動(dòng)更新為當(dāng)天發(fā)布，排到最前面，這樣方便了信息發(fā)布者，也避免了制造重復(fù)頁(yè)面。當(dāng)然會(huì)有一些人一天到晚不停的在那點(diǎn)，排在前邊全是他的信息，怎么辦？那我們可以設(shè)置更新次數(shù)限制，一天只能更新N次，超過(guò)N次，不允許更新。當(dāng)然，如果你的網(wǎng)站人氣很旺，你甚至可以通過(guò)這個(gè)功能來(lái)收費(fèi)！不過(guò)信息發(fā)布者想想就知道了，為了能夠手工的排在最前邊，還不如直接買(mǎi)你的廣告位劃算呢。

方法三：禁止重復(fù)信息的發(fā)布

這是截流，從根源上禁止重復(fù)信息發(fā)布，并且不提供任何的解決方案，就是告訴信息發(fā)布者，你已經(jīng)發(fā)過(guò)了，不用再發(fā)了。這樣做的缺點(diǎn)也很明顯：影響信息發(fā)布者的情緒。但這樣做也可能會(huì)導(dǎo)致你的廣告位銷(xiāo)量上升。

二、重復(fù)信息判斷規(guī)則

廊坊卡卡在經(jīng)過(guò)多重分析論證的基礎(chǔ)上，決定對(duì)不同頻道采取不同的解決方法，例如針對(duì)房產(chǎn)頻道，因?yàn)榉慨a(chǎn)信息本身的內(nèi)容差異率就極低，如果信息再重復(fù)，那么必然會(huì)造成更大的重復(fù)，對(duì)SEO極為不利。所以，禁止重復(fù)信息發(fā)布是首要任務(wù)。

以房產(chǎn)頻道的房屋出售信息為例，我們先看一下廊坊卡卡的房產(chǎn)出售列表頁(yè)http://www.lfkaka.com/fclist-1.html，通過(guò)分析，我們發(fā)現(xiàn)，該類(lèi)信息具有以下值得作為判斷依據(jù)的字段：

（1） 聯(lián)系電話

（2） 小區(qū)/樓盤(pán)名稱(chēng)

（3） 地址

（4） 面積

（5） 戶(hù)型

（6） 售價(jià)

（7） 詳細(xì)介紹

（8） 標(biāo)題

（9） 所在樓層

（10） 總樓層

但是，如果我們僅僅是根據(jù)這些字段是否相同來(lái)決定一條信息是否重復(fù)，那么信息發(fā)布者肯定會(huì)通過(guò)修改詳情中的文字、標(biāo)題上加個(gè)空格之類(lèi)的方法，來(lái)繞過(guò)重復(fù)判斷機(jī)制，成功發(fā)布出去。

因此，我們要把容易被修改的和不容易被修改的數(shù)據(jù)分開(kāi)對(duì)待，姑且稱(chēng)之為必比條件和輔助條件。其中必比條件，表示不容易被修改的信息，只要有稍微的改動(dòng)，該信息就不再真實(shí)。而輔助條件，是可以被修改，進(jìn)行小范圍的修改不影響信息真實(shí)性的條件。

必比條件：聯(lián)系電話、小區(qū)/樓盤(pán)名稱(chēng)（廊坊卡卡已經(jīng)搜集了廊坊地區(qū)近400個(gè)小區(qū)及其別名并記錄在數(shù)據(jù)庫(kù)中，因此小區(qū)/樓盤(pán)名稱(chēng)的格式基本固定）、戶(hù)型、所在樓層、總樓層

輔助條件：地址、面積（用戶(hù)很可能通過(guò)修改小數(shù)點(diǎn)來(lái)繞過(guò)重復(fù)判斷機(jī)制）、售價(jià)（理由同面積）、詳細(xì)介紹、標(biāo)題

我們知道，在信息真實(shí)性的前提下，當(dāng)他的必比條件有任何一個(gè)不同的時(shí)候，該信息肯定是不同的。（關(guān)于信息真實(shí)性判斷，我們另文詳述）

所以，我們?cè)谂袛嘀貜?fù)時(shí)，首先去判斷必比條件，當(dāng)必比條件有任何一條不同時(shí)，將信息視為非重復(fù)信息；當(dāng)必比條件完全相同時(shí)，則去判斷輔助條件，由輔助條件決定信息是否重復(fù)。

由于輔助條件比較容易通過(guò)微小的修改造假，因此，無(wú)法通過(guò)完全比較來(lái)作為判斷依據(jù)，這時(shí)候要采用模糊判斷法（模糊判斷必然會(huì)造成誤差，但我們只能盡量避免）。

首先，我們判斷輔助條件中的五個(gè)條件的相似度，各個(gè)條件的判斷方法不同，對(duì)于面積和售價(jià)，我們要判斷他的一個(gè)范圍而非絕對(duì)數(shù)值或單純的去掉小數(shù)點(diǎn)，比如，100平米的房子，我們要去跟所有101＞N＞90之間的房子去比較，根據(jù)差值，計(jì)算相似度。而對(duì)于地址、標(biāo)題、詳情，我們要隨機(jī)的去截取足夠長(zhǎng)的一段文字，在去除標(biāo)點(diǎn)符號(hào)和空格的情況下，比較其相似程度，并計(jì)算相似度。

然后，取相似度的平均數(shù)，如果該平均數(shù)超過(guò)了某一固定值M，則判斷該條信息為重復(fù)。如果未超過(guò)M，則認(rèn)為該信息不重復(fù)。（M值作為一個(gè)判斷相似力度的指標(biāo)，由網(wǎng)站管理員進(jìn)行調(diào)整，M值越高，判斷機(jī)制越寬松，但也容易漏掉真正的重復(fù)信息；M值越低，則判斷機(jī)制越嚴(yán)格，但也容易誤傷真實(shí)非重復(fù)信息。因此，M值需要站長(zhǎng)根據(jù)自己網(wǎng)站的實(shí)際情況，采取抽樣調(diào)查的方式獲得，并長(zhǎng)期觀察用戶(hù)反應(yīng)，及時(shí)調(diào)整。）