下面我從兩個(gè)方面談及，招引搜索引擎蜘蛛辦法，分為搜索引擎蜘蛛內(nèi)部招引和外部招引兩部分：

　　搜索引擎蜘蛛招引之內(nèi)部招引

　　1、僅有的URL、僅有的內(nèi)容

　　在搜索引擎蜘蛛眼里，對(duì)比抱負(fù)狀況是，一個(gè)“姓名”能夠?qū)��?yīng)一個(gè)“人”，也即是僅有URL、僅有內(nèi)容的意思，所以當(dāng)你越挨近這個(gè)狀況，那么越簡(jiǎn)單被抓取和錄入。

　　關(guān)于一般，我的主張是整站靜態(tài)，并對(duì)一切的動(dòng)態(tài)文件，制止搜索引擎蜘蛛抓取，能夠很有用完成僅有的URL、僅有的內(nèi)容目的。

　　2、約束搜索引擎蜘蛛抓取內(nèi)容

　　如今許多CMS程序，都支撐用戶(hù)功用，但是這種摻入用戶(hù)有關(guān)參數(shù)URL，關(guān)于搜索引擎蜘蛛來(lái)說(shuō)，并不是一件好事情，由于許多URL地址不規(guī)則，并且存在某些缺點(diǎn)，簡(jiǎn)單讓蜘蛛墮入死循環(huán)，并且更費(fèi)事的是，由于內(nèi)容根本相同，導(dǎo)致了一個(gè)頁(yè)面存在N多URL，但是犯了大忌諱喲。

　　3、不可能存在的頁(yè)面，實(shí)在存在

　　有些兄弟，或有意、或無(wú)意的希望搜索引擎蜘蛛多抓取，制作網(wǎng)站無(wú)限頁(yè)面，當(dāng)你輸入page=99999這種完全不可能存在列表頁(yè)，還能返回一個(gè)正常200代碼，這種狀況將歹意消耗蜘蛛和你的寬帶，通常會(huì)被丟掉。

　　搜索引擎蜘蛛招引之外部招引

　　1、合乎情理的外鏈

　　發(fā)外鏈抱負(fù)條件，假如達(dá)不到也沒(méi)有聯(lián)系，只要是合乎情理的外鏈，內(nèi)容和外鏈之間肯定是存在有關(guān)性的就行。

　　當(dāng)搜索引擎蜘蛛經(jīng)過(guò)像TF/IDF算法，協(xié)助它剛抓取的文章取得一個(gè)關(guān)鍵字時(shí)分，而你的外鏈剛好呈現(xiàn)，又是和關(guān)鍵字有關(guān)，蜘蛛就像一個(gè)研究者，會(huì)迫不急待想要一睹為馬上。

　　2、內(nèi)容像可口的甜點(diǎn)

　　天天都有許多人在喂蜘蛛，當(dāng)然食物中也會(huì)有許多相同的，所以蜘蛛養(yǎng)成了饞嘴習(xí)氣，假如不是可口的內(nèi)容，它可能會(huì)厭煩喲。

　　假如你覺(jué)得我說(shuō)的有道理的話(huà)，就請(qǐng)多花點(diǎn)時(shí)刻，好好再次閱覽一遍，由于許多知識(shí)都是十分有價(jià)值的，另外假如你有招引搜索引擎蜘蛛別的辦法，期待鄙人面的談?wù)撝袑?xiě)出來(lái)，我們一同交流，期待沖突出來(lái)新的火花。