首先，我來(lái)先容一下什么是robots.txt：robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查 看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是 否存在robots.txt，假如存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；假如該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有 被口令保護(hù)的頁(yè)面。最后，robots.txt必需放置在一個(gè)站點(diǎn)的根目錄下。

大家可以參考一下谷歌、百度和騰訊的robots寫(xiě)法：

http://www.google.com/robots.txt

http://www.baidu.com/robots.txt

http://www.qq.com/robots.txt

大家了解完robots.txt后，那么我們可以用robots.txt來(lái)做什么？

1、用robots.txt屏蔽相似度高的頁(yè)面或沒(méi)內(nèi)容的頁(yè)面。

我們知道，搜索引擎收錄網(wǎng)頁(yè)后，會(huì)對(duì)網(wǎng)頁(yè)進(jìn)行“審核”，而當(dāng)兩個(gè)網(wǎng)頁(yè)的相似度很高時(shí)，那么搜索引擎就會(huì)刪除掉其中一個(gè)，并且會(huì)降低一點(diǎn)你網(wǎng)站的得分。

假設(shè)以下這兩個(gè)鏈接，內(nèi)容實(shí)在差未幾，那么第一個(gè)鏈接就應(yīng)該屏蔽掉。

/XXX?123

/123.html

像第一個(gè)的鏈接這樣的鏈接非常多，那么我們要怎么屏蔽呢?實(shí)在只要屏蔽/XXX?就可以屏蔽所有的鏈接了。

代碼如下：

Disallow： /XXX?

同理，一些沒(méi)有內(nèi)容的頁(yè)面我們也可以利用相同的辦法將其屏蔽掉。

2、用robots.txt屏蔽多余的鏈接，一般留存靜態(tài)的鏈接（既HTML、htm、shtml等）。

因?yàn)榫W(wǎng)站中常常會(huì)泛起多個(gè)鏈接指向統(tǒng)一個(gè)頁(yè)面的情況，而這樣會(huì)讓搜索引擎對(duì)網(wǎng)站的友好度降低。為了避免這一個(gè)情況，我們就可以通過(guò)robots.txt把 非主要的鏈接去掉。

好比以下兩個(gè)鏈接指向同樣的頁(yè)面：

/OOO?123

/123.html

那么我們就應(yīng)該去掉第一個(gè)垃圾，代碼如下：

Disallow： /OOO?123

3、用robots.txt屏蔽死鏈

死鏈就是曾經(jīng)存在的網(wǎng)頁(yè)，由于改版或其他原因而失去效用后就變成死鏈，也就是說(shuō)看似一個(gè)正常的網(wǎng)頁(yè)鏈接，但點(diǎn)擊后不能打開(kāi)相對(duì)應(yīng)的網(wǎng)頁(yè)頁(yè)面。

好比，原來(lái)在目錄為/seo下的所有鏈接，由于目錄地址的改變，現(xiàn)在都變成死鏈接了，那么我們可以用robots.txt把他屏蔽掉，代碼如下：

Disallow： /seo/

4、告訴搜索引擎你的sitemap.xml地址

利用robots.txt可以告訴搜索引擎你sitemap.xml文件的地址，而不需要在網(wǎng)站上添加sitemap.xml的鏈接。詳細(xì)代碼如下：

Sitemap： 你的sitemap地址

以上就是robots.txt的基本用法，一個(gè)好的網(wǎng)站必然會(huì)有一個(gè)好的robots.txt，由于robots.txt是搜索引擎了解你網(wǎng)站的一 個(gè)途徑。另外在這里我推薦一下一個(gè)比較適合wordpress用戶使用的robots.txt寫(xiě)法：

User-agent： *

Disallow： /wp-

Disallow： /feed/

Disallow： /comments/feed

Disallow： /trackback/

Sitemap： http://rainjer.com/sitemap.xml

最后，假如你覺(jué)得上面所說(shuō)的還不能知足你的需要，那么你可以在谷歌或百度官方提供的robots.txt使用指南學(xué)習(xí)：

百度：http://www.baidu.com/search/robots.html

谷歌：http://www.google.com/support/forum/p/webmasters/thread?tid=4dbbe5f3cd2f6a13&hl=zh-CN