作為一名網(wǎng)站優(yōu)化人員，我們都很清楚Robots.txt文件對(duì)我們網(wǎng)站的重要性，Robots.txt文件只一個(gè)純文本文件，它就像網(wǎng)站地圖一樣，給搜索引擎指明路途，當(dāng)蜘蛛搜索一個(gè)站點(diǎn)時(shí)，它首要匍匐來查看該網(wǎng)站的根目錄下是否存在Robots.txt文件。

如果存在的話，搜索引擎會(huì)依照該文件的內(nèi)容來確定拜訪規(guī)模，如果該文件不存在的話，那么搜索引擎就會(huì)沿著鏈接來抓取。那么程序員在設(shè)置Robots.txt文件時(shí)分應(yīng)該了解到這個(gè)文件給我們網(wǎng)站帶來了哪些優(yōu)點(diǎn)？

榜首，Robots.txt文件大大節(jié)省服務(wù)器寬帶

我們都知道像email retrievers、image strippers這類搜索引擎都耗用許多寬帶，并且對(duì)網(wǎng)站沒有什么太大的意義，而經(jīng)過Robots.txt就能夠阻止不必要的匍匐作業(yè)，如果你的網(wǎng)站是圖片站的話，沒有設(shè)置好Robots.txt文件的話，就會(huì)糟蹋許多的服務(wù)器寬帶。

第二、方便搜索引擎爬起作業(yè)

如果你的網(wǎng)站內(nèi)容豐富，頁面許多，設(shè)置Robots.txt文件更為重要，比方你有個(gè)網(wǎng)站，整個(gè)站有50多個(gè)G，翻開頁面可能會(huì)比較慢，如果不裝備好Robots.txt文件的話，蜘蛛匍匐作業(yè)就會(huì)很吃力，并且如果太多的蜘蛛匍匐，以至?xí)�影響你網(wǎng)站的正常拜訪。

第三、robots.txt文件能夠阻止搜索引擎索引頁面

你能夠經(jīng)過RobotS.txt文件對(duì)你的網(wǎng)站非公開頁面進(jìn)行阻止蜘蛛匍匐，如果你的網(wǎng)站后臺(tái)程序、管理程序很重要不想讓他人看到、那么你能夠經(jīng)過Robots.txt進(jìn)行設(shè)置，事實(shí)上，關(guān)于某些在運(yùn)行中發(fā)生暫時(shí)頁面的網(wǎng)站來說，如果沒有裝備Robots.txt文件的話，搜索引擎甚至?xí)�索引那些暫時(shí)文件。

第四、robots.txt對(duì)網(wǎng)站地圖鏈接重要性

如果我們把自己的網(wǎng)站地圖鏈接放在robots.txt文件里，那么我們每天就不用到各個(gè)搜索引擎的站長東西或許類似的站長部分去提交自己的sitemap文件，各大搜索引擎都發(fā)布了對(duì)網(wǎng)站地圖的新的支撐方法，就是在robots.txt文件里直接包含sitemap文件的鏈接。現(xiàn)在對(duì)此表示支撐的搜索引擎公司有Google，Yahoo，而中文搜索引擎公司，顯然不在這個(gè)圈子內(nèi)。

這樣做的優(yōu)點(diǎn)就是我們能夠不用每天去各大搜索引擎去提交自己的sitemap文件，能夠削減我們的一部分作業(yè)量，何樂而不為呢？