robots協(xié)議是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，更好的保護(hù)用戶的隱私和版權(quán)信息。robots可以制止不必要的搜索引擎占用服務(wù)器，對于大多數(shù)非圖形類網(wǎng)站來說也沒有太大的意義，但是卻耗用了大量的帶寬。網(wǎng)站優(yōu)化切忌的就是重復(fù)頁面，但是不少人沒有重視，現(xiàn)在的主流網(wǎng)站程序都很容易自動產(chǎn)生一些沒用的頁面，比如緩存頁面，搜索頁面等，這些頁面內(nèi)容往往和主體內(nèi)容相重復(fù)，沒有什么用，如果被蜘蛛抓到，那么對網(wǎng)站排名會有嚴(yán)重的負(fù)面影響?？梢源蟠蟮脑鰪?qiáng)蜘蛛網(wǎng)站的爬取效率，幫助搜索引擎理解哪些重要的內(nèi)容，不再浪費(fèi)到其它無用的頁面上。搜索引擎喜歡原創(chuàng)內(nèi)容，而這一方面并不是單單是指文章的原創(chuàng)度，另一方面網(wǎng)站模板的原創(chuàng)度也是非常重要的評分點(diǎn)，所以如果自己網(wǎng)站的模板不是原創(chuàng)，要屏蔽css目錄和模板目錄?？梢灾浦顾阉饕鎸Ψ枪_頁面的爬行與索引，如網(wǎng)站的后臺程序、隱私頁面、圖片目錄、管理程序，事實(shí)上，對于某些在運(yùn)行中面臨頁面的網(wǎng)站來說，如果沒有配置robots協(xié)議，搜索引擎甚至?xí)饕切┡R時(shí)文件。