1. 首頁 > 生活百科 > >

什么是robots.txt爬蟲協議,規范的robots文件怎么寫

生活常識ignmit615usp


什么是robots.txt爬蟲協議,規范的robots文件怎么寫

文章插圖

如何建立一個robots.txt文件？
如果你網站沒有robots.txt文件 ， 想要新建一個robots.txt文件 ， 其實也是非常簡單的 ， 首先新建一個.txt文件 ， 然后按照要求填寫如下robots指令 ， 例如你不希望搜索蜘蛛抓取/admin/這個目錄 ， 就可以像以下這樣進行設置：
User-agent: *
Disallow: /admin/
你還可以繼續添加robots指令 ， 只到滿足你的要求為止 ， 然后將文件保存為robots.txt ， 為了避免robots文件語法錯誤 ， 建議使用百度站工具對robots.txt文件進行校驗 ， 如下圖所示：

什么是robots.txt爬蟲協議,規范的robots文件怎么寫

文章插圖

此步驟非常重要 ， 可以避免由于robots文件語法錯誤給網站帶去嚴重的后果 。
在哪里放置robots.txt文件呢？
將robots.txt文件放在網站根目錄中 ， 例如你的網站域名為zhuzhouren.cn ， 那么robots.txt文件就可以用zhuzhouren.cn/robots.txt這個url地址訪問到 。
如果你的網站域名為二級域名 ， 例如blog.zhuzhouren.cn ， 那么robots.txt就可能通過blog.zhuzhouren.cn/robots.txt進行訪問 。
Robots.txt的寫法
每一個新指令都需要另起一行
每一個robots指令都占據一行 ， 否則會讓搜索蜘蛛理解錯誤：
錯誤示例:
User-agent: * Disallow: /directory/ Disallow: /another-directory/
標準示例:
User-agent: *
Disallow: /directory/
Disallow: /another-directory/
使用通配符簡化指令
我們不但可以使用通配符（*）指令應用于所有用戶代理 ， 還可以使用通配符（*）指令來匹配類似的URL地址 ， 例如 ， 你想禁止搜索蜘蛛訪問網站參數化url地址 ， 你可以像以下這樣進行設置：
User-agent: *
Disallow: /products/t-shirts?
Disallow: /products/hoodies?
Disallow: /products/jackets?
…
但以這種方法太過于復雜 ， 我們可以將其簡化成以下這樣：
User-agent: *
Disallow: /products/*?
以上這個robots指令代表的意思是禁止所有搜索蜘蛛抓取/product/目錄下所有帶問號（?）的url鏈接 ， 簡單地講就是禁止搜索蜘蛛抓取/product/目錄下所有帶問號（?）的url鏈接 。
使用美元符號（$）來標注以特定字符結尾的URL
”$”美元符號是robots指令結尾特定字符 ， 例如你想禁止搜索蜘蛛抓取所有.pdf格式的url鏈接 ， 那么你的robots.txt文件可以這樣進行設置 ， 如下所示：
User-agent: *
Disallow: /*.pdf$
以上robots文件指令代表的意思是禁止搜索蜘蛛抓取任何以.pdf為結尾的url鏈接 ， 例如無法抓取/file.pdf這樣的文件 ， 但可以抓取/file.pdf?id=68937586 ， 因為這個文件不是以.pdf結尾的 。
相同的用戶代理只聲明一次
如果你在robots文件中多次聲明了相同的用戶代理 ， 谷歌搜索雖然沒有表示說反對這樣的申明 ， 但卻是可以在一起執行的 ， 如下所示：
User-agent: Googlebot
Disallow: /a/
User-agent: Googlebot
Disallow: /b/
谷歌蜘蛛不會索引以上robots文件指令中的任何一個目錄 。
雖然谷歌搜索沒有表示說不能這么做 ， 但卻為了不給搜索蜘蛛困惑 ， 建議只聲明一次就行了 。
使用精準的指令避免以外的錯誤
如果你使用精準的robots文件指令 ， 很有可能會給網站優化帶去很嚴重的錯誤 ， 例如下方robots.txt文件指令本意是只禁止搜索蜘蛛抓取/de/目錄中的內容：
User-agent: *
Disallow: /de
但是這個robots.txt文件指令同時也禁止了搜索蜘蛛抓取以/de開頭的目錄內容 ， 如下方所示：

相關經驗推薦