1. 首頁 > 生活百科 > >

造成百度蜘蛛抓取異常的常見原因有哪些？( 二 )

蜘蛛原因ign異常生活常識oadusp


1）針對百度搜索refer的異常， 網頁針對來自百度的refer返回不同于正常內容的行業；
2）針對百度UA的異常， 網頁對百度UA返回不同于頁面原內容的行為；
3）JS跳轉異常：網頁代碼中加載了百度無法識別的js跳轉代碼， 導致用戶通過搜索進行網站頁面后就發生了跳轉行為；
4）網站抓取壓力過大引起的偶然封禁， 百度搜索會根據網站的規劃、流量等情況， 給網站設置一個合理的抓取壓力 。
如果網站抓取壓力有異常情況， 例如網站抓取壓力出現失控的情況， 這時web服務器會根據自身負荷能力啟動臨時性的封禁， 例如向用戶返回“Service Unavailable”， 這里百度搜索會過段時間再來重新抓取網站鏈接， 如果此時網站web服務器已恢復正常， 則網站頁面就會被成功抓取 。

相關經驗推薦


上一篇：芭蕉如何催熟

下一篇：春筍是發物嗎