404死鏈如何產生的?對網站有什么影響及解決辦法


404死鏈如何產生的?對網站有什么影響及解決辦法

文章插圖

大量404死鏈接對網站會有什么影響?
1、死鏈接對于網站來說是避免不了的 , 但如果死鏈接過多 , 會影響搜索引擎對于網站的評分;
2、搜索引擎每天對于每個站點的抓取頻次是有限制的 , 如果站點死鏈接太多 , 是會流費掉搜索蜘蛛每天抓取配額的 , 還會影響正常頁面的抓取 。
【404死鏈如何產生的?對網站有什么影響及解決辦法】 3、太多有404死鏈接對于用戶來說 , 體驗也是不好的 。
網站404死鏈接如何產生的?
1、網站內部錯誤鏈接
由于網站編輯或程序員的大意 , 導致網站產生不存在的鏈接頁面 。
2、網站短暫無法訪問
由于網站程序、空間或服務器的問題 , 導致網站產生大量以5開頭的錯誤狀態碼頁面 。
3、外部鏈接錯誤
用戶或站長自己在站外發布了錯誤鏈接頁面 , 搜索蜘蛛在抓取了這些頁面后產生了404錯誤頁面 , 別人采集復制了你站點含有錯誤鏈接的頁面 , 還有就是有些垃圾站點自動生成靜態頁面搜索結果 , 這些都會導致網站產生404錯誤頁面 。
4、抓取了不完整URL鏈接
有些搜索蜘蛛在抓取網站URL鏈接時 , 只抓取部分URL鏈接或者將正常URL鏈接后面的文字也抓取進去了 。
5、網站改版
在網站改版過程中 , 將老頁面刪除后未做301跳轉到對應頁面 , 或者在做了301跳轉后 , 部分老頁面仍然無法正常訪問 。
6、管理員刪除頁面
站長刪除被黑、廣告、過時、灌水頁面時 , 未做301跳轉 , 導致網站產生了大量死鏈接 。
7、下架過期商品頁面
電商網站平臺 , 下架過期商品信息產生的404死鏈接 。
大量網站404死鏈接該如何去解決
1、修復錯誤頁面
由于網站編輯或程序員的大意產生的錯誤頁面 , 此種情況 , 我們要及時對程序進行修復 , 來保證本應該是正常的頁面恢復訪問 。
2、提交死鏈接
網站404錯誤鏈接頁面URL地址該如何獲?。看蟊o大家分享以下三種方法:
(1) 使用百度站長工具 , 點擊數據統計中的“抓取異常-找不到的頁面” , 復制下面的所有鏈接地址 , 這就是近段時間我們網站的404死鏈接 , 此處鏈接不需要我們另外向百度提交了 , 百度已經自動幫我們提交了;
(2) 在刪除網站頁面時 , 手動保存好被刪除的頁面URL地址;
(3) 使用爬蟲軟件 , 例如Xenu , 爬取網站中所有鏈接地址獲取死鏈接 。
通過HTTP狀態碼來批量篩選網站所有鏈接中的404死鏈接 , 排除非404狀態碼的頁面 。
整理好所有404狀態碼的鏈接頁面 , 將保存為一個TXT格式的文件文件 , 將此文本文件上傳至網站根目錄中 , 再將此文本文檔提交給百度站長平臺 。 如何將死鏈接提交給百度 , 可參考《如何將404死鏈接提交給百度》這篇文章 。
3、在robots中屏蔽抓取
如果你的網站存在大量404死鏈接 , 而且還具有一定的規律 , 那么你可以在robots文件中寫一個規則禁止蜘蛛抓取此類鏈接 , 前提是不要把正常頁面給誤傷了 , 例如你的網站全部是html靜態頁面 , 如果錯誤頁面鏈接中含有?的話 , robots文件規則可以寫成Disallow:/*?* , 如果錯誤頁面鏈接中含有/id…html , 則robots規則可以寫成Disallow:/*…* 。

相關經驗推薦