文章插圖
爬行和抓取 是搜索引擎工作的第一步 ， 完成數據收集任務 。
1、蜘蛛：
搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛（spider） ， 也稱為機器人（bot） 。
2、跟蹤鏈接：
為了抓取網上盡量多的頁面 ， 搜索引擎蜘蛛會跟蹤頁面上的鏈接 ， 從一個頁面爬到下一個頁面 ， 就好像蜘蛛在蜘蛛網上爬行那樣 ， 這也是搜索引擎蜘蛛這個名稱的由來 。
3、吸引蜘蛛：
理論上蜘蛛能爬行和抓取所有頁面 ， 但實際上不能 ， 也不會這么做 。 SEO人員想要讓自己的更多頁面被收錄 ， 就要想方設法吸引蜘蛛抓取 。
4、地址庫：
為了避免重復爬行和抓取網址 ， 搜索引擎會建立一個地址庫 ， 記錄已經被發現還沒有抓取的頁面 ， 以及已經被抓取的頁面 。
5、文件儲蓄：
【爬行和抓取】 搜索引擎蜘蛛抓取的數據存入原始頁面數據庫 。 其他的頁面數據與用戶瀏覽器得到的HTML是完全一樣的 。 每個URL都是這樣一個獨特的文件編號 。
相關經驗推薦
- 摩羯女天蝎女誰更可怕 天蝎女和摩羯女誰更有魅力，摩羯女天蝎女誰魅力大
- 陶白白深度解析摩羯男 陶白白星座分析摩羯，摩羯座女和天秤座男配不
- 腰果有什么好處和功效？腰果的好處和壞處，告訴你答案在這里
- 翠蘆莉的養殖方法和注意事項
- 能搞定射手男的星座女 注定和射手座恩愛到老的星座，能讓射手座一生癡迷的星座
- 射手座一輩子的情劫 注定會和射手座結婚的星座，射手座愛得最深的兩個星座
- 櫻木花道和鳴人為什么在動漫中都喜歡吃拉面？答案其實有些讓人心酸
- 動漫圖集：30歲大叔和6歲蘿莉的故事
- 公貓和母貓打架怎么辦
- 公貓和母貓沒經驗怎么辦