第一步：建立Sitemap文件，將目標推廣的URL列表推送給搜索引擎。
第二步：設立Robots文件，將不允許蜘蛛爬行的頁面在Robots里面定義清楚，然后把該文件上傳到網站根目錄下。
在Robots和Sitemap文件中，如何精細化地做好鏈接定義和說明，并有效告知搜索引擎，對SEO的效果影響較大，因為這些都切切實實影響到蜘蛛是否知曉鏈接存在和能否有效爬行網站。
在告知途徑上，主要有幾種方式。
● 通過Robots告 知搜索引擎可以爬行的路徑和禁止爬行的路徑。
● 通過直接提交網站首頁URL引導搜索引擎到達首頁，然后自行爬行內鏈，完成對網站的抓取，這種方式比較簡單，但不是最為理想的方式。
● 通過直接提交網站Sitemap的方式引導搜索引擎過來爬行頁面。 Sitemap即站點地圖，扁平化告知搜索引擎網站的結構和頁面地址，可以引導蜘蛛快速爬行到很多頁面。如果更精細化，可以設置頁面的權重和更新頻率等信息，幫助蜘蛛更有針對性地爬行網站。網站式新聞動態
本文地址：http://www.66myw.cn/article/8216.html
