抓取分析系統通過分析日志的蜘蛛數據，提取蜘蛛爬行的時間和軌跡，從而分析出蜘蛛對網站的訪問行為，這是和蜘蛛的行為反向的分析工作，蜘蛛到網站是分析網站的結構和內容，提取有價值的網頁推薦給用戶，而從SEO角度來說，分析蜘蛛的行為軌跡，是為了分析網站的內鏈結構是否合理，蜘蛛對網站的訪問是否有規律性，從而更好地引導蜘蛛訪問網頁，或者升級網站時避開蜘蛛訪問高峰期。
怎么在日志文件中提取到蜘蛛數據呢?首先需要識別出蜘蛛的IP或者名字，比如百度的蜘蛛命名為Baiduspider。網站式新聞動態
本文地址：http://www.66myw.cn/article/8270.html
