您的位置:老鐵SEO > 站長新聞 >

蜘蛛日志分析蜘蛛抓取的行為

文章來源:www.kmkusn.tw

作者:老鐵SEO

人氣:153

2018-11-07

  通過對網站日志的分析,我們可以很好的判斷我們的網站的健康程度,并且還可以看到蜘蛛抓取的記錄以及用戶的一些行為記錄,這樣數據對于我們來講無疑是提升網站的一個關鍵,可以時刻的讓我們看到網站的不足之處,從而進行改正。然而今天小編與大家分享的主要是蜘蛛抓取的行為,希望對各位站長有所幫助。
 
  (一)蜘蛛訪問的次數、停留時間以及抓取的數量。
 
  從小標題中的三個小編提到的數據我們可以了解到下面幾點信息:
 
  1、平均每次抓取頁面數=總抓取量/訪問次數
 
  2、單頁抓取停留=每次停留/每次抓取
 
  3、平均每次停留時間=總停留時間/訪問次數
 
  以上三點載自百度百科。
 
  從這些數據中我們可以很好的看出百度蜘蛛在我們網站上的活躍度、是否親和,以及我們網站內容抓取的深度等等有效的數據。當我們網站中總的訪問頻次、蜘蛛停留的時間,以及網站抓取程度的是否高,從這些都是可以看出我們網站是否受到蜘蛛的喜愛。并且在我們單頁面的蜘蛛停留時間的長短也可以看出我們的文章頁面是否受蜘蛛的喜愛。
 
  小提示:如果你想要長期發展一個網站的話,小編建議各位定期的整理出網站數據報表,這樣對我們網站的發展也會有著很好的幫助。
 
  (二)網站目錄蜘蛛抓取的統計。
 
  通過網站日志的分析,可以很好的看出我們的哪些目錄比較受蜘蛛的喜愛,蜘蛛經常抓取收錄,并且給予的排名權重狀況。并且我們可以通過這些數據能夠發現很多問題,對于我們想要突出的欄目可以通過內部結構來進行指向,從而有效的增加欄目的權重和蜘蛛抓取的程度。對于那些我們不希望蜘蛛抓取的頁面,也可以進行屏蔽。
 
  (三)網站頁面的抓取。
 
  通過日常的日志分析統計中,我們可以看出哪些網站頁面比較受蜘蛛的喜愛,并且可以了解到蜘蛛在這些頁面的抓取行為,例如說蜘蛛是否抓取了一些沒有被收錄價值的頁面,或者重復的抓取了一些頁面等,大家都知道這樣會影響到我們網站其他頁面的權重傳遞的。就比如說小編的網站皮膚欄目通常就要比名字欄目抓取的勤快,收錄健康程度也較好,所以小編現在定期在名字欄目的文章中添加進入一些圖片,不僅僅美觀還有效的提升了名字欄目文章的收錄,所以通過分析,我們可以屏蔽蜘蛛抓取這些沒有價值的頁面,也有效的提高了我們其他頁面權重的傳遞,并且學習蜘蛛比較喜愛的頁面優點來補充其他頁面的不足。
 
  (四)了解蜘蛛是否訪問我們的頁面以及訪問頁面的狀態代碼。
 
  很多朋友的網站主頁快照經常不正常,網站發布的文章也經常不收錄,面對這樣的情況我們都會想蜘蛛有沒有到我們的網站抓取。這時候我們也可以通過網站日志來看是否有蜘蛛IP的記錄就可以了解蜘蛛是否來爬行我們的網站,從而判斷是否是我們網站質量的原因導致不收錄。并且也可以看出蜘蛛訪問我們網站頁面的狀態代碼,例如說301、503、403等,當出現這樣情況的時候,我們盡早做處理,以免成為網站降權的隱患。
 
  (五)了解蜘蛛抓取的時間段。
 
  通過日常日志分析總結中,你會很奇妙的發現一件事,那就是蜘蛛會在每天的一個特定時間內在網站爬行抓取的很活躍,當我們了解到這樣的情況,我們就可以再特定的時間去更新網站內容,這個可以更加有效的讓蜘蛛抓取我們網站內容,從而達到一個秒收的效果。
 
  總結:如果一個網站想要長久發展的話,站長們一定要學會分析網站日志,從而了解網站每天的健康狀況,并且發現異常情況的時候即使改正,這樣不僅僅對網站有很大的幫助,還有效的防止網站因為這些異常引發的降權、被K等現象。
相關文章

在線客服

外鏈咨詢

掃碼加我微信

0557-8818050

返回頂部

网球比分指数