網絡營銷策劃

添加微信號:niuwen85,免費學習網絡營銷

知名客戶

寧波永發集團有限公司

浙江科太廚房電器有限公司

杭州百草味企業管理咨詢有限公司

安美拉國際集團有限公司

耐思電氣(嘉興)有限公司

真彩文具股份有限公司

杭州小拇指汽車維修科技股份有限公司

廣州市梵婕緹生物科技有限公司

浙江健盛集團股份有限公司

貴州喜百年裝飾工程有限公司

九陽股份有限公司

杭州夏果食品有限公司

上海邦路仕窗膜有限公司

廣州尊寶比薩

上海雷普電氣有限公司

浙江創遠新材有限公司

北京東聯智通科技有限公司

杭州雅琪化工有限公司

青島沃隆國際貿易有限公司

迪安診斷技術集團股份有限公司

深圳市維辣服飾有限公司

浙江文投航美傳媒有限公司

滬江教育科技(上海)股份有限公司

顧家家居股份有限公司

上海菁筑貿易有限公司

安默凱爾兒童安全座椅

哈藥集團哈爾濱藥六健康科技有限公司

眾泰控股集團有限公司

南寧中民教育咨詢有限公司

大連市中心醫院

杭州甲虎科技有限公司

瑞安國際帆布鞋網銷基地

艾耐兒隱形發造型服務品牌

北京中國國際旅行社

北京西藏中青旅

上海品音貿易有限公司

慧科教育科技集團有限公司

聯系聚卓

杭州聚卓營銷策劃有限公司
咨詢熱線: 400-667-0113
固定電話: 0571-85464313
企業Q  Q: 競價托管咨詢點擊這里給我發消息
品牌傳播咨詢點擊這里給我發消息
營銷策劃咨詢點擊這里給我發消息
企業微信: niuwen85
咨詢郵箱: ask@jz182.com
官方網站: http://www.hksllk.cn
聯系地址: 杭州市拱墅區遠洋國際E座1509室

SEO優化

當前位置: > 專家見解 > SEO優化 >

怎么看蜘蛛是否爬行你的網站

 文章來源:聚卓營銷 時間:2014-06-17 16:19 點擊:
分享到:
    我們通常在優化的時候,很多新的站長朋友都不會去看網站日志的,其實網站日志里可以了解到很多的東西,比如說蜘蛛在你的網站爬行了哪個頁面,什么時間到你的網站進行抓取的,抓取了哪個頁面以及抓取情況。而且我們在日志里還能看到不同搜索引擎的蜘蛛來訪問你的網站,因此我們就可以看到蜘蛛在你網站里做了什么。對于一些剛剛接觸seo的朋友來講,學會怎么看蜘蛛爬行你的網站是很重要的,現在我們也有很多強大的工具可以對這些蜘蛛進行分析,但是基礎的你還是要去了解的,下面我就來為大家介紹。
 
    想要學會看蜘蛛在你網站做什么我們首先就要對各大搜索引擎的蜘蛛進行了解,不同的蜘蛛它的名字也是不一樣的,他們在抓取網頁的時候會發送一個請求,這個請求中就包含一個User-agcnt字段,它的用途是給這個網絡蜘蛛做一個標識,確定這個蜘蛛的身份,那么常見的蜘蛛有:
 
    百度蜘蛛:Baiduspider
 
    google蜘蛛:googlebot
 
    yahoo蜘蛛:slurp
 
    alexa指出:ia_archiver
 
    有到蜘蛛:YodaoBot和OutfoxBot
 
    搜狗蜘蛛:sogou spider
 
    SOSO蜘蛛:sosospider
 
    360蜘蛛:360spider
 
    以上就就是比較常見的蜘蛛名字了,那么下面我們就要了解蜘蛛在你網站具體做了哪些事情,首先我們來看這樣一段代碼:
 
    [26/Dec/2013:01:32:15 +0800] "GET /silian.txt HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/plain "/usr/home/hmu145206/htdocs/silian.txt"  222.216.190.14
 
    我們要看一下有下劃線的那一部分,它給我們的意思就是百度蜘蛛在2013-12-26  01:32:15爬過了/silian.txt這個頁面,而后面狀態碼顯示的是304就是說你這個頁面沒有更新過。
 
    我們再來看下一段代碼:
 
    [26/Dec/2013:03:10:21 +0800] "GET /service/sed/?wangmeng HTTP/1.0" 200 16981 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/html "/usr/home/hmu145206/htdocs/service/sed/index.html"  222.216.190.8
 
    我們看下劃線的部分,它表示的意思是百度蜘蛛在2013-12-26 03:10:21 來你的網站爬過,而“GET”是表示抓取到的意思,等于蜘蛛抓取的是這個頁面“/service/sed/?wangmeng ” ,“200 16981 ”表示的意思是正常獲取了16981個字節,200協議代表了請求完成,發現了這個頁面并且已入庫的意思,“222.216.190.8 ”這個是表示百度的IP地址。
 
    通過上面的介紹相信我們對怎么看蜘蛛是否爬行你的網站有了一定的了解了吧,我們學會了看網站日志對我們做SEO來說是有很大用處的,只有這樣我們才知道怎么樣去優化網站更好,而不是每天重復著那幾樣工作,不管有沒有效果我們都不知道,那這就失去了做優化的意義了。
 本文關鍵詞:蜘蛛 | 路徑 |
分享到:

相關文章

聚卓首頁 | 關于聚卓 | 服務項目 | 成功案例 | 客戶見證 | 專家見解 | 媒體報道 | 聯系聚卓  

杭州聚卓營銷策劃有限公司 工信部備案號:浙ICP備13001297號-1

服務熱線:400-667-0113 電話:0571-87803343 郵編:310015

地址:杭州市拱墅區遠洋國際E座1509室

 競價托管咨詢點擊這里給我發消息   品牌傳播咨詢點擊這里給我發消息   營銷策劃咨詢點擊這里給我發消息
小蝌蚪视频网站在线免费观视频,在线电影高清,涩涩在线视频,在线免费有色视频