怎樣利用百度蜘蛛referer找到報(bào)錯(cuò)頁面入口？眾人應(yīng)當(dāng)都曉得百度依然全站https并撤銷referer主要詞顯現(xiàn)了，那么“百度蜘蛛referer“又是什么?有什么妙用嗎?藝龍SEO負(fù)責(zé)人劉明發(fā)現(xiàn)經(jīng)過百度蜘蛛referer不妨迅速定位部分站內(nèi)url的報(bào)錯(cuò)(4xx或許5xx)緣故。隨后社區(qū)版主飛鷹正義也對(duì)文章做了補(bǔ)充更正，現(xiàn)舉薦給諸位同窗們。
百度蜘蛛的referer，是指當(dāng)百度蜘蛛抓取某一個(gè)URL的時(shí)辰，在HTTP頭中帶的Referer字段。請(qǐng)關(guān)注，這個(gè)定義和百度近聲明去除Referer中主要詞數(shù)據(jù)沒有任何關(guān)系。此次講的是spider提議的HTTP請(qǐng)求，百度而去除的是用戶提議的。假如百度蜘蛛抓取百度首頁的logo，會(huì)提議如此的請(qǐng)求
上面Referer字段很明白的表示了他是從這個(gè)頁面上發(fā)現(xiàn)并抓取了。而眾人在服務(wù)器拜訪日志中也應(yīng)當(dāng)能看到相應(yīng)的記載。目前發(fā)現(xiàn)唯有當(dāng)百度抓取一個(gè)網(wǎng)頁的同時(shí)，又抓取了網(wǎng)頁中的：img、js和css才會(huì)帶上referer字段。這部分卓殊的抓取量，應(yīng)當(dāng)不會(huì)占用百度分派的抓取配額，屬于“買1送1”。
關(guān)于站長的意義
假如你發(fā)現(xiàn)有一批URL(僅限于img,js,css)報(bào)錯(cuò)(4xx或許5xx)，可是一直找不到進(jìn)口在哪，也即是說你不清楚百度蜘蛛是從哪處發(fā)現(xiàn)這些差錯(cuò)URL的。這個(gè)字段不妨協(xié)助你迅速定位。
舉個(gè)例子
譬如咱們的SEO日志分析體系中不妨看到，符合底下這種URL Pattern的路徑天天有6萬到10萬的抓取而且所有報(bào)404。
從發(fā)現(xiàn)問題至今過了1個(gè)月，查遍悉數(shù)網(wǎng)站我也沒找到進(jìn)口。今日偶然仔細(xì)查了一下日志，想起了百度蜘蛛的referer，趕快就可以定位問題了。這些404的URL來自于一套沒人愛護(hù)也沒人關(guān)注的頁面(往往是如此)。收錄流量都不錯(cuò)。由于近公司圖片體系更新，圖片的URL所有更改了，但這套頁面并沒有跟隨更新。
iis請(qǐng)?jiān)谶@里勾選“cs(Referer)”
apache請(qǐng)參考:
apache log配置“Combined Log Format”章節(jié)
apache log配置的鏈接
Nginx請(qǐng)參考：
nginx log配置
nginx log配置的鏈接
關(guān)鍵詞： 怎樣,利用,百度,蜘蛛,referer,找到,報(bào)錯(cuò),頁面,入|轉(zhuǎn)載請(qǐng)注明來源地址：蜘蛛池出租 http://www.wholesalehouseflipping.com/專注于SEO培訓(xùn)，快速排名黑帽SEO https://www.heimao.wiki