站長(zhǎng)在查看網(wǎng)站日志，分析搜索引擎蜘蛛抓取過(guò)程中，經(jīng)常會(huì)遇到一些莫名其妙的IP，這些怪異的行為也讓很多站長(zhǎng)出現(xiàn)困惑。比如你還沒(méi)有發(fā)布網(wǎng)站信息，但日志中就顯示在發(fā)布之前已經(jīng)抓取訪問(wèn)過(guò)，再比如一些IP是無(wú)法查詢到準(zhǔn)確來(lái)路等等。
而出現(xiàn)這種情況，首先需要了解什么是真假蜘蛛。搜索引擎蜘蛛的真?zhèn)危窍鄬?duì)來(lái)說(shuō)，通常來(lái)自搜索引擎的蜘蛛，是站長(zhǎng)優(yōu)化網(wǎng)站的依據(jù)，然而很多采集程序，站長(zhǎng)工具的抓取是模仿蜘蛛的抓取。那如何判斷網(wǎng)站搜索引擎蜘蛛的真假呢？
在查看網(wǎng)站常用日志的工具【加錨文本】中我們有提到金花站長(zhǎng)工具，使用此工具可以將真假蜘蛛分辨出來(lái)，但是無(wú)法從根本上發(fā)現(xiàn)它為什么是假蜘蛛。在Windows操作系統(tǒng)中，用Dos窗口tracert可以準(zhǔn)確查看。
220.181.68.*每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站。220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。121.14.89.*這個(gè)ip段作為度過(guò)新站考察期。203.208.60.*這個(gè)ip段出現(xiàn)在新站及站點(diǎn)有不正?，F(xiàn)象后。210.72.225.*這個(gè)ip段不間斷巡邏各站。125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分，是新上線站較多，還有使用過(guò)站長(zhǎng)工具，或SEO綜合檢測(cè)造成的。
220.181.108.95這個(gè)是百度抓取首頁(yè)的專用IP，如是220.181.108段的話，基本來(lái)說(shuō)你的網(wǎng)站會(huì)天天隔夜快照，絕對(duì)錯(cuò)不了的，我保證。220.181.108.92 同上98%抓取首頁(yè)，可能還會(huì)抓取其他 (不是指內(nèi)頁(yè))220.181段屬于權(quán)重IP段此段爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。123.125.71.106 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。220.181.108.91屬于綜合的，主要抓取首頁(yè)和內(nèi)頁(yè)或其他，屬于權(quán)重IP 段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。
220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁(yè)達(dá)到90%，8%抓取首頁(yè)，2%其他。權(quán)重IP 段，爬過(guò)的文章或首頁(yè)基本24小時(shí)放出來(lái)。220.181.108.86專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。123.125.71.95 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。123.125.71.97 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。220.181.108.89專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
220.181.108.94專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。220.181.108.97專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。220.181.108.80專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。220.181.108.77 專用抓首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。123.125.71.117 抓取內(nèi)頁(yè)收錄的，權(quán)重較低，爬過(guò)此段的內(nèi)頁(yè)文章不會(huì)很快放出來(lái)，因不是原創(chuàng)或采集文章。220.181.108.83專用抓取首頁(yè)IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新。
注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁(yè)收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時(shí)被收錄但不放出來(lái).(意思也就是說(shuō)待定)。220.181.108.*段IP主要是抓取首頁(yè)占80%，內(nèi)頁(yè)占30%，這此爬過(guò)的文章或首頁(yè)，絕對(duì)24小時(shí)內(nèi)放出來(lái)和隔夜快照的，這點(diǎn)我可以保證!123.125.68.*這個(gè)蜘蛛經(jīng)常來(lái),別的來(lái)的少,表示網(wǎng)站可能要進(jìn)入沙盒了，或被者降權(quán)。
220.181.68.*每天這個(gè)IP 段只增不減很有可能進(jìn)沙盒或K站。220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪，準(zhǔn)備抓取你東西。
經(jīng)常查看網(wǎng)站日志的站長(zhǎng)可以觀察，基本上從命令返回值，可以大概知道在123.125.71.*，220.181.108.* ，這兩個(gè)IP段屬于百度蜘蛛的IP。因此，在查看網(wǎng)站日志，可以很快的分辨出哪些是百度蜘蛛抓取的時(shí)間，哪些是其他搜索引擎抓取的時(shí)間。常見(jiàn)的各搜索引擎蜘蛛IP段如下
一般而言，虛假蜘蛛不會(huì)出現(xiàn)太多，當(dāng)然，如果遇上網(wǎng)站被虛擬IP攻擊，或者被采集，那么如何禁止呢？常見(jiàn)的方法是可以通過(guò)百度推廣后臺(tái)的禁止IP工具，或者利用服務(wù)器的安全防護(hù)，可以禁止相關(guān)的IP訪問(wèn)。
評(píng)論列表