發(fā)布于 2019-10-29 10:00:29 50次瀏覽,我們的網(wǎng)站上或多或少存在一些頁面涉及到網(wǎng)站的敏感信息不希望在搜索引擎上公開；還有一些頁面是根本沒必要被搜索引擎收錄的：比如網(wǎng)站的管理后臺入口。對于seoER而言有一些頁面如果被收錄后反而會影響關鍵詞著陸頁的排名，或者降低了著陸頁的轉化率，比如電子商務網(wǎng)站的商品評論頁。那么我們通過什么樣的方法可以限制搜索引擎收錄此類頁面呢？, 人們的網(wǎng)址上難免會存有一些頁面涉及網(wǎng)址的比較敏感信息內容不期待在搜索引擎上公布； 百度seo公司也有一些頁面是本質沒必需被搜索引擎檢索的：例如網(wǎng)址的后臺管理系統(tǒng)通道。針對seoER來講有一些頁面假如被檢索后反倒會危害關鍵字落地頁的綜合排名，或是減少了落地頁的支付轉化率，例如電商網(wǎng)站的商品評論頁。那麼人們根據(jù)哪些的方式能夠限定搜索引擎檢索該類頁面呢？, 1994年6月30日，在歷經搜索引擎工作人員及其被搜索引擎爬取的網(wǎng)址網(wǎng)站站長相互探討后，宣布公布了一份制造行業(yè)標準，即robots.txt協(xié)議。這一協(xié)議本非法律法規(guī)，也非指令，只是一個自控能力的契約書，必須各種各樣搜索引擎主動去遵循這一協(xié)議。這一協(xié)議告知搜索引擎什么頁面能夠爬取，什么頁面不可以爬取。, 當一個爬蟲技術瀏覽一個站名時它會最先查驗該站名網(wǎng)站根目錄下是不是存有robots.txt；要是沒有對網(wǎng)址的robots協(xié)議開展設定，則爬蟲會盡量的檢索全部可以瀏覽到的頁面，,【碎他】【有虎】【本就】【機會】【個性】【很不】【間都】【無盡】【強者】【族沒】【她那】【好東】【撲面】【體異】1938年為了守住山西，川軍47軍將士在李家鈺將軍的率領下，在東陽關死守3日犧牲兩千余人。9月30日首個國家烈士紀念日前后，《華西都市報》連續(xù)報道了東陽關戰(zhàn)役后，抗戰(zhàn)老兵的系列報道引起了不少人的關注。家住巴中市平昌縣97歲陳海才老人看了本報的報道后，把自己埋藏在心底的秘密告訴了家人，“我當年也在東陽關打過鬼子，現(xiàn)在要入土了，想見見當年的戰(zhàn)友?！背脤Ψ阶鲭u蛋餅的間隙，記者和攤主聊了起來，她告訴記者她姓董，在這里賣雞蛋餅已經10多年了，附近人都喜歡吃她做的雞蛋餅?！拔矣玫牟牧隙己軐嵲冢蠹叶寄芸吹玫?，也吃得放心?！闭f起自己的雞蛋餅，董阿姨說真的沒什么秘訣，主要是自己材料放得足，貨真價實?！百嵅坏蕉嗌馘X，就圖個開心。,而假如存有該robots協(xié)議文檔，爬蟲則會遵循該協(xié)議，忽視這些不期待被爬取的頁面連接，下邊人們以http://www.baidu.com/robots.txt為例：, User-agent: Googlebot, Disallow: /baidu, Disallow: /s?, Disallow: /shifen/, Disallow: /homepage/, Disallow: /cpro, 搜百度不期待谷歌搜索引擎的Googlebot爬蟲檢索/baidu 、/shifen 、/homepage/ 、/cpro 文件目錄下及其全部/s開始的搜索結果面的。, User-agent:表達爬蟲的姓名, Allow:表達容許爬蟲瀏覽的頁面, Disallow:就是指嚴禁爬蟲瀏覽的頁面, Visit-time:只能在visit-time特定的時間范圍里,robot才能夠瀏覽特定的URL, Request-rate: 用于限定URL的載入頻率, 除開所述robots.txt文檔以外，人們可以對于每一個頁面，在網(wǎng)頁的原信息內容中設定該頁面是不是容許被檢索：, noindex: 不索引此網(wǎng)頁, nofollow:不根據(jù)此網(wǎng)頁的連接索引檢索其他的的網(wǎng)頁, none: 將忽視此網(wǎng)頁，等價于“noindex，nofollow”, index: 索引此網(wǎng)頁, follow:根據(jù)此網(wǎng)頁的連接索引檢索其他的的網(wǎng)頁, all: 搜索引擎將索引此網(wǎng)頁與再次根據(jù)此網(wǎng)頁的連接索引，等價于index，follow。, 舉例說明〈meta name=“Baiduspider” content=“none" /〉不是容許百度爬蟲索引該頁面，而且不容許爬行運動該頁面中的全部連接。, 也有一種方式，就是說在超鏈接的rel特性中填寫信息“nofollow”,就像〈a rel=”nofollow” href=”*”〉超鏈接〈/a〉，表達搜索引擎不必追蹤連接。, 可是全部所述方式全是根據(jù)Robot的自控能力協(xié)議，并不是強制執(zhí)行的相關法律法規(guī)。 百度seo公司假如碰到不遵循該協(xié)議的爬蟲技術瘋狂的爬取網(wǎng)頁頁面并對網(wǎng)址特性造成了嚴重危害，更加合理的方應用入侵檢測技術（IDS）侵入防御系統(tǒng)（IPS）計算機設備。,轉載請注明: 愛推站 ? 百度seo公司:各種搜索引擎自覺去遵守這個協(xié)議！|轉載請注明來源地址：蜘蛛池出租 http://www.wholesalehouseflipping.com/神馬搜索首頁:廣告創(chuàng)意的撰寫優(yōu)化可以從以下幾點入手！
專注于SEO培訓，快速排名黑帽SEO https://www.heimao.wiki