發(fā)布于 2018-01-20 12:36:51 670次瀏覽,Google官方robots.txt系列(2)：
robots.txt 文件位于您網(wǎng)站的根目錄下，用于表明您不希望搜索引擎抓取工具訪問您網(wǎng)站上的哪些內(nèi)容。此文件使用的是 漫游器排除標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)是一種內(nèi)含一小組命令的協(xié)議，可依照網(wǎng)站各部分和特定的網(wǎng)頁抓取工具類型（例如移動版抓取工具與桌面版抓取工具），表明可訪問的網(wǎng)站內(nèi)容。,對于非圖片文件（即網(wǎng)頁），您應(yīng)僅將 robots.txt 用于控制抓取流量，因為通常情況下您不會希望 Google 抓取工具造成您的服務(wù)器超負荷，或是將抓取預(yù)算浪費在抓取您網(wǎng)站上不重要或相似的網(wǎng)頁上。
如果您不想讓自己的網(wǎng)頁顯示在 Google 搜索結(jié)果中，請不要將 robots.txt 用作隱藏網(wǎng)頁的方法。 這是因為其他網(wǎng)頁可能會指向您的網(wǎng)頁，導(dǎo)致我們將您的網(wǎng)頁編入索引，而讓 robots.txt 文件失去效用。如果您想從搜索結(jié)果中屏蔽自己的網(wǎng)頁，請使用其他方法，例如密碼保護或 noindex 標(biāo)記或指令。,robots.txt 可以阻止圖片文件出現(xiàn)在 Google 搜索結(jié)果中（不過它不會阻止其他網(wǎng)頁或用戶鏈接到您的圖片）。,如果您認為加載網(wǎng)頁時跳過不重要的圖片、腳本或樣式文件等資源并不會造成太大影響，那么您可以使用 robots.txt 來屏蔽這些資源文件。不過，如果缺少這些資源會增加 Google 抓取工具在分析網(wǎng)頁方面的難度，則建議您不要屏蔽這些資源，否則 Google 將無法正確分析需要依賴這些資源的網(wǎng)頁。,在創(chuàng)建你知道網(wǎng)站關(guān)鍵詞該怎么布局嗎？
robots.txt 之前，您應(yīng)該了解這種網(wǎng)址屏蔽方法的潛在風(fēng)險。有時候，您可能需要考慮采用其他機制來確保搜索引擎無法在網(wǎng)絡(luò)上找到您的網(wǎng)址。,注意：結(jié)合使用多種抓取和索引編制指令可能會導(dǎo)致某些指令與其他指令沖突。請參閱 Google Developers 文檔的 “結(jié)合使用抓取指令和索引編制/內(nèi)容提供指令”部分，了解如何正確配置這些指令。,
,轉(zhuǎn)載請注明: 愛推站 ? Google官方robots.txt系列(1)：
|轉(zhuǎn)載請注明來源地址：蜘蛛池出租 http://www.wholesalehouseflipping.com/如何選擇域名更有利于SEO
專注于SEO培訓(xùn)，快速排名黑帽SEO https://www.heimao.wiki