發(fā)布于 2018-01-20 12:36:50 541次瀏覽, 若為非敏感信息，則可以使用 robots.txt 阻止不必要的抓取,“robots.txt”文件會告訴搜索引擎它們是否可以訪問您網(wǎng)站的各個部分并執(zhí)行抓取。此文件必須命名為“robots.txt”，且應位于網(wǎng)站的根目錄下。被 robots.txt 阻止的網(wǎng)頁也可能會被抓取，因此您應使用更安全的方法保護敏感網(wǎng)頁。,Google官方robots.txt系列(1)：
,您可能不希望網(wǎng)站的某些頁面被抓取，因為這些頁面顯示在搜索引擎的搜索結果中可能對用戶無用。如果您希望阻止搜索引擎抓取您的網(wǎng)頁，Google Search Console 可提供便捷的 robots.txt 生成器幫助您創(chuàng)建此文件。請注意，如果您的網(wǎng)站使用了子域名，并且您希望 Google 不要抓取特定子域名上的某些網(wǎng)頁，那么您必須為該子域名單獨創(chuàng)建一個 robots.txt 文件。要詳細了解 robots.txt，建議您參閱網(wǎng)站站長幫助中心內(nèi)的 使用 robots.txt 文件
13指南。,了解其他幾種阻止內(nèi)容顯示在搜索結果中的方法
14。,
應避免的做法：,
若為敏感信息，則請使用更安全的方法,要阻止用戶訪問敏感或機密信息，Robots.txt 并不是一個適當或有效的方式。它只會告知運行良好的抓取工具不要抓取相應網(wǎng)頁，卻不會阻止您的服務器將這些網(wǎng)頁發(fā)送給請求它們的瀏覽器。其中一個原因是：如果互聯(lián)網(wǎng)上的某處（例如引薦來源網(wǎng)址日志）恰好存在指向這些被禁止訪問的網(wǎng)址的鏈接，那么搜索引擎仍然能夠引用這些網(wǎng)址（僅顯示網(wǎng)址，但不顯示標題或摘要）。此外，未同意遵守《漫游器排除標準》的不合規(guī)搜索引擎或流氓搜索引擎可能會違反您的 robots.txt 文件中的指令。最后，用戶可能會出于好奇查看您的 robots.txt 文件中的目錄或子目錄，并猜測您不想被看見的內(nèi)容的網(wǎng)址。,在這些情況下，如果您只是希望網(wǎng)頁不顯示在 Google 中，則可使用 noindex 標記，無需擔心任何用戶會通過鏈接訪問該網(wǎng)頁。然而，為了做到真正的安全，您應該使用合適的授權方法（例如需要用戶密碼才能訪問）或將網(wǎng)頁從網(wǎng)站上徹底移除。,Google官方robots.txt系列(2)：
,轉載請注明: 愛推站 ? Google官方SEO入門指南(3)：告訴 Go
|轉載請注明來源地址：蜘蛛池出租 http://www.wholesalehouseflipping.com/你知道網(wǎng)站關鍵詞該怎么布局嗎？
專注于SEO培訓，快速排名黑帽SEO https://www.heimao.wiki