發(fā)布于 2018-01-20 12:36:50 541次瀏覽, 若為非敏感信息,則可以使用 robots.txt 阻止不必要的抓取,“robots.txt”文件會告訴搜索引擎它們是否可以訪問您網(wǎng)站的各個部分并執(zhí)行抓取。此文件必須命名為“robots.txt”,且應位于網(wǎng)站的根目錄下。被 robots.txt 阻止的網(wǎng)頁也可能會被抓取,因此您應使用更安全的方法保護敏感網(wǎng)頁。,Google官方robots.txt系列(1):
,您可能不希望網(wǎng)站的某些頁面被抓取,因為這些頁面顯示在搜索引擎的搜索結果中可能對用戶無用。如果您希望阻止搜索引擎抓取您的網(wǎng)頁,Google Search Console 可提供便捷的 robots.txt 生成器幫助您創(chuàng)建此文件。請注意,如果您的網(wǎng)站使用了子域名,并且您希望 Google 不要抓取特定子域名上的某些網(wǎng)頁,那么您必須為該子域名單獨創(chuàng)建一個 robots.txt 文件。要詳細了解 robots.txt,建議您參閱網(wǎng)站站長幫助中心內(nèi)的 使用 robots.txt 文件
13指南。,了解其他幾種阻止內(nèi)容顯示在搜索結果中的方法
14。,
應避免的做法:,
若為敏感信息,則請使用更安全的方法,要阻止用戶訪問敏感或機密信息,Robots.txt 并不是一個適當或有效的方式。它只會告知運行良好的抓取工具不要抓取相應網(wǎng)頁,卻不會阻止您的服務器將這些網(wǎng)頁發(fā)送給請求它們的瀏覽器。其中一個原因是:如果互聯(lián)網(wǎng)上的某處(例如引薦來源網(wǎng)址日志)恰好存在指向這些被禁止訪問的網(wǎng)址的鏈接,那么搜索引擎仍然能夠引用這些網(wǎng)址(僅顯示網(wǎng)址,但不顯示標題或摘要)。此外,未同意遵守《漫游器排除標準》的不合規(guī)搜索引擎或流氓搜索引擎可能會違反您的 robots.txt 文件中的指令。最后,用戶可能會出于好奇查看您的 robots.txt 文件中的目錄或子目錄,并猜測您不想被看見的內(nèi)容的網(wǎng)址。,在這些情況下,如果您只是希望網(wǎng)頁不顯示在 Google 中,則可使用 noindex 標記,無需擔心任何用戶會通過鏈接訪問該網(wǎng)頁。然而,為了做到真正的安全,您應該使用合適的授權方法(例如需要用戶密碼才能訪問)或將網(wǎng)頁從網(wǎng)站上徹底移除。,Google官方robots.txt系列(2):
,轉載請注明: 愛推站 ? Google官方SEO入門指南(3):告訴 Go
|轉載請注明來源地址:蜘蛛池出租 http://www.wholesalehouseflipping.com/你知道網(wǎng)站關鍵詞該怎么布局嗎?
專注于SEO培訓,快速排名黑帽SEO https://www.heimao.wiki
