您現在的位置是:電腦技術吧?>? 基礎知識 ??>??robots.txt,robotstxt什么意思??>??正文詳情

robots.txt,robotstxt什么意思

道安安2019-11-14 00:31:06 人圍觀
簡介txt分析工具Robots.txt是純文本文件。在此文件中,網站管理員可以聲明不希望機器人訪問的網站部分,或者指定的搜索引擎只能包含指定的內容。當搜索機器人(有些被稱為搜索蜘txt文件

robots.txt基本介紹robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容。

當一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。

另外,robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

robots.txt寫作語法首先,我們來看一個robots.txt范例:http://www.csswebs.org/robots.txt訪問以上具體地址,我們可以看到robots.txt的具體內容如下:# Robots.txt file from http://www.csswebs.org# All robots will spider the domainUser-agent: *Disallow:以上文本表達的意思是允許所有的搜索機器人訪問www.csswebs.org站點下的所有文件。

具體語法分析:其中#后面文字為說明信息;User-agent:后面為搜索機器人的名稱,后面如果是*,則泛指所有的搜索機器人;Disallow:后面為不允許訪問的文件目錄。

下面,我將列舉一些robots.txt的具體用法:允許所有的robot訪問User-agent: *Disallow:或者也可以建一個空文件 /robots.txt file禁止所有搜索引擎訪問網站的任何部分User-agent: *Disallow: /禁止所有搜索引擎訪問網站的幾個部分(下例中的01、02、03目錄)User-agent: *Disallow: /01/Disallow: /02/Disallow: /03/禁止某個搜索引擎的訪問(下例中的BadBot)User-agent: BadBotDisallow: /只允許某個搜索引擎的訪問(下例中的Crawler)User-agent: CrawlerDisallow:User-agent: *Disallow: /另外,我覺得有必要進行拓展說明,對robots meta進行一些介紹:Robots META標簽則主要是針對一個個具體的頁面。

和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣,Robots META標簽也是放在頁面的<head></head>中,專門用來告訴搜索引擎ROBOTS如何抓取該頁的內容。

Robots META標簽的寫法:Robots META標簽中沒有大小寫之分,name=Robots表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=BaiduSpider。

content部分有四個指令選項:index、noindex、follow、nofollow,指令間以,分隔。

INDEX 指令告訴搜索機器人抓取該頁面;FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;Robots Meta標簽的缺省值是INDEX和FOLLOW,只有inktomi除外,對于它,缺省值是INDEX,NOFOLLOW。

這樣,一共有四種組合:<META NAME=ROBOTS CONTENT=INDEX,FOLLOW><META NAME=ROBOTS CONTENT=NOINDEX,FOLLOW><META NAME=ROBOTS CONTENT=INDEX,NOFOLLOW><META NAME=ROBOTS CONTENT=NOINDEX,NOFOLLOW>其中<META NAME=ROBOTS CONTENT=INDEX,FOLLOW>可以寫成<META NAME=ROBOTS CONTENT=ALL>;<META NAME=ROBOTS CONTENT=NOINDEX,NOFOLLOW>可以寫成<META NAME=ROBOTS CONTENT=NONE>目前看來,絕大多數的搜索引擎機器人都遵守robots.txt的規則,而對于Robots META標簽,目前支持的并不多,但是正在逐漸增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE還增加了一個指令archive,可以限制GOOGLE是否保留網頁快照。

例如:<META NAME=googlebot CONTENT=index,follow,noarchive>

版權聲明:本文由 道安安 整理編輯。

原標題:robotstxt限制怎么解決,取消robotstxt限制

轉載注明出處:http://www.dn9ww09s.icu/basics/11991.html

文章評論

    共有條評論來說兩句吧...

    用戶名:

    驗證碼:

作者推薦

  • 電腦文件夾無法刪除怎么辦,電腦無法刪除文件夾

    電腦文件夾無法刪除怎么辦,電腦無法刪除文件夾 相關圖片一鍵刪除電腦空文件夾也許每個人都遇到過這種情況。刪除文件夾時,彈出提示:“文件夾不能刪除,文件夾文件不能被其他人或程序刪除。”。事實上,可能是空文件夾中的某些內容...

  • tab選項卡,tab選項卡代碼

    tab選項卡,tab選項卡代碼 相關圖片tabcontrol選項卡切換!DOCTYPE htmlhtml lang=enheadmeta charset=UTF-8titlepure css3 tab/titlestyle typtabcontrol選項卡...

  • 筆記本麥克風怎么開啟,筆記本自帶麥克風沒聲音

    筆記本麥克風怎么開啟,筆記本自帶麥克風沒聲音 相關圖片2016筆記本電腦排行榜我們知道,大多數筆記本電腦都內置攝像頭和麥克風等,但最近有網友向筆者求助,稱新買的電腦在QQ視頻中可以聽到對方的話,但朋友聽不到他說的話,怎么了?...

  • 復制文件或文件夾出錯,文件無法復制粘貼

    復制文件或文件夾出錯,文件無法復制粘貼 相關圖片文件夾復制粘貼沒反應計算機無法復制、粘貼或剪切文件的問題,是計算機用戶經常遇到的問題,即復制后,粘貼時間為空。也就是說,此時,任何復制操作都將被忽略,因為它很忙。...

  • 質量檢測的三個重要特性,檢測系統的特性

    質量檢測的三個重要特性,檢測系統的特性 相關圖片產品化學特性檢測服務HTML5和CSS3已經逐漸成為web前端開發的必備技能。在開發過程中檢查不同瀏覽器對HTML5和CSS3的支持是一件非常麻煩的事情。例如,我們需要檢查瀏覽器是檢測系統的...

  • wifi為什么連上不能用,wifi

    wifi為什么連上不能用,wifi 相關圖片wifi已連接不可上網有時,家里的WiFi顯示電腦已經成功連接并獲得了IP地址,但無法上網。計算機已重新啟動,網絡已重新連接,但Internet不可用。為什么WiFi不能連接到互聯網wifi連接上不...

  • 什么是優化,優化應用對手機有沒有影響

    什么是優化,優化應用對手機有沒有影響 相關圖片對人員優化首先,我們應該對HTML5有一個大致的了解。HTML5是第五代W3C的核心語言,通常被稱為HTML代碼。這是HTML4.01的一個新變化,或者是為了彌補以前版本大數據能優化嗎...

  • 電腦安全模式怎么解除,電腦安全模式怎么退出

    電腦安全模式怎么解除,電腦安全模式怎么退出 相關圖片電腦安全模式進不去如果計算機硬件驅動程序或網絡有問題,則必須轉到安全模式才能進行修復、刪除和其他操作。進入安全模式后,許多人知道如何操作。如何退出?恐怕我不太了解...

  • 新固態硬盤裝系統教程,固態硬盤重裝系統教程

    新固態硬盤裝系統教程,固態硬盤重裝系統教程 相關圖片換固態硬盤要重裝系統嗎有用戶問小編,重裝系統固態硬盤的方法有哪些?實際上,有一個關于固態硬盤安裝的系統的圖片和文本教程非常簡單。win7重新安裝系統的固態硬盤有哪些圖片...

  • html5提示框,html搜索框功能實現

    html5提示框,html搜索框功能實現 相關圖片html搜索框讓我們先看看它們的不同顯示,這里是Firefox的截圖:這里是chrome的截圖:您可以猜到您編寫的代碼肯定是不兼容的。不過,你會發現這很簡單。即使您是一個前端html怎么做搜...

熱評文章

  • 電腦屏幕抖動閃爍,電腦屏幕上下抖動

    電腦屏幕抖動閃爍,電腦屏幕上下抖動 相關圖片顯示器屏幕抖動閃爍最近,我在貼吧上看到一些朋友說,有時候家里的電腦屏幕會一直突然晃動或閃爍,嚴重影響電腦的使用,很多人不知道在這種情況下該怎么辦。所以小編來告訴你...

  • 表格怎么標記紅色,表格的標簽是什么

    表格怎么標記紅色,表格的標簽是什么 相關圖片excel標記這是網絡教學網提供的一系列教程,主要為初學者講解表單在網頁中的應用,包括最基本的知識、一些表單技巧等,希望大家能支持網絡教學。表是安排內容的最佳方式。在HT...

  • 網絡視頻,網絡視頻分類

    網絡視頻,網絡視頻分類 相關圖片無網絡視頻怎么解決想必,用戶一定遇到過網絡視頻看不到的情況。一些網友如果不理解,會在網上查閱教程。然而,他們發現他們無法解釋網絡視頻無法看到的問題。他們認為這真的...

  • css控件,css時間控件

    css控件,css時間控件 相關圖片js控件在用CSS刷新頁面時,我們很容易保存頁面控件的輸入值。例如,某些頁面意外刷新了頁面表單值,因此不再需要重新輸入。所以我們可以使用CSS來定義要保存的頁面刷新值。居中對...

  • 不會玩電腦教我怎么玩,教我學電腦

    不會玩電腦教我怎么玩,教我學電腦 相關圖片n卡筆記本Win7具有系統還原功能。如果系統損壞,可以使用此功能恢復系統。但是,在使用win7系統的過程中,有時需要關閉系統還原功能。win7如何關閉系統還原?現在讓我們有沒有教電...

  • 電腦上所有word打不開怎么辦,電腦里word打不開怎么回事

    電腦上所有word打不開怎么辦,電腦里word打不開怎么回事 相關圖片為啥word文檔打不開了在使用word文檔進行編輯時,經常會遇到文檔半編輯時的一些異常情況,導致文檔無法打開。什么情況?一個我們努力寫的word文檔就這么結束了?有辦法解決這個問...

  • 網站網頁布局,怎么布局網頁

    網站網頁布局,怎么布局網頁 相關圖片網頁左右布局代碼縮減采用div CSS布局,使代碼非常簡單。我相信所有熟悉這種方法的朋友都知道,只要調用CSS文件,就可以在每個web頁面中使用它們。用table tabl網頁布局有幾種...

  • 電腦底部菜單欄不見了,電腦的菜單欄不見了

    電腦底部菜單欄不見了,電腦的菜單欄不見了 相關圖片電腦桌面菜單欄不見了當我們使用電腦時,電腦窗口的頂部會有一個菜單欄,非常方便,但有時我們不知道如何消失。一些用戶認為是中毒。他們想在那里殺死毒藥,但沒用。如果電腦...

  • 技術開發有哪些,技術開發屬于什么部門

    技術開發有哪些,技術開發屬于什么部門 相關圖片軟件開發屬于技術開發您可能已經看到許多使用jQuery/JS開發的顏色選擇器。今天,我們將使用HTML5技術來實現更好的顏色選擇器。希望你喜歡它復制代碼如下:!--preview元技術開發屬于什...

  • 電腦一直黑屏開不了機,win10怎么跳過自動修復

    電腦一直黑屏開不了機,win10怎么跳過自動修復 相關圖片電腦電壓不夠開不了機無論是在辦公室還是在游戲中,計算機已經成為我們生活中不可缺少的技術產品。如果電腦不能打開,工作就不能進行,游戲也不能玩。高清視頻見。那么如何解...

關注微信

变脸官网查询