Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: .jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片robots.txt文件用法舉例
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
-
做一個(gè)app大概多少錢
不少客戶在咨詢時(shí)不懂軟件行業(yè)，直接就問(wèn)開發(fā)一個(gè)app軟件多少錢，這個(gè)其實(shí)是按照需求開發(fā)報(bào)價(jià)的。 想做一個(gè)app軟件，1萬(wàn)元夠不夠，夠了。但是沒(méi)有說(shuō)什么軟件，什么功能的app...
-
仿泡泡瑪特盲盒小程序軟件開發(fā)制作
盲盒小程序的玩法也多，每年都有新的玩法出來(lái)，想要做好盲盒項(xiàng)目生意就要學(xué)會(huì)借勢(shì)，借助互聯(lián)網(wǎng)的力量。借助盲盒當(dāng)下流行的運(yùn)勢(shì)開啟自己的商業(yè)模式，建立自己網(wǎng)絡(luò)生態(tài)圈，聚集更多...
-
物業(yè)App開發(fā)都有哪些功能
物業(yè)管理APP軟件是建立在物業(yè)社區(qū)基礎(chǔ)上，將物業(yè)服務(wù)，信息通知，物業(yè)繳費(fèi)，周邊商鋪，社區(qū)活動(dòng)，社會(huì)圈子等眾多生活幫助的信息進(jìn)行整合在手里的，為用戶提供便捷的服務(wù)。 物業(yè)APP...
-
仿小紅書app源碼定制開發(fā)
小紅書簡(jiǎn)介： 小紅書是一個(gè)展示生活方式的平臺(tái)，平臺(tái)里聚集了大量的年輕人，他們都喜歡通過(guò)短視頻，圖文的形式記錄自己的生活點(diǎn)滴，分享自己的穿衣經(jīng)驗(yàn)，娛樂(lè)方式等，里面對(duì)自己...
-
做一個(gè)打車APP順風(fēng)車軟件系統(tǒng)
一、打車順風(fēng)車軟件項(xiàng)目客戶來(lái)源介紹 現(xiàn)在的打車市場(chǎng)在縣級(jí)市開發(fā)的比較多，這位老板是打算在自己的老家做打車順風(fēng)車app軟件，服務(wù)于當(dāng)?shù)氐氖袌?chǎng)。也算是一個(gè)非常不錯(cuò)的...
