robots.txt生成器

搜索引擎爬取规则
全局(默认):
爬取间隔:

国内搜索引擎
百度:
SOSO:
搜狗:
有道:
360:
神马搜索:
国外搜索引擎
谷歌:
Bing:
Yandex:
雅虎:
Ask/Teoma:
Alexa/Wayback:
Cuil:
MSN Search:
Scrub The Web:
DMOZ:
GigaBlast:
Nutch:
Naver:
特殊搜索引擎(机器人)
百度图片:
百度手机:
Google Image:
Google Mobile:
Yahoo MM:
Yahoo Blogs:
MSN PicSearch:
其它规则
限制目录:
sitemap路径:
生成结果(robots.txt)
User-agent: *
Disallow: 
Disallow: /cgi-bin/
Sitemap: http://www.yoursite.com/sitemap.xml
推广
共 0 条评论

快来抢沙发...

  • 0
  • 10 / page
    Go to
福利社
打赏
设置