网站图标

代码生成器

订阅 | 打赏 | 福利社 |

robots.txt生成器

robots.txt解析
搜索引擎爬取规则
  • 秒  

国内搜索引擎 ∨
百度：
SOSO：
搜狗：
有道：
360：
神马搜索：
国外搜索引擎 ∨
谷歌：
Bing：
Yandex：
雅虎：
Ask/Teoma：
Alexa/Wayback：
Cuil：
MSN Search：
Scrub The Web：
DMOZ：
GigaBlast：
Nutch：
Naver：
特殊搜索引擎(机器人) ∨
百度图片：
百度手机：
Google Image：
Google Mobile：
Yahoo MM：
Yahoo Blogs：
MSN PicSearch：
其它规则
生成结果（robots.txt） 
User-agent: *
Disallow: 
Disallow: /cgi-bin/
Sitemap: http://www.yoursite.com/sitemap.xml
推广
共 0 条评论

快来抢沙发...

  • 0
  • 10 / page
    Go to
福利社
打赏
设置
更新
日志
自助
广告