
robots.txt文件生成器
点击收藏-
全局设置
允许拒绝- 不限
- 5 秒
- 10 秒
- 20 秒
- 60 秒
- 120 秒
-
限制目录
-
Sitemap
-
国内搜索引擎
默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝 -
国外搜索引擎
默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝默认允许拒绝
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
励志名言
批量生成励志名言警句
论文大纲
写论文不用愁,有我来帮你
公众号文章
用独特的文字吸引生成专业的公众号文章!
Base64转图片
在线Base64转图片工具
大乐透机选工具
大乐透在线机选随机选号工具
IPV6地址计算器
在线IPV6地址计算转换器
猫猫年龄计算器
此工具可以猫猫的年龄转换成相当于人类年龄的年龄
平行四边形面积计算器
在线计算平行四边形的面积
代码生成图片
在线代码段生成图片处理工具
HTML代码调试预览
html代码在线调试预览工具
在线画板
一款在线的彩色绘画工具
花语大全
在线查询各种花的含义
随机头像生成器
一款可以生成随机头像的在线小工具
IP地址,子网掩码计算器
网络和IP地址计算器,子码掩码计算器
PDF文件删除图片
在线删除PDF文件中的图片来减少PDF文件的体积
在线扬声器(喇叭)清灰工具
一键对你的手机喇叭进行清灰
Photoshop快捷键大全
在线查询Photoshop快捷键
RIPEMD160哈希加密
RIPEMD160 哈希加密在线处理工具
头像挂件生成器
一款可以生成圣诞头像,节日头像,国旗头像的在线小工具
在线文本插入工具
在线给文本中批量插入指定的字符
在线邮箱地址提取工具
在线从内容中批量提取邮箱地址
Unicode/ASCII转换
Unicode与ASCII编码在线相互转换工具
UTM在线网址生成器
在线将网址转为UTM类型的网址
鞋子尺码表
在线查询鞋子标准尺码