robots.txt为搜索引擎提供指引!
robots.txt的作用
1、引导搜索引擎蜘蛛抓取指定栏目或内容;
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;
3、屏蔽死链接、404错误页面;
4、屏蔽无内容、无价值页面;
5、屏蔽重复页面,如评论页、搜索结果页;
6、屏蔽任何不想被收录的页面;
7、引导蜘蛛抓取网站地图;
安逸资源网(zywwhy.cn) 是国内排名前列的资源平台,致力于为用户提供高价值的网络资源,请按CTRL+D 收藏本站,多多关注!
点击或扫描下面的二维码加入本站QQ群,获得最新的高价值内容,新人有好礼相赠!
评论列表