网站robots文件怎么优化?

robots是网站和搜索引擎蜘蛛设定的一种遵守协议,不是所有的搜索引擎都会遵守,比如字节跳动的Bytespider,百度和谷歌还是会遵守的,所以大家还是需要根据网站内容好好去写。

如何查看robots文件?域名/robots.txt。

默认robots

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.xuexi21.com/wp-sitemap.xml

User-agent: * 是允许所有的搜索引擎抓取本网站,* 是通配符,代表任何。

User-agent: Googlebot 是屏蔽谷歌蜘蛛抓取,不建议大家写,你想屏蔽的搜索引擎可能不会遵守,那么,我们一次性到位,在服务器设置。

Allow: /wp-admin/admin-ajax.php 是允许抓取admin-ajax.php文件。

Disallow: /author/ 是禁止抓取author里面的文件,例如:

https://www.example.com/author/1 不允许

https://www.example.com/author/2 不允许

https://www.example.com/author/3 不允许

注意:Disallow: /author 是https://www.example.com/author 这个类目不允许

书写的开头一定要大写,建议复制,恐不生效;书写的冒号一定是英文符号,冒号后面也要敲一个空格,输入法通常是半角字符。

WP robots书写协议

根据WordPress网站的功能,下面这个协议是符合SEO优化的,可根据网站内容自由修订。

User-agent: *  

Disallow: /wp-admin/  
Disallow: /wp-includes/  
Disallow: /wp-content/plugins/  
Disallow: /wp-content/themes/  
Disallow: /readme.html  
Disallow: /xmlrpc.php  
Disallow: /comments/feed/  
Disallow: /trackback/  
Disallow: /feed/  
Disallow: /category/  
Disallow: /author/  
Disallow: */feed/  
Disallow: /wp-content/cache/  
Disallow: */trackback/  
Disallow: */comments/  
Allow: /wp-admin/admin-ajax.php  

Sitemap: https://www.xuexi21.com/wp-sitemap.xml  

User-agent: * 通配符*表示对所有搜索引擎爬虫生效

Disallow: /wp-admin/ 禁止搜索引擎爬虫访问wp-admin目录,以防止爬取敏感内容

Disallow: /wp-includes/ 禁止搜索引擎爬虫访问wp-includes目录,以防止爬取核心WordPress文件

Disallow: /wp-content/plugins/ 禁止搜索引擎爬虫访问插件目录,通常插件不需要被索引

Disallow: /wp-content/themes/ 禁止搜索引擎爬虫访问主题目录,通常主题不需要被索引

Disallow: /readme.html 禁止搜索引擎爬虫访问readme.html文件,以防止泄露敏感信息

Disallow: /xmlrpc.php 禁止搜索引擎爬虫访问xmlrpc.php文件,以增加站点安全性

Disallow: /comments/feed/ 禁止搜索引擎爬虫访问评论的RSS feed,避免重复内容索引

Disallow: /trackback/ 禁止搜索引擎爬虫访问trackback链接,避免被滥用

Disallow: /feed/ 禁止搜索引擎爬虫访问默认文章和评论的RSS feed

Disallow: /category/ 禁止搜索引擎爬虫访问分类页面,以避免重复内容

Disallow: /author/ 禁止搜索引擎爬虫访问作者页面,以避免重复内容

Allow: /wp-admin/admin-ajax.php 允许搜索引擎爬虫访问admin-ajax.php文件,以支持站点功能

Sitemap: https://www.bigengwu.cn/sitemap.xml 提供站点地图URL,以帮助搜索引擎更好地索引站点内容

在网站根目录新建一个robots.txt文件,直接复制、粘贴、保存即可。

原创文章,作者:霍欣标,如若转载,请注明出处:https://www.bigengwu.cn/shu/58.html

霍欣标的头像霍欣标
上一篇 2024-07-02 03:23
下一篇 2024-07-02 03:31

相关推荐

博主人懒,应管局要求暂不开启站内私信和评论功能,如需帮助请发邮件。

邮箱账号:1969600480@qq.com