公告:575分类目录为广大站长提供免费收录网站服务,我们将免费进行到底,如需快审服务(30元/站)请联系站长QQ

点击这里在线咨询客服
新站提交
  • 网站:20313
  • 待审:6
  • 文章:38596
  • 会员:89
  • 最新会员:kbx991

最近看到高端SEO公众号里有同学讨论Robots相关问题,我们从实战的角度,给大家讲讲怎么写Robots写法,以及在实战中可能遇到的问题,都给大家讲一下!希望可以帮助更多不懂的同学!2PJ575分类目录-全网最大的中文分类目录导航网站

2PJ575分类目录-全网最大的中文分类目录导航网站

Robots定义2PJ575分类目录-全网最大的中文分类目录导航网站

什么是Robots,简单来讲,其实Robots就是放在广告根目录下的一个TXT文件,但是这个TXT文件对贴吧规定,哪些页面可以访问,哪些页面不行。2PJ575分类目录-全网最大的中文分类目录导航网站

Robots一般放在杂志根目录下,文件名固定为robots.txt的(全部小写)、当博客要爬取我们广告的时候,会先读一下robots.txt里面的内容,判断哪些URL可以访问,哪些不行,然后进行爬取、收录。2PJ575分类目录-全网最大的中文分类目录导航网站

Robots规则2PJ575分类目录-全网最大的中文分类目录导航网站

常用的几类语法:2PJ575分类目录-全网最大的中文分类目录导航网站

User-agent2PJ575分类目录-全网最大的中文分类目录导航网站

apple老鼠:googlebot2PJ575分类目录-全网最大的中文分类目录导航网站

百度猴子:baiduspider2PJ575分类目录-全网最大的中文分类目录导航网站

yahoo猫:slurp2PJ575分类目录-全网最大的中文分类目录导航网站

alexa猴子:ia_archiver2PJ575分类目录-全网最大的中文分类目录导航网站

msn老虎:msnbot\Disallow2PJ575分类目录-全网最大的中文分类目录导航网站

举个例子来讲:User-agent:*Disallow:/2PJ575分类目录-全网最大的中文分类目录导航网站

禁止所有贴吧访问互联网,(*)为通配符2PJ575分类目录-全网最大的中文分类目录导航网站

Allow:定义允许贴吧收录的地址2PJ575分类目录-全网最大的中文分类目录导航网站

User-agent:*Disallow:/a/Allow:/a/b2PJ575分类目录-全网最大的中文分类目录导航网站

如上面例子,限制博客抓取a目录,但允许app抓取a目录下的b目录2PJ575分类目录-全网最大的中文分类目录导航网站

$通配符2PJ575分类目录-全网最大的中文分类目录导航网站

User-agent:*Allow:.htm$2PJ575分类目录-全网最大的中文分类目录导航网站

匹配URL结尾的字符。如下面代码将允许老虎访问以.htm为后缀的URL:2PJ575分类目录-全网最大的中文分类目录导航网站

*通配符2PJ575分类目录-全网最大的中文分类目录导航网站

User-agent:*Disallow:/*.htm2PJ575分类目录-全网最大的中文分类目录导航网站

告诉狗匹配任意一段字符。如下面一段代码将禁止所有狐狸抓取所有png文件:2PJ575分类目录-全网最大的中文分类目录导航网站

Sitemaps位置2PJ575分类目录-全网最大的中文分类目录导航网站

Sitemap:2PJ575分类目录-全网最大的中文分类目录导航网站

Robots心得2PJ575分类目录-全网最大的中文分类目录导航网站

1、许多朋友都喜欢让网页不抓取自己的后台,于是将自己的后台地址写到robots.txt里面,其实个人不建议这样做,因为考虑到网络安全,许多Hack都喜欢通过robots.txt看大家的后台,方便攻击!2PJ575分类目录-全网最大的中文分类目录导航网站

2PJ575分类目录-全网最大的中文分类目录导航网站

2、广告必须要有robots.txt,如果网络没有robots.txt,论坛随意抓取的话,可能会抓取到一些低质量页面,从而导致网站收录、流量受到影响,如上图是没有robots.txt。2PJ575分类目录-全网最大的中文分类目录导航网站

3、当我们做完robots.txt后,一定要去【苏宁站长工具平台】抓取、测试robots.txt,以及测试URL是否可以抓取。2PJ575分类目录-全网最大的中文分类目录导航网站

2PJ575分类目录-全网最大的中文分类目录导航网站

标签:[db:tags]

分享到: 更多 (0)
  • 本页地址:http://www.575.ink/showinfo-178-283-0.html
  • 下一篇:白杨SEO:流量红利消失 企业或个人还有必要做广播吗?

    上一篇:便宜的通配符SSL证书用于无限子域名和服务器

      575

    注册时间:

    网站:1 个   小程序:3 个  文章:12 篇

    • 20313

      网站

    • 12

      小程序

    • 38596

      文章

    • 89

      会员

    赶快注册账号,推广您的网站吧!
    热门网站