DotBot 是什么爬虫?

由于Dotbot抓取网络的方式,您需要一些时间才能使更新的robots.txt文件生效。我们需要大约两周时间才能完成索引发布,而Dotbot只会在新索引抓取期间第一次遇到该网站时查看您网页的robots.txt文件。这意味着如果它看到它在网站上被允许一次,那么在下次开始全新抓取之前,不会查看对该权限的任何更改。

DotBot 是由 Moz 的蜘蛛爬虫抓取的,如果不想让它来抓取的话,可以用 robots 文件禁止抓取。

Moz 是什么网站?

Moz 是来自美国的一个软件开发公司,由 Rand Fishkin 和 Gillian Muessig 创立于 2004 年,现总部位于华盛顿州西雅图市。起初,该公司是一个咨询公司,于 2010 年转型为软件开发公司,其官方网站上有一个在线社区和一些与营销有关的工具。此外,在 SEO 工具箱这页中还有包括术语提取器(Term Extractor)等在内的多个 SEO 工具。

具体可以看本篇:

https://moz.com/help/moz-procedures/crawlers/dotbot

Moz 的 Link Index Crawler

Dotbot 是 Moz 的网络爬虫。Dotbot 与 Rogerbot 不同,Rogerbot 是 Moz Pro Campaigns 的网站审计抓取工具。我们通过 Dotbot 收集的数据在 Moz 工具中显示在此站点上,也可通过我们的 Links API 获得。

DotBot 是什么爬虫?

为什么 Moz 会抓取网络?

我们的一些工具(如 Link Explorer)要求我们抓取网站。发生这种情况时,用户代理 dotbot 用于识别我们的抓取工具。请记住,您需要一个 Moz Pro 帐户才能访问收集的大部分信息。我们的免费在线营销社区的成员访问受限。要查看我们收集的数据类型的示例,请在 Link Explorer 的搜索框中输入 URL 。

DotBot 是什么爬虫?

如何阻止 Dotbot 爬行你的网站

如果您不希望 Dotbot 抓取您的网站,我们始终尊重标准机器人排除协议(aka robots.txt)。如果您想阻止 Dotbot,您需要做的就是将我们的用户代理字符串添加到您的 robots.txt 文件中。

从您网站的某些区域阻止 Dotbot

User-agent: dotbot
Disallow: /admin/
Disallow: /scripts/
Disallow: /images/

从您网站的任何部分阻止 Dotbot

User-agent: dotbot
Disallow: /

延迟 Dotbot 下载

User-agent: dotbot
Crawl-delay: 10

请注意:由于 Dotbot 抓取网络的方式,您需要一些时间才能使更新的 robots.txt 文件生效。我们需要大约两周时间才能完成索引发布,而 Dotbot 只会在新索引抓取期间第一次遇到该网站时查看您网页的 robots.txt 文件。这意味着如果它看到它在网站上被允许一次,那么在下次开始全新抓取之前,不会查看对该权限的任何更改。

人已赞赏
运维日志

AhrefsBot 是什么爬虫?

2019-6-28 11:30:28

运维日志

适用于 Win7 的 Microsoft Edge 预览版简体中文设置办法

2019-6-29 16:15:31

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索