做国外市场的外贸网站优化推广,大部分都会使用ahrefs.com这个数据分析工具来分析网站数据。
因为Ahrefs是做谷歌seo必备的工具,拥有强大的外链数据库,它是在给网站做外链是必备工具。并且ahrefs在关键词分析 、热门内容分析、竞争对手分析 、网站排名监控、网站seo站内诊断方面,完全不逊色与其他的seo工具。
提示:ahrefs.com来抓取网站的蜘蛛名称是AhrefsBot。
但是部分企业的网站却无法被ahrefs.com抓取,一直抓取异常,提示403:Forbidden错误,这是什么原因导致的呢?
首先来分析下出现这种情况的几种可能原因:
1、网站在国外无法正常访问
2、网站程序屏蔽了AhrefsBot蜘蛛
3、网站所在的服务器端屏蔽了AhrefsBot蜘蛛
然后,我们需要针对上述网站逐一分析排查解决。
最近有一位客户网站,经过排查,发现其所使用的服务器屏蔽了AhrefsBot蜘蛛。主机商给出的原因是:AhrefsBot经常性的大量请求服务器造成众多用户网站异常,我司已经禁用了多年。
如果是主机商屏蔽了AhrefsBot蜘蛛,并且无法解除屏蔽,那就要考虑更换服务器了。