大连网站优化浅谈百度假蜘蛛

我们看到，网上有很多人在分享如何“捉住”假蜘蛛的文章，但这些文章只是千篇一律的描述了“捉住”假蜘蛛的过程及操作方法。却没有分享从如何真正的判别蜘蛛的真伪。
 
百度也在官方通告了如何去判别伪装成百度蜘蛛的抓取，希望大家可以重视下：

假蜘蛛对我们网站的危害是巨大的，专业从事大连网站建设的大连酷网科技浅谈如下具体有：

1.占用网站带宽，导致网站流量上升，增加额外开销

2.在有限带宽的前提下，阻碍了正常蜘蛛的抓取

3.误导了我们在对网站开展SEO工作时的思路

4.部分伪装成假蜘蛛的采集工具剽窃了我们的工作

作者本人最近在对一个电商网站进行SEO优化时，就碰到了这样一个案例，险些导致将真蜘蛛错当假蜘蛛来处理。

一、发现“假蜘蛛”

SEO优化要依靠大量的分析和数据来实现，其中日志分析是重中之重，在日志中我们可以看到很多平时统计工具无法看到的数据和事实。

每周三我都要对该电子商务网站进行周日志的分析，以便来统计上一周的优化效果，在本周进行对网站日志进行分析查看时，我发现了几个不属于认识中的“蜘蛛IP”，

(编辑：小酷)