济南网站优化之百度蜘蛛访问网站大量占用网站流量该怎么办？

在企业网站建设推广的过程中，会出现这样的问题：有些小型企业网站，流量固定，但是百度蜘蛛爬去的很频繁，造成n多流量被蜘蛛占用，怎么限制它？或者用别的什么标签语句限制？
我们查证了很多网站资料，分析得出以下结论：正常情况下，百度蜘蛛baiduspider对一个网站的抓取频率决定于这个网站产出新内容的速度。一个小型的企业网站的抓取频率远高于新内容产出速度，通常会是下面这两种问题有中的一个：
第一，企业建设网站的时候，网站程序有漏洞，产生了无穷尽的url，被baiduspider当成了很多新内容而频繁的抓取。建议分析网站的访问日志，看看baiduspider所抓取的内容是否是你想让百度收录的，如果不是则建议修改网站程序或者用robots协议禁止baiduspider抓取这部分内容。
第二，在网站推广的过程中，有其他程序冒充baiduspider抓取。建议在linux下用host ip命令反解ip来判断baiduspider的抓取是否冒充，baiduspider的hostname以*.baidu.com的格式命名。