人民搜索　蜘蛛算法缺陷导致VPS当机

最近一段时间我的一个网站经常出现当机情况，表现为负载高达一两百，平时一般都在１０以下，后来观察日志发现　人民搜索　这个蜘蛛在疯狂的抓取页面，之后将其屏蔽，才恢复正常，所以大家如有碰到此问题可以相同处理。

蜘蛛说明页面

http://www.goso.cn/spider.html

留下评论