问题描述：
页面每天只有几个IP访问，流量却在短时间内消耗殆尽。
问题分析：
通过流量统计报告查看到百分之八十的流量都是来自蜘蛛爬虫。
解决方案：
编写robots.txt文件上传到网站根目录中。
使用类似于“Disallow:/ 禁止允许”的规则对蜘蛛爬虫进行禁止。减少蜘蛛抓取对网页产生的流量。
注意：这样做虽然能减少不必要的流量。但是会影响到网页的权重值。在设定的时候。请自行斟酌取舍。
赞
1
有一点帮助
0
没有帮助
蜀ICP备 08009168号-6 · 川B2-20170012 · | 川公网安备 51019002000589号 · | 四川省旅游电子商务协会（副会长单位）
Copyright © 2007-2026 Stourweb. All Rights Reserved | 四川思途智旅软件有限公司 版权所有
小米
