网站流量超标排查

网站出现流量超标时分析及解决思路为：

查看网站访问统计---->结合访问统计分析网站访问日志---->确定原因采取相应措施。

一．查看网站访问统计

 1. 登录到虚拟主机管理面板，点击“访问统计”

 2.首先查看访问统计中浏览器与非浏览器流量确定流量类型。

 3.根据流量类型详细查看访问统计数据：

          3.1如是浏览器流量占用高，可查看

  等统计数据，以确定网站中是哪类文件，哪些url地址被大量访问，以及是哪些IP，哪些蜘蛛等访问量大。

       3.2如是非浏览器流量占用高，可查看

  确定是什么状态情况下产生的非浏览器流量。

二．分析网站访问日志

  根据网站访问统计中按“按日期统计”数据找一天流量较大的日志下载至本地使用记事本编辑器打开对日志具体分析核实。

   通常只需找最近三天左右的日志即可，

           windows主机可以点击“www日志”下载访问日志到wwwroot目录下，再通过ftp方式连接下载 至本地使用编辑器打开查看。

           Linux主机通过ftp连接主机打开logs目录下即可下载最近的日志。

   如要下载历史日志，可以点击 “www日志”--“获取历史日志”。

三．处理措施

3.1 正常访问情况主机流量配置低导致超标。如占用流量的文件类别、url网址、搜索蜘蛛、访问IP等数据都较均衡，无明显差异等。请升级主机至流量配额更大的型号。

3.2 网站页面数据过大导致流量超标。如首页中加载的图片过大，同时图片设计过大等，可联系网站程序方人员减少页面的图片数，减小图片大小等方式处理或者升级主机至流量更大的型号。

3.3 某类文件被大量请求下载等导致超标。如网站的mp4文件被外部盗链/下载等，可考虑将文件存放至其他第三方网站进行引用，或升级主机至不限流量的云服务器。

3.4 其他某搜索引擎蜘蛛、IP、useragent等导致流量超标异常的。可通过web.config或.htaccess进行拦截屏蔽。

屏蔽拦截搜索引擎蜘蛛、useragent的访问抓取等：http://faq.myhostadmin.net/faq/list.asp?unid=662

屏蔽限制ip访问：http://faq.myhostadmin.net/faq/list.asp?unid=681

四．相关案例

4.1 正常访问情况主机流量配置低

  从访问统计可见占用流量的文件类别主要为php、js、png、css。访问最多的网址为首页。而访问IP，搜索蜘蛛等占量无异常。

  通过下载网站日志核实，日志中也均正常的访问记录无明显异常请求。

  此情况则为正常访问而主机流量不足导致超标，应升级主机。

4.2 网站页面数据过大

    从统计可见占用流量最多的是图片类文件，访问网址最多的是首页。

  从访问日志中可见，请求的图片量较大，通过浏览器可见图片也相对偏大。

  此情况可考虑优化减小图片大小（通常图片大小不应超过300KB），或升级主机。

4.3 非浏览器流量大某文件被下载

  从访问统计可见非浏览器206状态占用大量流量，文件类别为mp4且文件较大。 206是断点续传下载，由此可判断mp4文件被下载导致。

  此情况可考虑将文件存放至其他第三方网站进行引用，或升级主机至不限流量的云服务器。

4.3 搜索引擎蜘蛛/机器人等占用流量

  从访问统计可见Googlebot（google蜘蛛）占用大量流量。

  从访问日志可见Googlebot对网站某个地址进行大量的访问抓取，通过反查IP是真实的google蜘蛛。

  此情况如不考虑seo优化影响情况下，可以通过规则对googlebot进行屏蔽。 类似情况还可能有Baiduspider（百度蜘蛛）对网站的大量访问抓取。可通过来源IP核查是否为真实的百度蜘蛛等。屏蔽蜘蛛的抓取会对网站的seo优化产生影响，所以并不推荐将google，baidu的蜘蛛进行屏蔽。建议用户可考虑升级主机解决。

五．验证屏蔽规则是否生效

5.1 屏蔽IP验证：

  5.1.1访问http://ip.tool.chinaz.com/获取到本地公网IP。

  5.1.2将.htaccess（linux主机）或web.cofnig (windows主机) 中规则拦截IP换成本地公网IP：

 5.1.3再次访问网站，如提示Forbidden访问受限则规则正确生效，然后将IP对应更换为需要屏蔽的IP即可。

5.2 屏蔽蜘蛛或useragent验证(以百度蜘蛛为例)：

5.2.1 访问http://faq.myhostadmin.net/faq/listagent.asp?Unid=2289 安装浏览器插件。

         5.2.1 将.htaccess（linux主机）或web.cofnig (windows主机) 中规则中增加对Baiduspider的拦截

  5.2.3再次访问网站，如提示Forbidden访问受限则规则正确生效，然后在规则文件中取消对Baiduspider的屏蔽，改为其他蜘蛛或useragent即可。