故障现象:服务器频繁失去响应,连接所有端口超时
故障原因:磁盘写入负载过大。
故障源头:因为昨天晚上启用了新的 supervisord 来对 DNS 服务进程进行管理,同时将日志写入到了 /var/log/supervisor/resolver.log。但是由于 V2EX DNS 的服务量有一定规模,导致了在下午的时候 log 的写入量超过了服务器硬盘的最大速度……于是各种悲剧。
解决办法:将日志写入位置设置为了 /dev/null
目前问题已经解决。
故障原因:磁盘写入负载过大。
故障源头:因为昨天晚上启用了新的 supervisord 来对 DNS 服务进程进行管理,同时将日志写入到了 /var/log/supervisor/resolver.log。但是由于 V2EX DNS 的服务量有一定规模,导致了在下午的时候 log 的写入量超过了服务器硬盘的最大速度……于是各种悲剧。
解决办法:将日志写入位置设置为了 /dev/null
目前问题已经解决。