http://blog.chinaunix.net/uid-20639775-id-3044237.html-----lsof -p $pid
先说下我们网站的架构 , 由于目前网站访问量不是很大，但是由于最近公司网站要推广，所以将网站由单机切换成前端用 nginx 做负载均衡，带动两台 web 服务器，所有网页和静态文件都通过 NFS 共享调用， NFS 服务装在其中的一个 web 服务器上，后端用 mysql 主从的方式，是很典型的架构。
切换成这个架构才 2 天，就收到 nagios 的报警，报警信息显示有一台 web 服务器负载很高，于是通过 SecureCRT 登录到服务器上，用 top 命令看了一下，发现有几个 php-cgi 进程占用了大量的 CPU ，如下：
13889 www 25 0 228m 14m 9344 S 100.4 0.1 14:51.22 php-cgi
13882 www 25 0 227m 13m 9284 S 100.1 0.1 10:53.18 php-cgi
13924 www 25 0 227m 9936 5732 S 100.1 0.1 23:20.80 php-cgi
13927 www 25 0 226m 5228 2064 R 100.1 0.0 24:44.24 php-cgi
www 25 0 228m 15m 10m R 99.7 0.1 12:57.60 php-cgi
13900 www 25 0 228m 19m 13m R 99.7 0.1 9:03.09 php-cgi
由上面的截图我们可以看出那几个 php-cgi 进程不但占用了大量的 CPU ，而且运行时间非常长，本来 php-cgi 接到一个请求运行很快的，怎么这几个运行那么久还没释放？于是采用命令 ls -l /proc//fd/ 查看这个长时间的进程到底在干什么事情，结果如下：
lrwx------ 1 www www 64 Dec 11 12:03 0 -> socket:[68444030]
l-wx------ 1 www www 64 Dec 11 12:03 1 -> pipe:[68444057]
l-wx------ 1 www www 64 Dec 11 12:03 2 -> pipe:[68444058]
lrwx------ 1 www www 64 Dec 11 12:03 3 -> socket:[68468225]
lrwx------ 1 www www 64 Dec 11 12:03 4 -> socket:[68469788]
lrwx------ 1 www www 64 Dec 11 12:03 5 -> socket:[68457928]
看到里面没有打开文件或者写入文件，这个进程没干什么事情，比较奇怪，然后采用 strace 命令跟踪下看看这个进程在做什么东西呢？
strace -p 13827
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout)
select(5, [4], [4], [], {15, 0}) = 1 (out [4], left {15, 0})
poll([{fd=4, events=POLLIN}], 1, 0) = 0 (Timeout) …….
可以看出，这个进程不断的超时，到底为何会超时呢？？？看来需要从 php-cgi 的日志中查找问题了，由于原来 配置的超时时间为 0 ，也就是不设置超时时间。于是先将 php-fpm.conf 的超时时间设置成 5s ，然后超过 5s 的 php-cgi 的请求就会记录到 php 的慢日志中，设置如下：
<value name="request_slowlog_timeout">3s</value>
<value name="slowlog">logs/</value>
设置完成，利用命令 /usr/local/php/sbin/php-fpm restart 重启 php-fpm ，过一会查看 slow.log 的内容发现很多如下内容：
script_filename =[0x00007fffb060fd70] file_get_contents() /data/htdocs/bbs.hrloo.com/apl.php:10
查看 /data/htdocs/bbs.hrloo.com/apl.php 第十行的内容如下：
echo file_get_contents('');
网上查了一下发现了介绍 php 这个函数当里面网址响应很慢的时候就会出现 CPU 占用很高的情况，而且会一直卡住，不会超时，再看看这个链接，访问一下指向到了一个小说网站，是别人***后嵌入的，将这个文件还原后恢复正常。奇怪的是那个安装 NFS 的 web 服务器却不会出现那个问题，看来是由于本来那个站点又慢，通过 NFS 调用就更慢了，因此出现了这个故障。感谢这次故障，才发现了这个严重的问题。
故障修复了，但是问题还远远没有解决，重点要找到文件是如何被修改的，防止再出现类似的事故。看来下面还有很多事情要忙乎了。呵呵！