编辑推荐

网易数帆开源API网关与容器云项目，让云原生生产落地“多快好

网易汪源：统一负载与多云环境的“开放姿态”，才是云原生

网易数帆如何用 Kubernetes“原语”搞定云原生中间件

快手打新挤爆券商系统，网易数帆推出券商稳定性保障方案

探索智慧校园新模式，网易有数在教育行业的实践分享

金融行业大数据治理之路——数据模型篇

记一次CPU中sys消耗过高实践

达芬奇密码2018-07-19 09:55

最近在测试过程中，遇到每次的轮次中的服务器的cpu使用都超高，细看一下，原来是cpu中是sys使用率过高。详见下图，可以看到图中sys已经达到了50%以上，而usr40%左右：

一般来说，sys表示内核态的cpu使用，以下的情况中sys消耗高是可以接受的：

1. 如果cpu是满载的，诸如下面这样的配比：

user time：65%~70%；system time：30%~35%；idle time：0%~5%

2. 上下文切换的数量和CPU负载直接相关。如果CPU的负载一直保持在之前可接受的平衡范围内，那么数目特别大的上下文切换是可接受的；

踩坑经历：

1. 根据上面的两个可以接受的情况，查看usr的使用明显要小于sys的使用；

2. 查看上下文切换以及终端的数量，并不算特别大

3. 使用远程jprofile抓取，99.8%的cpu消耗都在com.caucho.util.ThreadPool.run上面，其中后面浅红色的部分，即箭头所指的部分是这个方法自身消耗的cpu，这其中只有19.9%的是消耗在login2/pwdlogin上了：

4. 服务器上抓取堆栈，waitting的都在com.caucho.util.ThreadPool.run上面：

甚至还有BLOCKED的线程：

"resin-tcp-connection-*:36901-17" - Thread t@104438
   java.lang.Thread.State: BLOCKED
	at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:406)
	- waiting to lock <472ac1c6> (a java.net.SocksSocketImpl) owned by "resin-tcp-connection-*:36901-217" t@96886
	at java.net.ServerSocket.implAccept(ServerSocket.java:462)
	at java.net.ServerSocket.accept(ServerSocket.java:430)
	at com.caucho.vfs.QServerSocketWrapper.accept(QServerSocketWrapper.java:97)
	at com.caucho.server.port.Port.accept(Port.java:813)
	at com.caucho.server.port.TcpConnection.run(TcpConnection.java:495)
	at com.caucho.util.ThreadPool.runTasks(ThreadPool.java:527)
	at com.caucho.util.ThreadPool.run(ThreadPool.java:449)
	at java.lang.Thread.run(Thread.java:662)

   Locked ownable synchronizers:
	- None

在仔细查看这个“waiting to lock <472ac1c6>”，是被下面这个线程给锁住了：

"resin-tcp-connection-*:36901-217" - Thread t@96886
   java.lang.Thread.State: RUNNABLE
	at java.net.PlainSocketImpl.socketAccept(Native Method)
	at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:408)
	- locked <472ac1c6> (a java.net.SocksSocketImpl)
	at java.net.ServerSocket.implAccept(ServerSocket.java:462)
	at java.net.ServerSocket.accept(ServerSocket.java:430)
	at com.caucho.vfs.QServerSocketWrapper.accept(QServerSocketWrapper.java:97)
	at com.caucho.server.port.Port.accept(Port.java:813)
	at com.caucho.server.port.TcpConnection.run(TcpConnection.java:495)
	at com.caucho.util.ThreadPool.runTasks(ThreadPool.java:527)
	at com.caucho.util.ThreadPool.run(ThreadPool.java:449)
	at java.lang.Thread.run(Thread.java:662)

   Locked ownable synchronizers:
	- None

5. 查看resin.jar包的com.caucho.util.ThreadPool.run：

public void run()
    {
      ClassLoader systemLoader = ClassLoader.getSystemClassLoader();

      Thread.currentThread().setContextClassLoader(systemLoader);
      try
      {
        for (int i = 0; i < ThreadPool._minSpareThreads; i++)
          startConnection(0L);
      } catch (Throwable e) {
        e.printStackTrace();
      }
      while (true)
        try
        {
          startConnection(10000L);

          Thread.currentThread(); Thread.yield();

          continue;
        }
        catch (OutOfMemoryError e)
        {
          System.exit(10);

          continue;
        }
        catch (Throwable e)
        {
          e.printStackTrace();
        }
    }