-
[nGrinder]nGrinder란? & docker 설치 방법서버 2016. 5. 21. 12:05
nGrinder란?
nGrinder는 네이버에서 성능 측정 목적으로 jython(JVM위에서 파이썬이 동작)으로 개발 된 오픈소스 프로젝트이며, 2011년에 공개 하였습니다. 바닥부터 개발을 한 것이 아니라 The Grinder라는 오픈소스 기반에서 개발 하였습니다. nGrinder는서버에 대한 부하를 테스트 하는 것이므로 서버의 성능 측정이라고도 할 수 있습니다. 성능 측정이란 것은 실제 서비스에 투입 되기 전, 실제와 같은 환경을 만들어 놓고 서버가 사용자를 얼마 만큼 수용할 수 있는지를 실험 할 때 사용합니다. 만약 이와 같은 테스트를 하지 않으면, 엔지니어가 동시 접속자를 1000명정도로 예상하고 이에 맞는 설정을 구성하는데 예상에 넘는 동시 접속자가 발생해 버리면 서버가 죽어버려 서비스를 할 수 없는 문제가 있습니다. 이를 방지하기 위해 본 서비스에 앞서 테스트를 해 서버의 성능을 테스트 하는 것입니다.
nGrinder Architecture
nGrinder는 Controller, Agent, Targer 서버로 나눠져 있습니다.
Controller:
- 퍼포먼스 테스팅(부하테스트)를 위해 웹 인터페이스를 제공
- 테스트 프로세스를 체계화
- 테스트 결과를 수집해 통계로 보여줌
Agent: Controller의 명령을 받아 실행합니다.
- agent 모드가 실행될 때, target이 된 머신에 프로세스와 스레드를 실행시켜 부하를 발생
- monitor 모드가 실행되면 대상 시스템의 CPU와 Memory를 모니터링
agent들이 실행될 때, agent들은 컨트롤러와의 연결을 시도합니다. 그것들은 AgentControllerServer 구성요소와 연결이 됩니다. AgentControllerServer는 현재 agent pool을 관리합니다. 유저가 performance test를 시작을 할 때마다, agent들을 조절하는 새로운 콘솔이 생성되고, 요구하는 agent의 수는 AgentControllerServer로부터 조절됩니다. 이 콘솔(SingleConsole이라는 이름의 콘솔은 그라인더 내의 콘솔과 차별화 됩니다.) test script와 test resources를 할당받은 다수의 agent들에게 전송하고 test가 끝날 때까지 test flow 통제를 시작합니다. 이 테스트가 끝난 이후에, 테스트에 사용된 agents들은 AgentControllerServer로 돌아갑니다. 이와 마찬가지로 SingleConsole 또한 ConsoleManager에게 돌아갑니다.
nGrinder와 Grinder사이의 가장 큰 차이점은 nGrinder는 컨트롤러에서 다수의 콘솔 인스턴스와 agents들을 유지하는 것입니다. 각각의 콘솔은 다른 콘솔로부터 독립적이고, 모든 콘솔들은 동시에 실행할 수 있습니다. 많은 agent들은 미리 연결이 될 수 있고, agent가 필요하여 요청을 받을 때마다 언제든지 할달 될 수 있습니다. grinder와 같지 않게, nGrinder는 agent 머신의 활용도를 극대화 하기 위해 개발되었습니다.
'Performance Center' 같이 잘 알려진 부하 테스트 툴은 사용자가 테스트를 시작할 때 agent의 가용성을 보장하기 위해 테스트 예약 기능을 갖습니다. 그러나 예약 기능은 agent 활용도 문제의 원인이 됩니다. 사람들은 실제로 테스트를 하지 않는 동안에도 예방 조치로 에이전트를 보유하는 경향이 있음을 나타냈습니다. 이러한 조사 결과로, 평균적으로 agent의 CPU 활용도는 10% 미만인 것으로 결과가 나왔습니다.
이러한 이유로, 예약 대신, nGrinder는 실제 테스트가 실행될 때, 테스트를 위해 동적으로 agents들을 할당하기 위해 다수의 test와 동적인 agent 할당이 가능하도록 하였습니다. 이러한 것은 nGrinder를 모든 부하 테스트 툴 가운데서, unique한 부하 테스트 툴로 만들었습니다. agent들의 수가 상대적으로 적게 가지고 있으면, 다수의 사용자들은 다수의 테스트를 동시에 실행할 수 있습니다. 동시에 실행할 수 있는 테스트의 수는 free agent(동적으로 할달될 수 있는 agent)의 수에 의존합니다.
nGrinder 성능 향상
nGrinder는 최대한 OS설정과 독립적으로 운영되도록 구현되어 있습니다. 따라서 agent 성능을 최적화 하기 위한 OS 튜닝 포인트가 아래 리스트를 제외하고는 거의 없습니다.
- ulimit 파일 오픈 가능 카운트를 1만 이상 유지
- 성능 테스트시, 소켓을 많이 열 수 있기 때문
- OS영역을 제외하고 3G정도의 Free 메모리를 유지할 것
- socket linger option 설정을 조정하여, 소켓이 사용 후 바로 반납 되도록 할 것
- 스크립트의 socket linger를 설정하지 않으면 OS TCP 설정을 따르기 때문에 둘 중 하나를 선택
- jython socket 패키지를 사용할 경우 스크립트 상에 다음과 같이 설정하면 가능
- clientsock.setsockopt(socket.SOL_SOCKET, socket.SO_LINGER, struct.pack('ii', l_onoff, l_linger))
또한 controller의 성능 향상을 위해 db를 변경해도 개선이 되지 않습니다. (e.g, embedded db -> cubrid)
nGrinder 권장 사양
controller agent monitor Core 1~2 Core 2 Core 1 RAM 2GB 4GB(free memory 3GB) 50MB agent의 경우, Groovy로 sleep time 없이 단순 HTTP CALL 경우, 6000 vuser까지 15분 가냥 1개의 agent 동작 가능
실제 유저 행위를 시뮬레이션하여 10초 씩 thinktime을 준다면, agent당 1만 vuser(thread)를 견딜 수 있음.
agent는 메모리가 가장 중요한 이슈
nGrinder 사용 용어
Controller:
- 퍼포먼스 테스팅(부하테스트)를 위해 웹 인터페이스를 제공
- 테스트 프로세스를 체계화
- 테스트 결과를 수집해 통계로 보여줌
Agent: Controller의 명령을 받아 실행합니다.
- agent 모드가 실행될 때, target이 된 머신에 프로세스와 스레드를 실행시켜 부하를 발생
- monitor 모드가 실행되면 대상 시스템의 CPU와 Memory를 모니터링
Target: 부하 테스트를 받는 머신입니다.
vuser: virtual user로 동시에 접속하는 유저의 수를 의미합니다.
- virtual user를 구하는 공식은 vuser=agent*process*thread
TPS: 초당 트랜젝션의 수 - 초당 처리 수 (Tranjaction Per Second)
- 위 공식으로 에이전트 10개, 프로세스 10개, 각 스레드 300이라면 30,000개의 vuser(thread)가 지속적으로 요청하는 상황. 그래서 30,000번의 요청을 서버에서 1초 미만으로 처리한다면 TPS는 30,000이상이 될 것이고, 30,000번의 요청을 서버에서 2초 이상 으로 처리한다면 TPS는 15,000이하가 됩니다.
트랜잭션: HTTP Request가 성공할 때마다, 트랜잭션의 수가 1씩 증가합니다.
Peak TPS: 초당 처리 수의 최대치
Response Time: 사용자가 request한 시점(클릭한 시점)에서 시스템이 Response를 할 때까지의 시간
Think Time: 사용자에게 전달된 정보는 사용자가 해당 내용을 인지하고 다음 동작을 취할 때까지의 생각하는 시간이 필요한 시간
nGrinder 설치
nGrinder는 자바기반이기 때문에 사전에 설치할 것들이 필요합니다. nGrinder3.3 버젼에서 필요한 스펙은 아래와 같습니다.
Oracle JDK 1.6 이상 또는 오픈 JDK 1.7 이상, 톰캣 6.X 이상이 필요합니다. 이 테스트에서는 우분투를 사용하기 때문에 우분투 설치 시, TOMCAT 서버를 선택, 설치하여 넘어가겠습니다.
Controller 설치
아래의 명령어로 webapps로 이동하여 내부의 파일 및 폴더를 전부 지운 다음, ngrinder를 설치합니다.
$ cd /var/lib/tomcat7/webapps $ sudo rm -rf ROOT $ sudo wget http://sourceforge.net/projects/ngrinder/files/ngrinder-3.3/ngrinder-controller-3.3.war
1 직접 실행하기
nGrinder는 편리하게 한 개의 패키지로 구성하다 보니 꽤 많은 Perm Gen 메모리를 필요로 합니다. 왜냐하면 많은 라이브러리(SVNKit, Maven, Groovy, Jython 등)을 하나로 포함하게 되어 메모리 요구량이 많아 졌기 때문입니다.
아래 명령어를 실행시켜 최대 PermSize를 정해 실행시킵니다
java -XX:MaxPermSize=200m -jar ngrinder-controller-3.3.war --port 8081
만약 포트를 기본포트인 8080이 아닌, 다른 포트를 사용하고 싶을 경우, --port 포트번호 입력을 하면 됩니다.
2016-01-25 14:58:38,257 INFO Config.java:115 : nGrinder is starting... 2016-01-25 14:58:38,288 INFO Config.java:310 : nGrinder home directory:/home/controller/.ngrinder. 2016-01-25 14:58:38,316 INFO Config.java:341 : nGrinder ex home directory:/home/controller/.ngrinder_ex. 2016-01-25 14:58:38,376 INFO Home.java:116 : /home/controller/.ngrinder/org_conf INFO 1/25/16 2:58 PM:liquibase: Reading from DATABASECHANGELOG INFO 1/25/16 2:58 PM:liquibase: Reading from DATABASECHANGELOG 2016-01-25 15:00:32.613:INFO:/:Initializing Spring FrameworkServlet 'appServlet' 2016-01-25 15:00:49.364:INFO::Started SocketConnector@0.0.0.0:8801
위와 같이 로그를 출력했다면, http://localhost:8081로 접근할 수 있습니다.
2 톰캣에 설치하기
다운로드가 성공 되었으면, http://{설치IP}:8080/ngrinder-controller-3.3로 웹에서 접속할 수 있습니다. 이처럼 접근이 불편할 시, ngrinder-controller-3.3.war 파일을 ROOT.war로 변경할 경우, http://{설치IP}:8080으로 접속할 수 있습니다.
nGrinder 컨트롤러는 메모리를 많이 쓰기 때문에 메모리 설정이 필요합니다. 아래 설정을 안할 경우, 몇 가지 관리자 기능이 동작하지 않습니다.
- (리눅스 사용 시) /usr/share/tomcat7/bin/catalina.sh 또는 (윈도우즈 사용 시) 톰캣의 /bin/catalina.bat 파일의 맨 처음에 아래를 입력해 줍니다.
# catalina.sh JAVA_OPTS="-Xms600m -Xmx1024m -XX:MaxPermSize=200m" # for catalina.sh # catalina.bat set JAVA_OPTS=-Xms600m -Xmx1024m -XX:MaxPermSize=200m # for catalina.bat
간혹 어떤 시스템은 다수의 IP를 가지고 있는 경우가 있습니다. nGrinder는 자동으로 이들 중 하나를 agent의 접속을 기다릴 IP로 선정합니다. 만약 특정 IP를 접속 IP로 설정하고 싶으면 다음과 같은 필드를 ${NGRINDER_HOME}/system.conf 에 기재하면 됩니다.
ngrinder.controller.ipaddress=에이전트가 접속할 IP Address
다음 아래 파일을 실행합니다.
$ /usr/share/tomcat7/bin/startup.sh
다음 톰캣을 재시작 합니다.
$ sudo service tomcat7 restart
nGrinder 설치 - docker
앞으로 controller, agent는 docker에 설치하는 것을 설명하겠습니다.
Controller 설치
아래 명령어로 controller의 이미지를 받습니다.
$ docker pull ngrinder/controller:3.3
다음 아래의 명령어로 컨테이너를 생성합니다.
$ docker run -d -v ~/.ngrinder:/root/.ngrinder -p controller_web_port:80 -p 16001:16001 -p 12000-12009:12000-12009 ngrinder/controller:3.3
controller_web_port는 사용자가 원하는 포트 번호를 입력하면 됩니다. (ex. 8080)
default id와 pw는 admin입니다.
포트
Agent : Any ==> Controller : 16001
Agent : Any ==> Controller : 12000 ~ 1200x(the number of concurrent tests allowed)==>은 단방향 통신을 뜻합니다.
16001 포트는 테스트를 하지 않은 에이전트가 컨트롤러에게 "할 일없으니 테스트 가능" 이란 메세지를 알려주는 포트입니다. 또한 컨트롤러는 "테스트가 실행하는데 해당 테스트는 1200x에서 발생하니, 해당 포트에 접속해서 테스트 실행 준비"라는 메세지를 에이전트에게 지시를 합니다.
12000~1200x 포트는 "테스트 실행, 테스트 종료"와 같은 컨트롤러 명령어와 에이전트별 테스트 실행 통계를 초별로 수집하는 포트입니다.
Agent 설치
아래 명령어로 agent의 이미지를 받습니다.
$ docker pull ngrinder/agent:3.3
다음 명령어로 agent 컨테이너를 생성합니다.
$ docker run -d -e 'CONTROLLER_ADDR=controller_ip:controller_web_port' ngrinder/agent:3.3
controller_ip: controller의 아이피
controller_web_port: 앞서 controller의 컨테이너르 생성할 때, 정한 포트
