PYPI에 업로드할 때, 파일 또는 패키지를 어떻게 올릴지 정할 수 있습니다. 아래에서는 PYPI에 어떠한 옵션으로 올릴 수 있는지 확인하겠습니다.

SETUP의 Attribute


setup의 attribute는 다음과 같이 정의합니다.

from distutils.core import setup

setup(
    name='untitled8',
    version='0.3',
    package_dir={'':'untitled8'},
    author='lee',
    author_email='lee@lee.com',
    description='test_django_project method',
)

name

pypi 서버에 올릴 모듈 또는 패키지의 이름입니다.

version

pypi 서버에 올릴 버전입니다. 만약 이름과 버전이 이미 pypi 서버에 올라와 있는 경우, 403 (404?)에러를 뱉어줍니다.

패키지? 모듈?

사용자가 pypi 서버에 올릴 때, 모듈로 업로드할 지, 패키지로 업로드할 지 선택을 할 수 있습니다.

모듈 또는 파이썬 파일

모듈 또는 파이썬 파일만 올릴 땐 다음 attribute를 사용합니다.

from distutils.core import setup
setup(name='foo',
      version='1.0',
      py_modules=['foo']
      )

py_modules 안에 들어가는 내용은 사용자가 올릴 파이썬 파일명과 동일해야 합니다.( 여러 개 선택 가능)  

패키지

패키지는 다음과 같은 구조로 되어 있다고 가정하겠습니다.

  • untitled8
    • chartcheck
      • migrations
    • library
    • templates
    • untitled8
    • manage.py
    • test.py

패키지 추가 attribute에는 packages 와 package_dir 이 있습니다.

packages attribute는 리스트로 추가하고자 하는 앱의 이름을 적습니다. 또한 리스트에 적힌 이름의 폴더 안에 __init__.py가 있다는 가정하에 pypi 서버에 업로드 하는 것입니다.

package_dir은 딕셔너리로 좌변은 사용자가 쓰고자 하는 이름, 우변은 추가하고자 하는 앱의 이름을 적습니다. package_dir로 사용자가 쓰고자 하는 이름을 정의한 다음, packages로 앱을 추가해야 합니다.

프로젝트 내 파이썬 파일 업로드

프로젝트 아래의 파이썬 파일만 업로드하고 싶을 때 아래와 같이 사용합니다.

from distutils.core import setup
setup(name='foobar',
      version='1.0',
      packages=['']
      )

위와 같이 packages 어레이 중 '' 이 있을 경우 앱이 아닌 프로젝트 안에 존재하는 파이썬 파일 전체를 pypi서버에 전송합니다. 따라서 pypi 서버에서 해당 패키지를 내려받으면 manage.py와 test.py가 있는 것을 확인할 수 있습니다.

프로젝트 내 앱 업로드

프로젝트 아래의 앱을 업로드하고 싶을 때 아래와 같이 사용합니다.

from distutils.core import setup
setup(name='foobar',
      version='1.0',
      packages=['chartcheck','library']
      )

위와 같이 사용할 경우, chartcheck와 library 앱과 그 안의 파이썬 파일이 pypi 서버에 업로드됩니다. (migrations 제외)

프로젝트 내 앱 안의 서브 앱 업로드

프로젝트 내 앱 안의 서브 앱 업로드는 아래와 같이 사용합니다.

from distutils.core import setup
setup(name='foobar',
      version='1.0',
      packages=['chartcheck','chartcheck.migrations']
      )

pypi에서 확인하면 chartcheck 폴더 안에 파이썬 파일과 migrations 폴더가 존재합니다.

프로젝트 내 모든 파일 한번에 업로드

프로젝트 내 모든 형식의 파일 및 폴더 업로드는 아래와 같이 사용합니다.

 from distutils.core import setup
setup(
    name='untitled8',
    version='1.993',
    packages=[''],
    package_data={'':['*']},
    author='lee',
    author_email='lee@lee.com',
    description='test_django_project method',
)

package_data는 dictonary 타입이며 좌변에는 파일 경로를, 우변에는 리스트 내에 업로드 하고자 하는 파일을 작성하면 됩니다. 위 예제의 경우, 좌변은 ''으로 root 디렉토리를 선택했으며 우변은 ' * '으로 전체 파일을 선택했습니다.

기타

여러 attribute가 존재하고 아래와 같이 사용합니다.

from distutils.core import setup

setup(name='Distutils',
      version='1.0',
      description='Python Distribution Utilities',
      author='Greg Ward',
      author_email='gward@python.net',
      url='https://www.python.org/sigs/distutils-sig/',
      packages=['distutils', 'distutils.command'],
     )

packages_data 설명



위에서 설명한 것과 같이 package_data={'':['*']}를 사용하여 프로젝트 내 전체 파일을 업로드할 수 있습니다. 

packages=['']
package_data={'':[*.py]}
#를 할 경우 프로젝트 내 전체 파일이 아닌 루트폴더에 있는 파이썬 파일만 업로드 됩니다.
 
packages=['','templates']
package_data={'':[*.py,], 'templates':[*.html]}
#일 경우, 루트 쪾에 있는 파이썬 파일과 templates폴더 안의 모든 html 파일이 업로드 됩니다.


'저장소 > PYPI' 카테고리의 다른 글

PYPI 업로드시, 옵션 선택하기  (0) 2016.05.21
PYPI  (0) 2016.05.21

PYPI는Python Packagy Index의 줄임말입니다. PYPI는 간단하게 파이썬 관련 패키지들이 모여있는 저장소라고 할 수 있습니다. 파이썬 개발자들은 자신이 개발한 파이썬 모듈들을 PYPI에 업로드할 수 있습니다. 또한 PYPI에 저장된 이 모듈들은 누구에게나 공개되어 있습니다. 여기서는 PYPI를 private하게 구축하는 방법을 설명하겠습니다.


PYPI 설치


아래명령어로 pypi 이미지를 다운받습니다.

$ docker pull codekoala/pypi

Usage

sudo mkdir -p /srv/pypi             # 패키지를 담는 디렉토리를 로컬에 생성합니다.
sudo touch /srv/pypi/.htaccess      # 패키지를 추가하기 위한 credential 파일
docker run -t -i -d \               
    -h pypi.local \                 # hostname
    -v /srv/pypi:/srv/pypi:rw \     # 볼륨을 설정해 호스트 디렉토리를 pypi 컨테이너와 공유합니다. :rw로 읽기와쓰기 설정을 해줍니다.
    -p 8080:80 \                    # expose port 80 as port 8080
    --name pypi \                   # 컨테이너 이름
    codekoala/pypi                  # 

먼저 mkdir의 옵션인 -p는 상위 디렉토리를 포함한 디렉토리를 생성할 수 있습니다. 위의 명령어처럼 -p /srv/pypi를 실행하면 /srv 디렉토리를 생성한 후, /srv 디렉토리내에 pypi 디렉토리를 생성합니다.

다음 touch는 파일의 날짜시간정보를 변경하는 명령어입니다. 아무런 옵션이 없으므로, 파일의 최근 사용시간과 최근 변경된 시간을 서버의 현재시간으로 변경하고 파일의 크기가 0인 빈 파일을 생성합니다.


위 처럼 세팅을 한 이유는 아래의 Dockerfile 내용으로 확인할 수 있습니다.

FROM codekoala/saltyarch
MAINTAINER Josh VanderLinden <codekoala@gmail.com>

RUN pacman -Sy --noconfirm --needed python-pip python-passlib && pip install -U pypiserver && mkdir -p /srv/pypi && rm -rf /var/cache/pacman/*

EXPOSE 80
VOLUME ["/srv/pypi"]

CMD ["pypi-server", "-p", "80", "-P", "/srv/pypi/.htaccess", "/srv/pypi"]


실행되었을 시, http://localhost:8080으로 접속해 pypi 서버를 확인할 수 있습니다.  .tar, .zip, .egg 등 단순하게 추가할 수 있고 /srv/pypi디렉토리에 저장이 됩니다

public pypi 패키지 및 모듈 private pypi에 업로드


pypi는 흔히 사용하는 pip에 존재하는 패키지 및 모듈들을 저장하고 있습니다. 현재까지 조사한 바로는 pypi끼리 패키지 전체를 전송하는 방법은 찾지 못했습니다. 약간의 수작업을 통해 전체 파일을 다운로드받을 수 있는 방법을 찾았습니다.

먼저 pypi에 올라와 있는 패키지는 74594개 입니다.  먼저 위와 같이 세팅이 잘 되어 있다면, /srv/pypi의 폴더는 컨테이너와 공유가 되어 있는 상태입니다.

아래의 명령어로 pypi의 패키지 목록을 받습니다.

$ wget https://pypi.python.org/simple/

그럼 index.html파일이 생성이 되고 아래와 같이 열어 확인을 하면 다음과 같은 형식으로 구성되어 있습니다.

$ vi index.html
 
<html><head><title>Simple Index</title><meta name="api-version" value="2" /></head><body>
<a href='0-.-.-.-.-.-.-.-.-.-.-.-.-0'>0-._.-._.-._.-._.-._.-._.-0</a><br/>
<a href='00smalinux'>00SMALINUX</a><br/>
<a href='02exercicio'>02exercicio</a><br/>
<a href='0805nexter'>0805nexter</a><br/>
<a href='0x10c-asm'>0x10c-asm</a><br/>
<a href='1020-nester'>1020-nester</a><br/>
<a href='115wangpan'>115wangpan</a><br/>
<a href='131228-pytest-1'>131228_pytest_1</a><br/>
<a href='1337'>1337</a><br/>
<a href='17monip'>17MonIP</a><br/>
<a href='18-e'>18-e</a><br/>
<a href='199fix'>199Fix</a><br/>
...

이러한 형식으로 75000여개의 라인을 형성하고 있습니다. 여기서 필요한 것은 href= 안에 있는 패키지 이름입니다. 이 패키지 이름으로 아래와 같이 실행하면 다음과 같은 json 파일을 볼 수 있습니다.

$ sudo wget https://pypi.python.org/pypi/roundup/json
$ vi json
{
    "info": {
        "maintainer": null,
        "docs_url": null,
        "requires_python": null,
        "maintainer_email": null,
        "cheesecake_code_kwalitee_id": null,
        "keywords": null,
        "package_url": "http://pypi.python.org/pypi/roundup",
        "author": "Ralf Schlatterbeck",
        "author_email": "rsc@runtux.com",
        "download_url": "http://pypi.python.org/pypi/roundup",


...
 "urls": [
        {
            "has_sig": true,
            "upload_time": "2016-01-11T21:38:39",
            "comment_text": "",
            "python_version": "source",
            "url": "https://pypi.python.org/packages/source/r/roundup/roundup-1.5.1.tar.gz",
            "md5_digest": "54b21d185dd490ef8697f5a046607a44",
            "downloads": 384,
            "filename": "roundup-1.5.1.tar.gz",
            "packagetype": "sdist",
            "path": "source/r/roundup/roundup-1.5.1.tar.gz",
            "size": 2618886
        }
}

이와 같은 패턴을 사용하여 php나 파이썬 등을 작성해 만들 수 있습니다.


받은 압축파일 및 whl 파일들은 해당 서버에 직접 접근하여 /srv/pypi에 올리면 pypi서버에 반영이 됩니다.

개인 프로젝트 private pypi서버에 업로드


관리자

관리자는 다음과 같이 사용자의 비밀번호와 아이디를 정의합니다.

$ htpasswd -s htaccess yourusername
 
만약 htpasswd 명령어가 설치가 안되어 있을 경우,
 
http://www.htaccesstools.com/htpasswd-generator/ 해당 url로 들어가 사용자의 아이디와 비밀번호를 입력하고 나온 결과를 복사합니다.

복사한 결과를 아래 파일을 열어 붙여 넣고 저장합니다.


$ cd /srv/pypi
$ sudo vi .htaccess
 
 
복사내용 붙여넣기

사용자

아래에서는 test_sum이라는 파이썬 파일을 private 저장소 pypi에 업로드하는 방법을 설명합니다.


배포(업로드)하고자 하는 파일이 아래와 같이 있다고 가정합니다.

def sum(a, b):
    return a + b


다음 같은 폴더 안에 setup.py 파일을 만들고 메타데이터를 작성합니다.

setup (
        name               = 'factorial', 
        version             = '1.0.0',
        py_modules      = ['factorial'], //name과 py_modules 는 동일한 이름이여야 합니다.
        author              = 'ksw',
        author_email     = 'ksw@ksw.com',
        description        = 'factorial method',
    )


윈도우와 리눅스는 파일 설정 및 지정이 다르기 때문에 나눠서 설명하겠습니다.

윈도우

메모장을 열어 아래의 코드를 붙여넣습니다.

[distutils]
index-servers =
    pypi
    internal

[pypi]
username:pypiusername
password:pypipassword

[internal]
repository: http://10.101.30.124:8080 // private 저장소 url을 적습니다.
username:duzon // 관리자가 할당해준 아이디를 적습니다.
password:duzon // 관리자가 할당해준 비밀번호를 적습니다.

.pypirc로 저장하고 C:\Users\(로그인된 사용자 아이디) 에 저장합니다. 

예) C:\Users\ljh 에 저장

리눅스

아래와 같이 이동한 다음 .pypirc 파일을 작성 후 저장합니다.

$ cd ~/
# sudo vi .pypirc
 
 [distutils]
index-servers =
    pypi
    internal

[pypi]
username:pypiusername
password:pypipassword

[internal]
repository: http://10.101.30.124:8080 // private 저장소 url을 적습니다.
username:duzon // 관리자가 할당해준 아이디를 적습니다.
password:duzon // 관리자가 할당해준 비밀번호를 적습니다.



위와 같이 저장한 다음 아래의 명령어로 pypi 서버에 파일을 배포(업로드)합니다.

업로드할 시, 위에서 만들었던 setup.py 파일이 있는 경로에서 실행해야 합니다.

$ python setup.py sdist register -r internal upload -r internal

위의 방식은 .tar로 생성하여 올리기 때문에 python3에서만 사용이 가능합니다. python 2나 3 두 버전에서 사용가능한 wheel 타입으로 같이 올리는 방법이 가장 좋습니다.

PIP Config 설정

Mac

터미널에 접근해주세요.


$ mkdir $HOME/.pip
$ vi $HOME/.pip/pip.conf


[install]
index-url=http://172.16.114.36/simple
trusted-host=172.16.114.36 


Window

%HOME%\pip\pip.ini

위의 경로에 파일을 생성해주세요. 그리고 아래의 내용을 채워주시기 바랍니다.


[install]
index-url=http://172.16.114.36/simple
trusted-host=172.16.114.36 

wheel 타입 압축 후 업로드

wheel 타입으로 압축을 하기 위해선 먼저 wheel 모듈이 필요합니다. 

$ pip3 install wheel

또한 pip와 setuptools의 버전이 최신이어야 합니다. 


해당 프로젝트 내에 setup.cfg 파일을 생성합니다.( setup.py 파일의 동일한 위치에 생성하면 됩니다.)

[bdist_wheel]
universal = 1

setup.cfg 파일을 생성한 다음, 위의 코드를 넣어줍니다.


마지막으로 PYPI 업로드시, 옵션 선택하기 에서 사용하는 라이브러리는 from distutils.core import setup 입니다. 해당 라이브러리를 사용하면 에러가 나므로 from setuptools import setup 를 대신 사용해 줍니다.

위의 과정을 거친 후 명령어를 입력하여 .tar 와 .whl 압축파일을 업로드합니다.

$ python setup.py sdist bdist_wheel register -r internal upload -r internal


업로드 시 setup의 attribute는 PYPI 업로드시, 옵션 선택하기 에서 확인할 수 있습니다. ( wheel로 압축해야될 경우,  from distutils.core import setup 이부분을 from setuptools import setup 같이 변경하여 줍니다.)

private pypi에 올라온 패키지 다른 서버에서 설치 받기


아래와 같이 명령어를 사용하여 쉽게 install 및 download를 받을 수 있습니다. (이를 사용하기 위해 pip 및 easy_install 설치가 필요합니다.)


pip 사용하여 다운로드 받을 때

$  pip download --trusted-host ip주소 --index-url pypi 주소/simple/ 패키지명
 
-- 예시
$  pip install --trusted-host 10.101.30.124 --index-url http://10.101.30.124:8080/simple/ imi


easy_install 사용하여 다운로드 받을 때

 $ easy_install -i pypi 주소/simple 패키지명
 
--예시
$ easy_install -i http://10.101.30.124:8080/simple imi

Adding Third Party Packages


아래의 명령어를 사용하여 해당 패키지를 미러링할 수 있습니다.

$ pip install -d /srv/pypi 패키지명

미러링된 패키지 업데이트하기


아래 명령어를 실행시켜 미러링된 패키지에 대해 업데이트를 할 수 있습니다.

$ pypi-server -U /srv/pypi

레파지토리에 있는 각 패키지들은 업데이트를 확인하고 업데이트 합니다. 

'저장소 > PYPI' 카테고리의 다른 글

PYPI 업로드시, 옵션 선택하기  (0) 2016.05.21
PYPI  (0) 2016.05.21

NPM은 Node Packaged Modules의 줄임말입니다. 단어 그대로 Node.js에서 사용하는 모듈을 패키지로 모아 놓은 곳입니다. 사용자가 사용하고자 하는 패키지들을 다운받을 수 있습니다. 여기서는 공통으로 사용하는 npm이 아닌 private하게 npm을 구축하는 것을 설명하겠습니다.

NPM 설치


docker에 NPM 이미지를 아래의 명령어를 실행시켜 다운 받습니다.

$ docker pull rnbwd/sinopia

빠른 시작

아래의 명령어로 이미지를 실행시킵니다.

$ docker run --name sinopia -d -p 4873:4873 rnbwd/sinopia

sinopia는 기본적으로 4873 포트를 사용하고 docker를 실행 시, http://vm주소:4873으로 실행화면을 확인 할 수 있습니다.

스토리지 및 캐시 마운트

$ docker run --name sinopia -d -p 4873:4873 -v <local-path-to-storage>:/sinopia/storage rnbwd/sinopia

컨테이너가 정상적으로 실행되었을 시, cache 폴더와 storage 폴더가 생성된 것을 볼 수 있습니다.

cache폴더에는 public npm으로 받은 패키지의 모든 버전 정보 json 파일과 가장 최신 버전 패키지 압축 파일이 존재합니다. ( 만약 public npm에서 패키지를 install 한 후, 해당 패키지를 publish하려 하면 에러가 나면서 cache 폴더에 해당 패키지가 추가됩니다.)

storage폴더는 private 실행 시 npm debug 로그들이 쌓이게 됩니다.

config.yaml 파일 마운트

$ docker run -v <local-path-to-config>:/sinopia/config.yaml -d -p 4873:4873 rnbwd/sinopia

private npm을 사용하기 위해서는 config.yaml을 수정할 필요가 있습니다. docker container에서는 편집기가 실행되지 않으므로 config.yaml 파일을 마운트해 호스트 os에서 편집을 하던지, 스토리지를 마운트해 config 파일을 스토리지로 복사 -> 편집 -> 원 위치로 덮어쓰기 와 같은 형식으로 수정해야합니다.

현재 virtual box - coreos (835.13.0) - docker (1.8.3) 에서 위와 같이 config.yaml을 마운트 하려하면 [8] System error: not a directory 같이 에러가 나옵니다. (원인 파악중)

config.yaml

config.yaml은 sinopia를 처음 실행하는데 참조하는 파일입니다. 

 # path to a directory with all packages storage: ./storage/cache web: # enable: true title: Private NPM # logo: logo.png # template: custom.hbs auth: htpasswd: file: ./storage/htpasswd # Maximum amount of users allowed to register, defaults to "+inf". # You can set this to -1 to disable registration. #max_users: 1000 # a list of other known repositories we can talk to uplinks: npmjs: url: https://registry.npmjs.org/ # amount of time to wait for repository to respond # before giving up and use the local cached copy #timeout: 30s # maximum time in which data is considered up to date # # default is 2 minutes, so server won't request the same data from # uplink if a similar request was made less than 2 minutes ago #maxage: 2m # if two subsequent requests fail, no further requests will be sent to # this uplink for five minutes #max_fails: 2 #fail_timeout: 5m # timeouts are defined in the same way as nginx, see: # http://wiki.nginx.org/ConfigNotation packages: # uncomment this for packages with "local-" prefix to be available # for admin only, it's a recommended way of handling private packages 'local-*': allow_access: admin allow_publish: admin # # you can override storage directory for a group of packages this way: storage: 'local_storage' '@*/*': # scoped packages allow_access: $all allow_publish: $all '*': # allow all users (including non-authenticated users) to read and # publish all packages # # you can specify usernames/groupnames (depending on your auth plugin) # and three keywords: "$all", "$anonymous", "$authenticated" allow_access: $all # allow all known users to publish packages # (anyone can register by default, remember?) allow_publish: $all # if package is not available locally, proxy requests to 'npmjs' registry proxy: npmjs ##################################################################### # Advanced settings ##################################################################### # if you use nginx with custom path, use this to override links #url_prefix: https://foo.com # you can specify listen address (or simply a port) listen: 0.0.0.0:4873 # type: file | stdout | stderr # level: trace | debug | info | http (default) | warn | error | fatal # # parameters for file: name is filename # {type: 'file', path: 'sinopia.log', level: 'debug'}, # # parameters for stdout and stderr: format: json | pretty # {type: 'stdout', format: 'pretty', level: 'debug'}, logs: - {type: stdout, format: pretty, level: http} #- {type: file, path: sinopia.log, level: info} # you can specify proxy used with all requests in wget-like manner here # (or set up ENV variables with the same name) #http_proxy: http://something.local/ #no_proxy: localhost,127.0.0.1 # maximum size of uploaded json document # increase it if you have "request entity too large" errors # max_body_size: 500mb # Workaround for countless npm bugs. Must have for npm <1.14.x, but expect # it to be turned off in future versions. If `true`, latest tag is ignored, # and the highest semver is placed instead. #ignore_latest_tag: false

여기서 가장 중요한 것은 packages 부분입니다.

'local-*' 은 sinopia에 배포할 패키지의 이름 맨 처음에 local- 이 들어간 것을 뜻합니다.

storage : loca_storage는 local-* 패키지명이 들어오면 local_storage폴더에 패키지압축 파일 및 정보를 담고 있는 json 파일을 저장하게 됩니다.


패키지 내의 proxy: npmjs는 만일 private npm 서버에 원하는 패키지가 없을 시, npmjs에 지정한 주소로 다이렉팅 됩니다. 위에서 npmjs를 public npm 주소로 등록이 되어있습니다.


패키지 업로드(배포)


배포에 앞서 다음과 같이 설정을 해줍니다.

$ docker exec -it sinopia /bin/bash   $ npm set registry http://설정주소:4873 ### 예 http://IP주소:4873

다음 유저를 추가해 줍니다.

$ npm adduser --registry http://IP주소:4873 User: admin Password: admin Email: (this IS public): 이메일.com


등록한 계정으로 npm 로그인을 해줍니다.

$ npm login
User: admin
Password: admin
Email: (this IS public): 이메일.com

현재 확인해 본 결과, 가입을 하지 않고 바로 로그인으로 아이디를 생성할 수 있습니다.


여기서는 public npm에서 foo라는 패키지를 받고, 해당 패키지명을 변경한 후 private npm에 올리는 것으로 가정하겠습니다.

다음 업로드(배포)할 패키지의 package.json 파일을 수정합니다. (컨테이너 내의 sinopia/node_modules/foo)

 { "author": { "name": "AJ ONeal", "email": "coolaj86@gmail.com", "url": "http://coolaj86.info" }, "name": "local-foo", "description": "A test module with no `main`, `lib`, or `dependencies` specified", "version": "1.0.0", "repository": { "type": "git", "url": "git://github.com/coolaj86/node-pakman.git" }, "engines": { "node": ">= v0.2" }, "_npmUser": { "name": "coolaj86", "email": "coolaj86@gmail.com" }, "_id": "foo@1.0.0", "dependencies": {}, "devDependencies": {}, "_engineSupported": true, "_npmVersion": "1.0.101", "_nodeVersion": "v0.4.8", "_defaultsLoaded": true, "dist": { "shasum": "943e0ec03df00ebeb6273a5b94b916ba54b47581", "tarball": "http://registry.npmjs.org/foo/-/foo-1.0.0.tgz" }, ## 해당부분추가 "publishConfig": { "registry": "http://IP주소:4873/" },  ##해당 부분 추가 "maintainers": [ { "name": "coolaj86", "email": "coolaj86@gmail.com" } ], "directories": {}, "_shasum": "943e0ec03df00ebeb6273a5b94b916ba54b47581", "_resolved": "https://registry.npmjs.org/foo/-/foo-1.0.0.tgz", "_from": "foo@*" }

public npm에서 받았기 때문에 foo라는 패키지 이름 그대로 publish 할 시, 에러가 나면서 cache에 저장이 됩니다. (이미 public 으로 받았기 때문)

따라서 local-foo라고 이름을 변경을 합니다. 또한 publish에 필요한 설정을 

"publishConfig": {
"registry": "http://private npm 설정주소:4873/"
},

를 추가해 줍니다.


컨테이너에서 파일 경로를 아래와 같이 이동한 다음, publish를 실행합니다.

$ cd /sinopia/node_modules/foo
$npm publish

publish는 해당 패키지의 package.json을 읽고 실행하기 때문에 package.json 파일이 있는 폴더로 이동해서 진행합니다.

만약 똑같은 이름으로 이미 private npm 서버에 올라가 있거나, public npm으로 받은 패키지의 이름을 변경하지 않고 바로 올렸을 경우 다음과 같은 에러가 나옵니다.

npm ERR! Linux 4.2.2-coreos-r2
npm ERR! argv "node" "/usr/local/bin/npm" "publish"
npm ERR! node v0.10.40
npm ERR! npm  v2.14.5
npm ERR! code EPUBLISHCONFLICT
npm ERR! publish fail Cannot publish over existing version.
npm ERR! publish fail Update the 'version' field in package.json and try again.
npm ERR! publish fail
npm ERR! publish fail To automatically increment version numbers, see:
npm ERR! publish fail     npm help version
npm ERR! Please include the following file with any support request:
npm ERR!     /sinopia/node_modules/foo/npm-debug.log

해당 에러가 나지 않았을 시, http:// private npm 주소:4873 서버에서 확인할 수 있습니다.

외부에서 private NPM 패키지 다운로드


다음과 같은 방식으로 다운로드를 받을 수 있습니다.

$ npm install 패키지명 --registry private npm 주소 예시 $ npm install local-foo --registry http://ip주소:4873   또는 $ npm set registry private npm 주소 $ npm install 패키지명 예시 $ npm set registry http://ip주소:4873 $ npm get registry http://ip주소:4873/ # npm 패키지 다운로드 받고자 하는 주소 변경 $ npm install local-foo

다른 사용자가 받고자 하는 패키지가 private npm 서버에 있을 경우, private npm 서버에서 내려받습니다.

만약 없을 시에는 private npm 서버의 config.yaml에 정해 놓은 것 처럼 public npm서버에 연결이 되어 내려받게 됩니다.

  • 사용자가 원하는 패키지 -> private npm 서버에 없음 -> public npm 서버에서 내려받음 -> private npm 서버 캐시에 저장 -> 사용자 서버에서 다운로드

sinopia github 저장소


sinopia에 대한 더 많은 정보는 아래 주소에서 확인할 수 있습니다.

docker 이미지 설명: https://hub.docker.com/r/rnbwd/sinopia/

sinopia 패키지 설명: https://github.com/RnbWd/sinopia

'저장소 > NPM' 카테고리의 다른 글

NPM  (0) 2016.05.21

Instrumentation이란?


그라인더는 스크립트가 record되어야 하는 스크립트 코드의 부분에 표시하는 것을 허용합니다. 이를 instrumentation이라 합니다. 코드는 Test 함수를 위해 instrumented됩니다. instrumented code가 호출될 때, 테스트의 통계는 업데이트 됩니다. 표준 통계는 에러의 수, call의 횟수, 호출된 시간을 기록합니다. 향상된 스크립트는 앞에서 기록한 통계를 추가할 수 있습니다. 사용자는 객체의 자바 바이트 코드를 수정하기 위해 Test 함수를 사용해 객체를 instrument할 수 있습니다.

from net.grinder.script import Test
from net.grinder.script.Grinder import grinder
  
test1 = Test(1, "Log method")
  
# Instrument the info() method with our Test.
test1.record(grinder.logger.info)
  
class TestRunner:
    def __call__(self):
        log("Hello World")

매번 "Hello World"는 로그파일에 쓰여지고 쓰여진 시간은 그라인더에 의해 record 됩니다.

Instrumentation은 중첩 될 수 있습니다. 예를 들어, 사용자는 Test 1을 가진 함수를 instrument할 수 있고 함수의 코드는 Test 2와 Test 3을 가진 instrument 된 HTTPRequest 호출 할 수도 있습니다. Test 2와 3에 의해서 instrument된 코드는 Test 1 코드 안에 중첩될 수 있습니다. Test 1에 record된 시간은 Test2와 3에 record된 시간의 합보다 커야 합니다. 예를 들어, grinder.sleep()을 호출한 것과 같이 함수 자체에 소요된 시간을 포함합니다.

Instrumentation 쉬운 예제


def Hello() 
    ... 

Test(1, "Hello Test").record(Hello) 

라고 기재하게 되면 Hello 가 한번 실행될때 마다 트랜잭션이 올라갑니다. 

자동 생성된 스크립트를 보면.. 

test1 = Test(1, "Test1") 
request1 = HTTPRequest() 

# Make any method call on request1 increase TPS 
test1.record(request1) 

와 같은 코드가 있는데.. 

request1 이라는 객체의 어떤 메소드라도 호출되면, 이를 트랜잭션으로 치겠다는 겁니다. 

result = request1.GET("http://www.google.com") 

와 같이 GET 이 호출되어 성공하면 트랜잭션이 올라갑니다. 

이런 기술을 Instrumentation 이라고 합니다. 

Selective instrumentation


그라인더 3.7 버젼은 선택적으로 target 객체가 instrument할 수 있도록 허용하는 record의 오버로드 된 버젼을 추가합니다. 

Selective instrumentation은 일반적으로 테스트 통계에 영향을 주는 것 없이 호출이 필요한 보조 함수를 가지는 HTTPRequest 클래스의 instrument 인스턴스에 유용합니다. 아래는 selective instrumentation을 사용하는 예제입니다.

from net.grinder.script import Test
from net.grinder.plugin.http import HTTPRequest
  
test = Test(1, "my test")
  
class GetAndPostFilter(Test.InstrumentationFilter):
  def matches(self, method):
    return method.name in ["GET", "POST"]
  
request = HTTPRequest(url="http://grinder.sourceforge.net")
test.record(request, GetAndPostFilter())
  
class TestRunner:
    def __call__(self):
        # GET() is instrumented, so call statistics are reported.
        request.GET()
  
        # getUrl() is not instrumented, no call statistics are reported.
        print "Called %s" % request.url

Selective instrumentation 쉬운 예제


public static GTest test 
@BeforeProcess 
   test = new GTest(1, "Test1") 
   request = new HTTPRequest() 
   test.record(request) 

정의후에 
  
@Test 함수에서 
request.setUrl() 
request.setsetHeaders() 
request.setData() 
request.POST(uri) 

request 객체의 어떤 함수라도 실행이 되면 TPS에 영향을 미치는 것 같아 GET이나 POST 호출일 때만 업데이트 되기를 원함 이 것을 Selective instrumentation으로 어떻게 변경할까?


정답


GTest test = new GTest(1,  "hello_test"); 
                test.record(request, new GTest.InstrumentationFilter() { 
                        
                        @Override 
                        public boolean matches(Object item) { 
                                return (item.name == "GET" || item.name == "POST"); 
                        } 
                }); 

위와 같은 방식으로 해결할 수 있지만 request 자체를 instrumentation하는 것 보다는 test 자체를 instrumentation하는 것이 더 편합니다. 방식은 아래와 같습니다.


@BeforeProcess 
        public static void beforeProcess() { 
                test = new GTest(1, "Hello"); 
                request = new HTTPRequest(); 
        } 

        @BeforeThread 
        public void beforeThread() { 
                grinder.statistics.delayReports=true 
                grinder.getLogger().info("before thread in MyTest."); 
                // 여기서 Request 가 아닌 doTest 를 Instrumentation 합니다. 
                test.record(this, "doTest"); 
        } 


        @Test 
        public void testHello(){ 
                // 앞에서 request 가지고 일단 장난 치고 
                // request.setUrl() / request.setsetHeaders() / request.setData()  같은 
                // 실제 테스트로 넘깁니다. 
                doTest(request); 
        } 
        
        /** DoTest 자체를 TPS로 처리합니다. */ 
        public void doTest(HTTPRequest request) { 
                request.POST.... 
        } 


'nGrinder' 카테고리의 다른 글

[nGrinder]Instrumentation  (0) 2016.05.21
[nGrinder]스크립트(Groovy) 작성법  (0) 2016.05.21
[nGrinder] 사용법 및 테스트  (0) 2016.05.21
[nGrinder]nGrinder란? & docker 설치 방법  (0) 2016.05.21

스크립트(Groovy)를 작성하는 법을 조사하기 전, 먼저 Groovy가 무엇인지를 설명한 다음 스크립트 작성법, 스크립트로 테스트 설정 페이지를 수정할 수 있는지, 없으면 nGrinder 소스 조사를 설명하겠습니다.

Groovy란?


Groovy는 자바에 파이썬, 루비, 스몰토크등의 특징을 더한 동적 객체 지향 프로그래밍 언어입니다.  JVM에서 동작하고 자바의 강점 위에서 파이썬, 루비, 스몰토크 등의 프로그래밍 언어에 영향을 받은 특징 및 장점이 있습니다. 자바 기반이기 때문에 자바 프로그래머들이 많은 학습을 하지 않아도 프로그래밍을 할 수 있다는 점과 단순화된 문법을 지원하여 코드를 읽고 유지보수하기 편하다는 장점이 있습니다. 

자바와의 비교

그루비의 문법체계는 자바를 계승하고 발전시켰습니다. 자바에 없는 간편 표기법을 지원하는 것 외에 LIST, MAP, 정규식을 위한 구문을 제공함으로써 프로그래밍을 쉽고 간결하게 해줍니다. JVM상에서 동작하는 동적 스크립트 언어인 jython, jruby등과 비교해도 손색이 없습니다. 자바는 소스를 컴파일해야만 사용할 수 있지만, 그루비 소스는 스크립트 파일 그대로 실행시킬 수 있고 자바초럼 컴파일하여 사용할 수도 있습니다. 대부분의 자바 소스는 파일 확장자만 변경하면 수정 없이 그루비에서도 사용할 수 있습니다.

다음은 자바 소스입니다.

public class StdJava
{
  public static void main(String argv[])
  {
    for (String it : new String [] {"Rod", "Carlos", "Chris"})
      if (it.length() <= 4)
        System.out.println(it);
  }
}

이러한 소스를 그루비에서는 간단하게 다음과 같이 표현할 수 있습니다.

["Rod", "Carlos", "Chris"].findAll{it.size() <= 4}.each{println it}

스크립트(Groovy)작성법


테스트를 실행할 수 있는 스크립트는 Groovy, Jython, Groovy Maven Project 총 3가지가 있지만 이 중 Groovy를 중심으로 설명하겠습니다.

Groovy 등장 배경

Groovy는 nGrinder 3.2부터 지원했습니다. Groovy 스크립트는 Jython 스크립트와 다르게 JUnit 기반으로 동작하도록 되어 있습니다. nGrinder 개발에 참여한 NHN 개발자들의 대부분이 JUnit을 사용한 적이 있고 대부분의 IDE에서 JUnit을 지원하기 때문에 개발을 했다는 얘기가 있습니다. Groovy Maven Project는 Groovy 스크립트에 Maven 구조를 더한 형태입니다. 만약 Maven 구조 없이 단독으로 Groovy 스크립트형태로 작성했다면, nGrinder에서 제공하는 스크립트 에디터에서 편집 검증을 해야 하지만, Groovy Maven Project 구조를 사용했다면 이클립스같은 개발환경으로 해당 프로젝트를 import 후 로컬에서 테스트를 작성할 수 있습니다.

nGrinder Groovy 스크립트 기본 생성 소스

먼저 Groovy 스크립트를 생성하거나, Groovy Maven Project에 묶어서 사용해도 스크립트 자체의 형태는 아래와 같이 동일합니다.

package org.ngrinder;
import static net.grinder.script.Grinder.grinder
import static org.junit.Assert.*
import static org.hamcrest.Matchers.*
import net.grinder.plugin.http.HTTPRequest
import net.grinder.plugin.http.HTTPPluginControl;
import net.grinder.script.GTest
import net.grinder.script.Grinder
import net.grinder.scriptengine.groovy.junit.GrinderRunner
import net.grinder.scriptengine.groovy.junit.annotation.BeforeProcess
import net.grinder.scriptengine.groovy.junit.annotation.BeforeThread
// import static net.grinder.util.GrinderUtils.* // You can use this if you're using nGrinder after 3.2.3
import org.junit.Before
import org.junit.BeforeClass
import org.junit.Test
import org.junit.runner.RunWith
import HTTPClient.HTTPResponse
import HTTPClient.NVPair
/**
 * A simple example using the HTTP plugin that shows the retrieval of a
 * single page via HTTP. 
 * 
 * This script is automatically generated by ngrinder.
 * 
 * @author admin
 */
@RunWith(GrinderRunner)
class TestRunner {
	public static GTest test
	public static HTTPRequest request
	@BeforeProcess
	public static void beforeProcess() {
		HTTPPluginControl.getConnectionDefaults().timeout = 6000
		test = new GTest(1, "Test1")
		request = new HTTPRequest()
		test.record(request);
		grinder.logger.info("before process.");
	}
	@BeforeThread 
	public void beforeThread() {
		grinder.statistics.delayReports=true;
		grinder.logger.info("before thread.");
	}
	@Test
	public void test(){
		HTTPResponse result = request.GET("http://please_modify_this.com")
		if (result.statusCode == 301 || result.statusCode == 302) {
			grinder.logger.warn("Warning. The response may not be correct. The response code was {}.", result.statusCode); 
		} else {
			assertThat(result.statusCode, is(200));
		}
	}
}

nGrinder Groovy 스크립트 내의 클래스에는 JUnit을 nGrinder에 맞게 처리할 수 있도록 @RunWith(Grinder Runner)를 사용합니다.

@RunWith(): 스프링의 테스트 컨텍스트 프레임워크의 JUnit 확장기능 지정

  • JUnit은 각각의 테스트가 서로 영향을 주지 않고 독립적으로 실행하는 것을 기본으로 하기에 각 테스트 클래스마다 매번 오브젝트를 생성합니다. 그러므로 각 테스트 클래스를 지정한 ApplicationContext도 매번 새로 생성되는 상황이 발생합니다. 이를 방지하기 위해 @RunWith annotation은 각 테스트 별로 오브젝트가 생성되더라고 싱글톤의 ApplicationContext를 보장하는 역할을 합니다.

@Test로 annotation이 붙은 method는 쓰레드 내에서 반복 실행됩니다. 이때 일반적인 JUnit Assertion을 사용하여 테스트 결과를 검증할 수 있습니다. Assertion에 실패할 경우, 해당 쓰레드에서 실행한 마지막 테스트가 실패 처리됩니다.

@Test: @Test annotation이 선언되면 해당 method는 테스트 대상임을 뜻합니다.

Assertion: 해당 문장이 실행 될 경우, 이 문장은 참이라고 단언할 수 있는 문장입니다. 즉 개발자가 개발한 프로그램에서 가정하고 있는 사실이 올바른 지 검사할 수 있도록 도와주는 기능입니다. 여기서 Assertion이 아니더라도 try/catch문이나 if/else문으로 에러 검사 기능을 처리할 수 있습니다. 여기서 차이점은 예외는 주로 프로그램을 실행하는 도중 예상하지 못한 상태를 처리하는데 사용합니다. 예를 들어, 파일을 열려고 하는데 열리지 않거나, 네트워크의 연결이 끊어지는 현상 등의 상태를 처리할 때 주로 사용됩니다. 반면 Assertion은 개발자가 참이라고 가정하는 상태를 명시하기 위해 사용됩니다. 예를 들어, 어떤 method가 파라미터로 양수만 입력 받아야 한다고 확신한다면, Assertion을 사용해 해당 사실(파라미터가 양수라는 것)을 명시할 수 있습니다.

다시 말해, 예외는 프로그램의 코드가 실행되는 도중 발생하는 예외인 비정상적인 상태를 처리합니다. 하지만 Assertion은 프로그램이 올바르게 수행될 수 있는 조건을 명시해주어 해당 조건을 만족하는 경우에만 코드가 실행될 수 있도록 합니다. 

nGrinder Groovy 테스트에서는 기존에 많이 사용되던 JUnit의 @BeforeClass, @Before, @AfterClass, @After 대신 다음과 같은 annotation을 사용합니다.



설명적용사용 예

@BeforeProcess

프로세스가 생성될때 실행해야 하는 동작 정의

static method 

- 프로세스 내 쓰레드가 공유할 리소스 파일 로드

- GTest를 사용한 테스트 항목Instrumentation

@AfterProcess

프로세스가 종료하기 직전에 실행해야 하는 동작 정의

static method

리소스파일 닫기

@BeforeThread

각 쓰레드가 실행된 전에 실행해야 하는 동작 정의

member method

- 테스트 대상 시스템 로그인.

- 쓰레드 별 쿠키 핸들러 설정

@AfterThread

각 쓰레드가 종료하기 직전에 실행해야 하는 동작 정의

member method

- 테스트 대상 시스템 로그아웃

@Before

모든 @Test 메소드가 실행되기 전에 실행해야 하는 동작 정의

member method

- 여러 @Test 메소드가 공유하는 로직

- 설정 검증

@After

모든 @Test 메소드가 종료된 이후 실행해야 하는 동작 정의

member method

- 거의 사용 안함

@Test

테스트 동작 정의

member method

Test body

Groovy 스크립트 실행 흐름도



어노테이션 별 분석

@BeforeProcess

	public static GTest test;
	public static HTTPRequest request;
	@BeforeProcess
    public static void beforeProcess() {
        // Instead of Test in Jython, GTest is used here
        // It's because the identifier "Test" is alredy used by the @Test 
        // GTest is the replacement to avoid the naming confliction.
        test = new GTest(1, "test1");
        request = new HTTPRequest();
        test.record(request);
        grinder.logger.info("before process.");
    }
}

모든 쓰레드가 공유할 데이터를 정의하기에 좋은 곳입니다. @BeforeProcess가 붙은 static method는 각 테스트 통계를 수집할 때 사용되는 GTest 인스턴스를 정의하고, request 인스턴스를 바이트 코드 조작(record method)를 통해 레코딩하도록 합니다. request 인스턴스에 대해 method 호출을 하게 되면 테스트 별로 TPS를 증가 시킵니다. 만약 다수의 HTTPRequest 객체를 레코딩해야 한다면 해당 객체를 test.record(request2)와 같이 처리하면 됩니다.

@BeforeThread

    @BeforeThread
    public void beforeThread() {
        grinder.statistics.delayReports=true;
        grinder.logger.info("before thread.");
    }

해당 함수는 쓰레드가 시작되기 전 실행되어야 할 부분을 적습니다. 보통 로그인 같은 테스트 사전 처리 코드를 넣습니다. 다음 실제 테스트를 작성합니다. 아래 @Test와 같이 @Test를 추가해 여러 test 함수를 정의할 수 있습니다.

@Test

	private boolean googleResult; 
	@Test
	public void testGoogle(){
    	googleResult = false;
    	HTTPResponse result = request.GET("http://www.google.com");
    	if (result.statusCode == 301 || result.statusCode == 302) {
        grinder.logger.warn("Warning. The response may not be correct. The response code was {}.", result.statusCode);
    	} else {
        	assertThat(result.statusCode, is(200));
    	}
    	googleResult = true;
	}
	 
	@Test
	public void testYahoo(){
    	if (!googleResult) {
        	grinder.logger.warn("Just return. Because prev google test is failed.");
        	return;
    	}
    	HTTPResponse result = request.GET("http://www.yahoo.com");
    	if (result.statusCode == 301 || result.statusCode == 302) {
        	grinder.logger.warn("Warning. The response may not be correct. The response code was {}.", result.statusCode);
    	} else {
        assertThat(result.statusCode, is(200));
    	}
	}

첫 번째 testGoogle() 테스트 함수를 실행한 다음, testYahoo()를 실행합니다. 그런데 googleResult라는 멤버 변수를 사용하여 testGoogle() 함수의 실행결과를 참조합니다. 이러한 방식은 JUnit에서는 각 테스트 별로 각각의 테스트 객체를 생성하기 때문에 불가능합니다. 그러나 GrinderRunner는 이와 같은 제약을 수정하여, 쓰레드 당 한개의 테스트 객체만을 사용합니다. 따라서 googleResult와 같은 멤버 변수 참조도 가능합니다.  

'nGrinder' 카테고리의 다른 글

[nGrinder]Instrumentation  (0) 2016.05.21
[nGrinder]스크립트(Groovy) 작성법  (0) 2016.05.21
[nGrinder] 사용법 및 테스트  (0) 2016.05.21
[nGrinder]nGrinder란? & docker 설치 방법  (0) 2016.05.21

앞서 nGrinder가 어떻게 동작하고, 자주 사용되는 용어를 확인했다면, 지금부터는 실제로 테스트를 하면서 테스트 확인 페이지에 나오는 용어 및 그래프들에 대한 설명을 하겠습니다.

로컬환경



VirtualBoxVirtualBox CPUVirtualBox Memorycontainer nameGuest OSdocker CPUdocker MEMORYDocker
coreos-controller2core2gbcontroller




coreos stable(835.11.0) 

2core2gb




1.8.3



coreos-agent



2core



4gb

agent_1c1g1core1gb
agent_1c2g1core2gb
agent_1c4g1core4gb
agent_2c2g2core2gb
agent_2c4g2core4gb

위와 같은 환경을 설정하기 위해, vm을 총 4개가 아닌 2개만 설정하고 docker에서 컨테이너마다 각 다른 cpu와 memory를 할당하여 테스트를 진행했습니다.

사전 설정


vm을 2개만 사용해 docker 컨테이너마다 자원을 다르게 설정해줘야 합니다.

먼저 nGrinder의 controller와 agent를 설치합니다. (nGrinder란#nGrinder설치-docker 참고)

controller는 설명대로 바로 설치합니다. agent는 cpu와 memory를 아래와 같이 설정하여 줍니다.

$  docker run -d -e 'CONTROLLER_ADDR=ip주소:8080' --memory="1g" --memory-swap -1 --cpu-period=50000 --cpu-quota=25000 --name agent_minimum ngrinder/agent:3.3

--memory  : 해당 컨테이너에 물리적으로 메모리를 얼마나 할당할 지 설정하여 줍니다. 할당받은 메모리를 전부 사용했을 시, host의 메모리를 빌려서 사용합니다.

--memory-swap  : 컨테이너에게 얼만큼 메모리를 빌려줄 지 결정합니다. 만약 --memory="300m" --memory-swap="200m"일 경우, 해당 컨테이너에서 사용할 수 있는 메모리의 양은 500m입니다. 여기서는 정확하게 1gb/2gb/4gb만 사용하기 위해 -1로 메모리를 고정합니다.

--cpu-period, --cpu-quota  :  cpu-priod는 cpu-quota와 함께 사용합니다. cpu-priod의 기본 값은 100000(100ms)로, cpu-quota를 이용해서 100ms 동안 어느정도의 cpu 할당할 것 인지를 설정할 수 있습니다. 만약 cpu-quota가 25000이라면, 1/4만큼의 cpu자원을 사용할 수 있습니다. 여기서 agent vm을 2core로 설정하였기 때문에 1/2만큼의 cpu자원을 사용하도록 하기 위해 --cpu-period는 50000, --cpu-quota는 25000을 정했습니다.


이러한 방식으로 agent를 각기 다른 자원을 할당해 생성합니다.

nGrinder Architechure


세팅한 nGrinder는 다음과 같은 구조로 controller와 agent들이 통신하고 agent들은 test 서버에 부하를 가합니다.


포트 별 통신 내용은 nGrinder란#포트에 정리가 되어 있습니다.


테스트 방법 및 화면 설명


 



URL을 입력하고 버튼을 누르면 보이는 페이지 입니다. 테스트명, 태그, 설명은 저장할 때 해당 테스트를 설명하는 항목입니다.

에이전트는 controller와 연결되어 있는 에이전트의 수 만큼 사용할 수 있습니다. + 버튼을 누르면  이와 같이 설정을 할 수 있습니다.

스크립트는 사용자가 해당 주소로 부하를 걸 스크립트를 보여줍니다.

RHEAD는 선택된 스크립트의 내용을 보여주는 페이지로 이동합니다.

테스트 대상 서버는 테스트를할 서버의 리스트를 보여줍니다. 추가버튼을 눌러 테스트를 받을 서버를 늘릴 수 있습니다.

테스트 기간은 해당 테스트를 얼마 만큼 실행할 지 설정하는 항목입니다. 사용자는 테스트 기간과 실행 횟수 둘 중 하나만 골라 실행할 수 있습니다.

실행 횟수는 사용자가 설정한 쓰레드당 몇 번의 테스트를 실행할 것인지 지정합니다.  사용자는 테스트 기간과 실행 횟수 둘 중 하나만 골라 실행할 수 있습니다.

Ramp_Up은 점차 부하를 가할 수 있는 기능입니다. 점차 부하를 가할 때, vuser의 수를 늘리는 것이 아닌, process나 thread를 늘립니다. 

초기 개수는 처음 시작할 때, vuser의 수를 설정합니다.

초기 대기시간은 테스트를 언제부터 실행시킬 지 설정합니다.

증가 단위는 해당 쓰레드/프로세스를 몇 개씩 증가시킬지 설정합니다.

Ramp-Up 주기는 설정한 것들의 상승 시간을 설정합니다.

샘플링 주기는 그래프 x축에 보여질 '초'를 나타냅니다.

샘플링 무시 횟수는 적혀진 숫자 * 샘플링 주기만큼 데이터가 수집되지 않습니다.

파일 안전 전송은 에이전트에 스크립트를 항상 오류없이 전달하고 싶을 때 체크합니다.

파라미터는 테스트 실행 중에 참조할 수 있는 파라미터를 부여할 수 있습니다.



MTT: 평균 테스트 타임 vuser를 늘리면 MTT또한 비례하게 늘어납니다. 

MTFB: 평균 첫 번째 바이트 도달 시간이며 이것을 Response Time으로 볼 수도 있습니다.


상세 보고서 버튼을 클릭 시, 각 항목에 대해 그래프로 확인할 수 있습니다.


상단 성능 테스트 버튼을 누르면 그동안 테스트했던 결과를 확인할 수 있고, 생성할 수도 있습니다.


웹페이지를 테스트했던 스크립트들을 확인할 수 있고, 생성, 업로드할 수도 있습니다.

시스템 설정


시스템 설정에서 제한이 있는 부분들을 해결할 수 있습니다. 예로 vuser는 에이전트당 3000으로 고정되어 있는 것을 50000으로 풀겠습니다.


controller.max_vuser_per_agent의 주석처리를 푼 다음, 3000을 50000으로 변경하여 저장합니다.

테스트모드로 들어가면 아래와 같이 변경된 것을 확인할 수 있습니다.


이처럼 제한이 된 부분들을 사용자가 원하는 대로 풀 수도 있고, 반대로 제한을 줄 수도 있습니다.

사용자 관리


위 사진처럼 사용자 관리를 들어가면 기본으로 설정되어 있는 사용자를 볼 수 있습니다. 사용자추가 및 삭제는 관리자만 가지고 있는 권한입니다. 사용자를 추가할 시, 기본값으로 General User입니다.

아래 표는 역할 별 부여된 권한입니다.

역할설명
Administrator관리자는 다른 테스트나 스크립트들을 볼 수 있고 모든 유저로 사용자 전환이 가능합니다. 또한 에이전트들을 승인하고 시스템 설정을 변경할 수 있습니다.
Super User슈퍼 유저는 다른 테스트나 스크립트들을 볼 수 있고 모든 유저로 사용자 전환이 가능합니다.
System User시스템 내부적 사용을 위해 예약되어 있습니다. (Reserved for system internal use)
General User일반 유저는 본인의 테스트와 스크립트만 볼 수 있습니다.

로그 파일

nGrinder의 로그는 controller쪽에만 존재하며 컨테이너 내부 log 경로는 다음과 같습니다.

$ /root/.ngrinder/perftest

성능 테스트한 결과의 순번대로 쌓이며 0~999까지의 숫자가 0_999 폴더에 쌓입니다.

테스트


테스트는 로컬환경에서 1core/1g 1개, 1core/2g 1개, 1core/4g 1개 ,2core/2g 1개, 2core/4g 1개로 http://www.google.com/에 대한 부하 테스트를 실행하였습니다. 테스트 스크립트는 기본으로 제공해주는 Groovy를 사용했습니다.

부하 테스트시, 데이터 유실이 다음 2가지로 생길 수 있습니다.

  1. 초당 전송되는 에이전트 CPU/ 메모리 수치
  2. 초당 전송되는 샘플링 결과

동시접속이 많을 시, 서버가 뻗어서 다량의 에러로 멈출 수도 있지만, 에이전트의 성능이 부족하여서 에러가 날 수도 있습니다. 또한 하나의 에이전트에서 많은 vuser를 생성한 경우, 쓰레드의 갯수가 한번에 많이 생성되어 cpu사용률이 확 올라가기 때문에 뻗을 위험도 있습니다.

로컬

테스트는 다음과 같이 진행했습니다. (전체 실행 횟수의 30%이상 에러가 나오면 테스트가 중지 됩니다.)

컨테이너프로세스 갯수스레드
501001502003004005006001000
agent_1c1g1OOOO에러발생 후 종료



agent_1c2g1OOOO1c1g보단 성공률 높지만 에러발생 후 종료



agent_1c4g1OOOO에러율 20%에러 발생 후 종료


agent_2c2g1OOOOOO에러 2~ 70개 사이에러 발생 후 종료
agent_2c4g1OOOOOO에러 0~10개 사이1분간 실행 시, 에러 0~100개 사이성공 or 실패

위 표는 테스트한 결과입니다. 로컬에서 실행해서 부정확한 결과가 나왔습니다. 2core에 메모리 4gb로 1개의 프로세스에서 1000개 쓰레드를 실행 시, 에러를 뱉으면서 테스트가 성공하는 반면, 로컬 피씨가 느려졌을 때 테스트를 시도하면 cpu가 버티지 못해 뻗는 경우가 생겼습니다.

agent의 사양을 2core에 메모리 1g로 세팅 후, 실험 결과 1core 메모리 4g보다 더 많은 스레드를 수용하여 에러를 적게 뱉었습니다. 이유는 프로세스의 갯수가 많아지면 메모리 사용량이 늘고 쓰레드의 수가 늘어나면 cpu의 사용량이 많아지기 때문에 프로세스 1개로 고정한 후, 쓰레드의 수를 늘리면 2core 메모리 1g의 컨테이너가 1 core 메모리 4g보다 더 성능이 좋습니다.

2core 메모리 4g의 agent 경우, 1000명의 가상 유저(thread)로 thread마다 각 6번 씩 실행하도록 설정하여 테스트를 했을 때, 에러를 뱉으면서 성공한 것을 확인했습니다.


agent의 성능을 올리기 위해 open file과 max user process의 갯수를 수정하고자 아래와 같이 명령어를 실행해 확인했습니다.

$ ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 7907
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1048576
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1048576
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

하지만 ngrinder의 컨테이너는 다음과 같이 이미 10000이상의 숫자가 설정되어 있었고 coreos의 경우 openfile이 1024로 설정되어있어 이를 10000이상의 수로 변경했지만 성능엔 차이가 없었습니다.

서버

서버환경에서는 로컬에서 테스트한 것과는 다르게 프로세스의 수도 변경하여 테스트 하였습니다. 


ipport
controller

ip주소 1

80
agent001

ip주소 2


agent002

ip주소 3



컨테이너프로세스스레드
300
agent001101분간 실행하여 에러 1개
agent00210

에이전트 2개를 연결하여 한꺼번에 프로세스 10개, 스레드 300개를 1분 간 실행했습니다. (총 vuser 6000) 로컬과는 다르게 아래와 같이 에러 1개만 뱉어내며 잘 동작하는 것을 확인할 수 있었습니다.



다음 vuser 제한을 50000으로 풀어 다음과 같은 스펙으로 실험했습니다.

컨테이너프로세스스레드
500
agent001101분간 실행하여 에러 9개
agent00210


동작 시간을 1분이 아닌 2분으로 진행했을 때, 1분 13초 경 메모리 부족 문제로 중지가 되었습니다.


다음 아래와 같은 스펙으로 실험을 진행했습니다.

컨테이너프로세스스레드
700
agent00110메모리 부족문제로 중지
agent00210


메모리가 부족하여 중도 중지 되었습니다.

결론

에이전트의 메모리/CPU와 스크립트가 얼마나 무거운지에 따라 수용할 수 있는 vuser가 다르다는 것을 알 수 있었습니다. 아주 간단한 REST Call의 경우 Groovy 스크립트를 사용하면 1개의 에이전트 (2 core/ 4G)당 5~8000 vuser를 견딜 수 있다고 하는데 직접 해본 결과로는 한 개의 에이전트가 1분간 5000유저를 견디는 것은 가능하지만 그 이상의 시간이 되면 메모리 부족 문제로 중지되는 것을 확인했습니다. 이러한 문제를 해결하기 위해선 테스트 시나리오를 작성한 다음, think time을 넣어 더 많은 사용자를 받을 수 있도록 해야 될 것 같습니다.

'nGrinder' 카테고리의 다른 글

[nGrinder]Instrumentation  (0) 2016.05.21
[nGrinder]스크립트(Groovy) 작성법  (0) 2016.05.21
[nGrinder] 사용법 및 테스트  (0) 2016.05.21
[nGrinder]nGrinder란? & docker 설치 방법  (0) 2016.05.21

+ Random Posts