Ускоряем Graphite-web

Я уже писал про graphite, я все еще считаю, что для time series нет ничего лучше. А так как начиная с версии 1.1 поддерживает теги, использовать его стало еще удобнее.
Однако, в go-реализации graphite еще не реализована поддержка функций извлечения данных по тегам, например таких, как seriesByTag или groupByTags. Поэтому, чтобы использовать 100% возможностей graphite, на текущий момент необходимо использовать graphite-web. Далее небольшая заметка о том, как повысить производительность в 2-3 раза без каких-либо значимых усилий.

Установка

Как вы уже могли догадаться, ускорение будет обеспечиваться за счет PyPy. PyPy — это альтернативная реализация языка , которая включает в себя JIT-компилятор для трансляции кода в машинные инструкции во время исполнения программы. Как раз за счет JIT-компилятора обычно и обеспечивается прирост производительности.
На момент написания даннной заметки актуальная версия PyPy 6.0 (соответсвует python 3.5.3). Установка PyPy на актуальные версии linux не составляет труда и сводится к скачиванию архива с прекомпилированными бинарниками:

$ wget https://bitbucket.org/pypy/pypy/downloads/pypy3-v6.0.0-linux64.tar.bz2 $ tar -C /opt -xf pypy3-v6.0.0-linux64.tar.bz2 $ export PATH=$PATH:/opt/pypy3-v6.0.0-linux64/bin $ pypy3 -m ensurepip $ pip3.5 install --upgrade pip 

Установка gunicorn и graphite-web

Для запуска graphite-web используем gunicorn+nginx. Будем считать, что nginx уже установлен и настроен, установим оставшееся:

$ pip3.5 install gunicorn gevent $ pip3.5 install https://github.com/graphite-project/graphite-web/tarball/1.1.3 \ --install-option="--prefix=/opt/graphite" --install-option="--install-lib=/opt/graphite/webapp" 

Если у вас все прошло без ошибок, наслаждаемся жизнью и следуем инструкции далее. Если же во время установки scandir произошла ошибка, фикс можно взять из PR #102.

После установки graphite-web его необходим сконфигурировать. Например, в моем случае, при интеграции с graphite-clickhouse конфигурация выглядит следующим образом:

 ALLOWED_HOSTS = [ '*' ] TIME_ZONE = 'Europe/Moscow' LOG_ROTATION = True LOG_ROTATION_COUNT = 1 FIND_TIMEOUT = 10.0 FETCH_TIMEOUT = 60.0 STORAGE_FINDERS = ( 'graphite.finders.remote.RemoteFinder', ) CLUSTER_SERVERS = ["127.0.0.1:9090"] USE_WORKER_POOL = True POOL_MAX_WORKERS = 4 REMOTE_RETRY_DELAY = 0.0 REMOTE_EXCLUDE_LOCAL = False REMOTE_BUFFER_SIZE = 1024 * 1024 * 16 

Далее потребуется создать systemd unit:

 $ cat > /etc/systemd/system/graphite-web.service <<EOF [Unit] Description=graphite-web daemon [Service] Environment=PYTHONPATH=/opt/graphite/webapp/ Type=simple WorkingDirectory=/opt/graphite/conf ExecStart=/opt/pypy3-v6.0.0-linux64/bin/gunicorn -w 4 -k gevent \ --max-requests 10000 --bind unix:/run/.graphite-web.sock \ --user graphite --group nginx --chdir /opt/graphite/conf graphite.wsgi:application Restart=always [Install] WantedBy=multi-user.target EOF 

Вот и все. Запускаем сервис

$ systemctl enable graphite-web.service $ systemctl start graphite-web.service 

Оставьте комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *