Запуск задач на кластері з використанням грід-мережі

Перед тим як запускати задачі в грід-мережі необхідно отримати сертифікат користувача Українського національного гріду (https://ca.ugrid.org/index.php) та бути учасником віртуальної організації https://voms.grid.org.ua/voms/?globop=listvos. Кластером ІППММ підтримується три віртуальні організації: UAtest, Multiscale та virgo.ua.

Після отримання сертифікату, його потрібно помістити в директорію .globus (для UNIX-систем). Якщо Ви не використовуєте UNIX-систем зверніться до адміністратора грід-сайту.

Далі потрібно імпортувати свій сертифікат, використовуючи команду arcproxy (вона, як і інші необхідні команди, знаходиться в пакеті nordugrid-arc-client-tools). Перевірити, який сертифікат використовується можна за допомогою команди arcproxy -I.

Запуск задачі виконується командою arcsub. Для прикладу, так відбувається запуск задачі test на кластері:

arcsub -c cl.iapmm.lviv.ua test.xrsl

Файл test.xrsl для послідовних задач має вигляд:

&(executable="start.sh")

(inputfiles=

("start.sh" "start.sh")

("test.tar" "test.tar")

(executable="start.sh")

)

(outputfiles=("/" " ")

)

(stdout="out.txt")

(stderr="err.txt")

(jobName="job_name")

(gmlog="gridlog")

(memory="1800")

start.sh — виконавчий скрипт. Наприклад:

#!/bin/sh

tar -xvf test.tar                            #розпакування архіву test.tar

chmod +x test                            #робимо файл test виконавчим

chmod +x file_1                          #робимо файл file_1 виконавчим

./test                                          # запускаємо основний виконавчий файл test

if test $? = 0

then exit 0

else exit 1

fi

Файл test.xrsl для паралельних задач має вигляд::

&(executable="start.sh")

(inputfiles=

("start.sh" "start.sh")

("test.tar" "test.tar")

(executable="start.sh")

)

(outputfiles=("/" " ")

)

(stdout="out.txt")

(stderr="err.txt")

(jobName="job_name")

(gmlog="gridlog")

(memory="1800")

(count="6")

(runtimeenvironment="OPENMPI")

start.sh — виконавчий скрипт, test.tar — архів з усіма необхідними файлами (вхідні дані, скомпільована програма і.т.д.), jobName — назва задачі, memory — об’єм оперативної пам’яті в байтах, яка буде використовуватися, count — к-сть ядер.

start.sh — виконавчий скрипт. Наприклад:

#!/bin/sh

tar -xvf test.tar                            #розпакування архіву test.tar

chmod +x test                            #робимо файл test виконавчим

chmod +x file_1                            #робимо файл file_1 виконавчим

$MPIRUN -np $NSLOTS ./test          # запускаємо основний виконавчий файл test

if test $? = 0

then exit 0

else exit 1

fi

Зауваження !!! Усі файли (test.xrsl, start.sh, test.tar) повинні знаходитися в одній директорії.

Перевірка статусу запущеної задачі:

arcstat -a

Вивід на екран результатів розрахунку:

arccat -a

Завантаження та очищення Вашої задачі (після завершення задачі):

arcget -a

Детальніше про використання команд з пакету nordugrid можна знайти тут.

Корисні посилання

Сайт базового координаційного центру Українського національного гріду:

http://ung.in.ua/ua/

Український національний грід. Програма впровадження та застосування грід-технологій на 2009-2013 роки:

http://grid.nas.gov.ua

Сайт центру сертифікації UGrid CA

https://ca.ugrid.org/index.php

Віртуальні організації Українського національного гріду:

https://voms.grid.org.ua/voms/?globop=listvos

Сайт nordugrid, з монітоингом усіх його учасників:

http://www.nordugrid.org/

http://www.nordugrid.org/monitor/loadmon.php/

Моніторинг Українського національного гріду:

http://grid.org.ua/monitor/

http://gridmon.bitp.kiev.ua

http://lcg.bitp.kiev.ua/

Моніторинг Українського національного гріду, з тестуванням відповідних сервісів:

http://infrastructure.kiev.ua/monitoring/rubrik/2/sub_rubrik/0/

Встановлення програмного забезпечення на грід-сайти та його налаштування:

http://grid.org.ua/wiki/tech/arc1

http://clusterui.bitp.kiev.ua/howto/