В.В.Галактионов, Т.М.Голоскокова, Н.И.Громова, А.В.Гусев, В.В.Мицын, Ж.Ж.Мусульманбеков, И.К.Некрасова, В.Д.Позе, А.В.Сергеев, Е.А.Тихоненко
РУКОВОДСТВО ДЛЯ ПОЛЬЗОВАТЕЛЕЙ LINUX КЛАСТЕРА ЛИТ ОИЯИ
Дубна 2004
От редактора
1 Структура Linux кластера и базовое программное обеспечение
1.1 Интерактивный кластер
1.2 Вычислительные фермы
1.3 Серверы дискового пространства
1.4 Вспомогательные серверы
1.5 Базовое программное обеспечение

2 Начальные рекомендации пользователям
2.1 Как стать пользователем
2.2 Ваша "учетная запись" (account) и пароль
2.3 Безопасность
2.4 Пакетная обработка счетных задач
2.5 Дисковое пространство для пользователей
2.6 AFS и пользовательские файлы и каталоги
2.7 Электронная почта
2.8 Русификация

3 Файловая система AFS

4 Рекомендации для пользователей параллельного вычислительного кластера
4.1 Использование команды qsub
4.2 Описание параметров
4.3 Контроль над исполнением задачи
4.4 Результаты выполнения задачи в пакетной обработке

5 Перечень и краткое описание основных команд при работе в операционной системе Linux
5.1 Простейшие действия
5.2 Стандартные команды. Информация по системе команд
5.3 Работа с сетью
5.4 Некоторые команды администрирования
5.5 Контроль процессов
5.6 Встроенные в Linux программные утилиты и языки

6 Midnight Commander

7 Рекомендуемые редакторы
7.1 Текстовый редактор pico
7.2 Краткое описание редактора vi/vim

8 Некоторые средства разработки программ
8.1 Текущие версии компиляторов C и g77
8.2 Редактор связей ld
8.3 Команды ar, ranlib, nm, ldd, strings
8.4 Утилита gprof
8.5 Отладчики GDB, DDD

9 Графические пакеты на Linux кластере
9.1 ImageMagick. Просмотр и обработка изображений
9.2 Chimera
9.3 Системы визуализации массивов числовой информации (научных данных)
Grace
IRIS Explorer
OpenDX (Data Explorer)

10 СУБД MySQL
10.1 Регистрация пользователей и создание базы данных
10.2 Соединение с сервером MySQL
10.3 Примеры работы с MySQL
10.4 Основные команды
10.5 Подключение к базе данных MySQL с использованием PHP

11 Изменения в работе с PHP-программами

12 Сведения об информационном сервере linux4u

13 Литература о Linux на русском языке

14 Сравнительное сопоставление прикладных пакетов в Windows и Linux

файлы для печати:
(.doc) (.zip)


На главную

March 29, 11:09:44

 

chapter_4

4 Рекомендации для пользователей параллельного вычислительного кластера


Вычислительный кластер для параллельных вычислений на основе коммуникационной среды Myrinet 2000 доступен для пользователей через интерактивные машины, на которых задачи компилируются и отлаживаются. На интерактивных машинах имеются компиляторы: mpiCC, mpicc, mpif77 и mpiF90. После компиляции и процесса отладки задачи направляются в очередь для обработки в пакетном режиме. Для этого используется команда qsub.


4.1 Использование команды qsub


Существует 2 способа использования команды qsub:

1 Создать script-файл для запуска в пакетном режиме; в этом script-файле определяются параметры, необходимые для работы задачи.
Пример командной строки:

qsub pbs_script

Пример содержания файла pbs_script:

#!/bin/sh
#PBS -q para
#PBS -l walltime=10:00:00,nodes=8:para
#PBS -m abe
#PBS -M username@lxpub01
#PBS -r n
mpiexec $PBS_O_WORKDIR/program_name


2 Ввести все параметры в командной строке.

Пример командной строки:

qsub -q para -l walltime=10:00:00,nodes=8:para -m abe -M \
username@lxpub01 -r n mpiexec $PBS_O_WORKDIR/program_name


4.2 Описание параметров


-q - название очереди пакетной обработки (для параллельных вычислений это "para"),

-l - набор технических параметров, набираемых через ",":
walltime - максимальное время выполнения задачи,
nodes - требуемое количество процессоров (после указания количества процессоров после ":" следует указывать название очереди)

-m - события, происходящие в процессе пакетной обработки задачи, о которых следует извещать по e-mail:
b - начало,
e - завершение,
a - прекращение работы по ошибке;

-M - e-mail адрес, на который будут направляться все служебные сообщения о состоянии задачи

-r - (y/n) (т.е. да или нет) следует ли восстанавливать задачу при перезагрузке узлов

$PBS_O_WORKDIR - это переменная окружения при пакетной обработке, которая инициализируется автоматически в процессе пакетной обработки и значение этой переменной окружения есть абсолютный путь к текущему каталогу пользователя, из которого производится запуск задания посредством команды qsub; т.е. если запускаемый исполняемый модуль, например, myprogr, находится в каталоге, из которого производится запуск, то в команде qsub следует ввести $PBS_O_WORKDIR/myprogr


4.3 Контроль над исполнением задачи


После того, как задача была отправлена в очередь, ее состояние можно контролировать с помощью команды qstat, после ввода которой на экране появляется таблица, столбцы которой имеют следующие значения:

Job id - уникальный идентификатор задачи
Name - имя исполняемой задачи
User - имя владельца задачи
Time Use - общее процессорное время, использованное задачей на данный момент
S - состояние задачи
Q - находится в очереди
R - вычисляется
E - произошла ошибка при выполнении
Queue - название очереди, в которой запущена задача


4.4 Результаты выполнения задачи в пакетной обработке


В рабочем каталоге пользователя появляются 2 файла:

Имя_задачи.oИдентификатор - содержит стандартный вывод (stdout),
Имя_задачи.eИдентификатор - содержит сообщения об ошибках (strerr)


Следует не забывать, что после изменения AFS-пароля необходимо также выполнить команду pbspwstore для обеспечения возможности работы с системой пакетной обработки.