В.В.Галактионов, Т.М.Голоскокова, Н.И.Громова, А.В.Гусев, В.В.Мицын, Ж.Ж.Мусульманбеков, И.К.Некрасова, В.Д.Позе, А.В.Сергеев, Е.А.Тихоненко
РУКОВОДСТВО ДЛЯ ПОЛЬЗОВАТЕЛЕЙ LINUX КЛАСТЕРА ЛИТ ОИЯИ
Дубна 2004
От редактора
1 Структура Linux кластера и базовое программное обеспечение
1.1 Интерактивный кластер
1.2 Вычислительные фермы
1.3 Серверы дискового пространства
1.4 Вспомогательные серверы
1.5 Базовое программное обеспечение

2 Начальные рекомендации пользователям
2.1 Как стать пользователем
2.2 Ваша "учетная запись" (account) и пароль
2.3 Безопасность
2.4 Пакетная обработка счетных задач
2.5 Дисковое пространство для пользователей
2.6 AFS и пользовательские файлы и каталоги
2.7 Электронная почта
2.8 Русификация

3 Файловая система AFS

4 Рекомендации для пользователей параллельного вычислительного кластера
4.1 Использование команды qsub
4.2 Описание параметров
4.3 Контроль над исполнением задачи
4.4 Результаты выполнения задачи в пакетной обработке

5 Перечень и краткое описание основных команд при работе в операционной системе Linux
5.1 Простейшие действия
5.2 Стандартные команды. Информация по системе команд
5.3 Работа с сетью
5.4 Некоторые команды администрирования
5.5 Контроль процессов
5.6 Встроенные в Linux программные утилиты и языки

6 Midnight Commander

7 Рекомендуемые редакторы
7.1 Текстовый редактор pico
7.2 Краткое описание редактора vi/vim

8 Некоторые средства разработки программ
8.1 Текущие версии компиляторов C и g77
8.2 Редактор связей ld
8.3 Команды ar, ranlib, nm, ldd, strings
8.4 Утилита gprof
8.5 Отладчики GDB, DDD

9 Графические пакеты на Linux кластере
9.1 ImageMagick. Просмотр и обработка изображений
9.2 Chimera
9.3 Системы визуализации массивов числовой информации (научных данных)
Grace
IRIS Explorer
OpenDX (Data Explorer)

10 СУБД MySQL
10.1 Регистрация пользователей и создание базы данных
10.2 Соединение с сервером MySQL
10.3 Примеры работы с MySQL
10.4 Основные команды
10.5 Подключение к базе данных MySQL с использованием PHP

11 Изменения в работе с PHP-программами

12 Сведения об информационном сервере linux4u

13 Литература о Linux на русском языке

14 Сравнительное сопоставление прикладных пакетов в Windows и Linux

файлы для печати:
(.doc) (.zip)


На главную

November 25, 11:50:31

 

chapter_1

1 Структура Linux кластера и базовое программное обеспечение


Базовый Linux кластер состоит из следующих аппаратно-программных компонент:

  • интерактивный кластер
  • несколько вычислительных ферм
  • серверы дискового пространства
  • вспомогательные серверы


Вся аппаратная составляющая основана на процессорах Intel класса Pentium-III/IV или AMD Atlon. На всех машинах, доступных пользователям, установлена ОС Linux. Как правило, установлен дистрибутив, совпадающий с тем, что используется в CERN. На всех машинах, доступных пользователям, поддерживается идентичное программное окружение. Это означает, что программа, скомпилированная и отлаженная на интерактивном кластере, будет работать точно так же и на любой из машин вычислительных ферм.


1.1 Интерактивный кластер


Интерактивный кластер является основным и единственным местом для всей интерактивной деятельности пользователей: разработка и отладка программ; работа с текстами в различных форматах; выход в Интернет и т. п. Для равномерного распределения загрузки по всем машинам интерактивного кластера, ему присвоено виртуальное имя cv.jinr.ru. Реальные имена машин: lxpub01 - lxpub03
Пользователям запрещено запускать на этих машинах программы, непрерывное время работы которых превышает 30 минут. Такие программы будут "убиты" автоматически, с отсылкой e-mail сообщения пользователю.


1.2 Вычислительные фермы


В настоящий момент в состав Linux кластера входит три вычислительные фермы:

  • ферма общего назначения
  • ферма для экспериментов на Большом адронном коллайдере (БАК или LHC)
  • ферма параллельных вычислений


Вычислительные фермы предназначены для работы счетных задач всех пользователей Linux кластера. Запуск задач на счет, определение конкретной фермы и машины в ней, управление выполнением задачи и отправка результатов пользователю производятся средствами ПО системы пакетной обработки заданий PBS. Интерактивный доступ на вычислительные фермы для пользователя запрещен (закрыт). Однако для отладки счетной задачи можно использовать интерактивный режим запуска PBS.


1.3 Серверы дискового пространства


Машины интерактивного кластера и вычислительных ферм имеют ограниченное дисковое пространство, предназначенное для хранения собственно ОС и некоторых дополнительных утилит, а также временных файлов пользователей с непродолжительным сроком хранения.
Основное дисковое пространство для общего ПО, необходимого для работы пользователей, пространство для хранения домашних каталогов, и области для хранения больших временных файлов обеспечиваются дисковыми серверами Linux кластера. Часть дискового пространства распределено по протоколам AFS, часть - по NFS, однако это скрыто от обычного пользователя и не оказывает влияния на его программы, поскольку на каждой машине все это дисковое пространство выглядит так, как будто это локальные диски этой машины. В то же время, все эти каталоги являются общими как для интерактивного кластера, так и для всех вычислительных ферм. На все дисковые серверы вход для пользователей строго закрыт. Следует заметить, что основная ОС Linux установлена на этих серверах, иначе, чем на интерактивном кластере и вычислительных фермах, и, следовательно, стандартное окружение пользователя там не поддерживается. Дисковые серверы предоставляют пространство для хранения общих программ и утилит.


1.4 Вспомогательные серверы


Ряд вспомогательных серверов поддерживают некоторые функции по обслуживанию работы пользователей на Linux кластере. В их задачу входит предоставление следующих сервисов:

  • e-mail
  • домашние страницы WWW
  • базы данных (MySQL)
  • ftp


Эти сервисы в основном работают "прозрачно" с точки зрения пользователя, то есть, не требуя дополнительных настроек. Часть этих серверов (WWW, ftp, MySQL), обеспечивает поддержку лабораторных (ЛИТ) и институтских сервисов. Часть (mail) предназначена в основном для обслуживания нужд пользователей Linux кластера.


1.5 Базовое программное обеспечение


На Linux кластере установлен дистрибутив, совпадающий с основным дистрибутивом Linux в CERN. В настоящее время - это CERN Linux 7.3.4. В ближайшем будущем планируется переход на новый дистрибутив - Scientific Linux CERN3 (SLC3).
Основные средства и утилиты поддержки работы пользователей:

  • графическая оболочка XFree86
  • поддержка "рабочего стола" Gnome и KDE
  • компиляторы C, C++, Fortran 77
  • текстовые редакторы vi/vim, emacs и другие
  • отладчики
  • утилиты работы с Интернет: mozilla, netscape, lynx, pine, ssh, ftp и т.п.
  • пакеты для работы с графическими изображениями: ImageMagic, grace и т.п.
  • SQL клиенты для работы с базами данных MySQL
  • часть репозитория ASIS (CERN), включая CERNlib и дополнительные компиляторы
  • компиляторы фирмы Intel - C, C++, Fotran 90
  • система пакетной обработки заданий PBS (batch) и многое другое.


В задачу данного руководства не входит полное описание дистрибутива Linux и сопутствующего ПО. Заметим только, что практически все ПО устанавливалось стандартными средствами ОС - rpm (Red Hat Package Manager). Пользователь может получить представление о его составе командой:

rpm -qa | less

и посмотреть описание каждого пакета из списка, который он получит по предыдущей команде:

rpm -qi <имя_пакета>

Использование команды:

man -k <ключевое_слово>

довольно часто помогает найти утилиту для выполнения kapasswd (не passwd!), нужного действия, или получить нужные сведения о свойствах ОС.