Эффективный запуск гибридных параллельных задач в ГРИДе

Александр Павлович Крюков
НИИ ядерной физики имени Д.В. Скобельцына МГУ имени М.В. Ломоносова

Маргарита Михайловна Степанова
Санкт-Петербургский государственный университет

Николай Валерьевич Приходько
Новгородский государственный университет имени Ярослава Мудрого

Лев Витальевич Шамардин
НИИ ядерной физики имени Д.В. Скобельцына МГУ имениМ.В. Ломоносова

Андрей Павлович Демичев
НИИ ядерной физики имени Д.В. Скобельцына МГУ имениМ.В. Ломоносова


Аннотация


В работе рассматривается способ эффективного запуска в гриде гибридных задач, сов-местно использующих технологии MPI и OpenMP. Для гибкого управления параметрами запуска параллельных задач на суперкомпьютерных (СК) ресурсах была расширена спецификация языка описания задач. Поддержка новых атрибутов реализована для всех ключевых компонентов инфраструктуры. Взаимодействие веб-сервиса запуска с локальным менеджером ресурсов организовано через специальные обработчики разных типов заданий (single, openmp, mpi или hybrid), что обеспечивает передачу локальному менеджеру СК правильных параметров для резервирования ресурсов и запуска задачи. Представленное решение было опробовано на грид-полигоне, развернутом на базе промежуточного ПО ГридННС.

Ключевые слова


параллельные вычисления; распределенные вычисления; грид; гибридные задачи

Полный текст:

PDF

Литература


Stepanova, M.M. Running Parallel Jobs on the Grid / M.M. Stepanova, O.L. Stesik // Distributed Computing and Grid Technologies in Science and Education: Proceedings of the 5th International Conference (Dubna, 16-21 July, 2012). – Dubna: JINR, 2012. –

P. 383–387.

Ильин, В.А. ГридННС: состояние и перспективы / В.А.Ильин, В.В. Кореньков, А.П. Крюков // Труды 5-й международной конференции «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна, 16-21 июля, 2012 г.). –

Дубна: ОИЯИ, 2012. – С. 332–336.

Burke, S. gLite 3.2 User Guide. – Manual Series. – CERN-LCG-GDEIS-722398. – 2012./S. Burke, S. Campana, E. Lanciotti, et al. URL:

http://edms.cern.ch/document/722398 (дата обращения: 03.04.2013).

MPI-Start / URL: http://grid.ifca.es/wiki/Middleware/MpiStart (дата обращения: 22.02.2013).

Extended Resource Specification Language. – Reference Manual for ARC versions 0.8 and above. – NORDUGRID_MANUAL-4. – 2013 / URL:

http://www.nordugrid./documents/arc-ui.pdf (дата обращения: 03.04.2013).

MPI: A Message-Passing Interface Standard. Version 2.2. – 2009 / URL:

http://www.mpi-forum.org/docs/mpi-2.2/mpi22-report.pdf (дата обращения: 22.02.2013).

OpenMP Application Program Interface. Version 3.1. – 2011 / URL: http://www.openmp.org/mp-documents/OpenMP3.1.pdf (дата обращения:

02.2013).

Makris, I. Mixed Mode Programming on Clustered SMP Systems / I. Makris – M.Sc.Thesis in High Performance Computing. The University of Edinburgh, 2005.– 108 p.

Rabenseifner, R. Hybrid MPI/OpenMP parallel programming on clusters of multi-core SMP nodes / R. Rabenseifner, G. Hager, G. Jost // Proceedings of 17th Euromicro In ternational Conference on Parallel, Distributed, and Network-Based Processing.– Nov.

– P. 427–236.

Rane, A. Experiences in tuning performance of hybrid MPI/OpenMP applications on quad-core systems / A. Rane, D. Stanzione // Proceedings of 10th LCI International Conference on High-Performance Clustered Computing – Jan. 2009. – P. 1–10.

Глазкова, Е.А. Анализ эффективности гибридного параллельного программирования на примере системы BLUE GENE/P / Е.А. Глазкова,Н.Н. Попова // Материалы Всероссийской научной конференции «Научный сервис в сети ИНТЕРНЕТ»

(Новороссийск, 21–26 сентября 2009 г.). – Москва: Издательство Московского университета, 2009. – С. 36–39.

Balaji, P. MPI Forum Hybrid Programming Working Group / P. Balaji. URL:

http://meetings.mpi-forum.org/mpi3.0 hybrid.php (дата обращения: 22.02.2013).

Основные подходы к построению грид-инфраструктуры национальной нанотехнологической сети / А.П. Крюков, А.П. Демичев, В.А. Ильин, Л.В. Шамардин // Вычислительные технологии в естественных науках. Перспективные компьютерные си-

стемы: устройства, методы и концепции: Труды семинара (Таруса, 24 марта 2011). – Москва: Издательство ИКИ РАН, 2011. – C. 51–68.

Реализация программного интерфейса грид-сервиса Pilot на основе архитектурного стиля REST / А.П. Демичев, В.А. Ильин, А.П. Крюков,Л.В. Шамардин // Вычислительные методы и программирование. Новые вычислительные технологии. – 2010. – Т. 11. – С. 62–65.




DOI: http://dx.doi.org/10.14529/cmse130302