Эффективный запуск гибридных параллельных задач в ГРИДе

Александр Павлович Крюков, Маргарита Михайловна Степанова, Николай Валерьевич Приходько, Лев Витальевич Шамардин, Андрей Павлович Демичев

Аннотация


В работе рассматривается способ эффективного запуска в гриде гибридных задач, сов-местно использующих технологии MPI и OpenMP. Для гибкого управления параметрами запуска параллельных задач на суперкомпьютерных (СК) ресурсах была расширена спецификация языка описания задач. Поддержка новых атрибутов реализована для всех ключевых компонентов инфраструктуры. Взаимодействие веб-сервиса запуска с локальным менеджером ресурсов организовано через специальные обработчики разных типов заданий (single, openmp, mpi или hybrid), что обеспечивает передачу локальному менеджеру СК правильных параметров для резервирования ресурсов и запуска задачи. Представленное решение было опробовано на грид-полигоне, развернутом на базе промежуточного ПО ГридННС.

Ключевые слова


параллельные вычисления; распределенные вычисления; грид; гибридные задачи

Полный текст:

PDF

Литература


Stepanova, M.M. Running Parallel Jobs on the Grid / M.M. Stepanova, O.L. Stesik // Distributed Computing and Grid Technologies in Science and Education: Proceedings of the 5th International Conference (Dubna, 16-21 July, 2012). – Dubna: JINR, 2012. –

P. 383–387.

Ильин, В.А. ГридННС: состояние и перспективы / В.А.Ильин, В.В. Кореньков, А.П. Крюков // Труды 5-й международной конференции «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна, 16-21 июля, 2012 г.). –

Дубна: ОИЯИ, 2012. – С. 332–336.

Burke, S. gLite 3.2 User Guide. – Manual Series. – CERN-LCG-GDEIS-722398. – 2012./S. Burke, S. Campana, E. Lanciotti, et al. URL:

http://edms.cern.ch/document/722398 (дата обращения: 03.04.2013).

MPI-Start / URL: http://grid.ifca.es/wiki/Middleware/MpiStart (дата обращения: 22.02.2013).

Extended Resource Specification Language. – Reference Manual for ARC versions 0.8 and above. – NORDUGRID_MANUAL-4. – 2013 / URL:

http://www.nordugrid./documents/arc-ui.pdf (дата обращения: 03.04.2013).

MPI: A Message-Passing Interface Standard. Version 2.2. – 2009 / URL:

http://www.mpi-forum.org/docs/mpi-2.2/mpi22-report.pdf (дата обращения: 22.02.2013).

OpenMP Application Program Interface. Version 3.1. – 2011 / URL: http://www.openmp.org/mp-documents/OpenMP3.1.pdf (дата обращения:

02.2013).

Makris, I. Mixed Mode Programming on Clustered SMP Systems / I. Makris – M.Sc.Thesis in High Performance Computing. The University of Edinburgh, 2005.– 108 p.

Rabenseifner, R. Hybrid MPI/OpenMP parallel programming on clusters of multi-core SMP nodes / R. Rabenseifner, G. Hager, G. Jost // Proceedings of 17th Euromicro In ternational Conference on Parallel, Distributed, and Network-Based Processing.– Nov.

– P. 427–236.

Rane, A. Experiences in tuning performance of hybrid MPI/OpenMP applications on quad-core systems / A. Rane, D. Stanzione // Proceedings of 10th LCI International Conference on High-Performance Clustered Computing – Jan. 2009. – P. 1–10.

Глазкова, Е.А. Анализ эффективности гибридного параллельного программирования на примере системы BLUE GENE/P / Е.А. Глазкова,Н.Н. Попова // Материалы Всероссийской научной конференции «Научный сервис в сети ИНТЕРНЕТ»

(Новороссийск, 21–26 сентября 2009 г.). – Москва: Издательство Московского университета, 2009. – С. 36–39.

Balaji, P. MPI Forum Hybrid Programming Working Group / P. Balaji. URL:

http://meetings.mpi-forum.org/mpi3.0 hybrid.php (дата обращения: 22.02.2013).

Основные подходы к построению грид-инфраструктуры национальной нанотехнологической сети / А.П. Крюков, А.П. Демичев, В.А. Ильин, Л.В. Шамардин // Вычислительные технологии в естественных науках. Перспективные компьютерные си-

стемы: устройства, методы и концепции: Труды семинара (Таруса, 24 марта 2011). – Москва: Издательство ИКИ РАН, 2011. – C. 51–68.

Реализация программного интерфейса грид-сервиса Pilot на основе архитектурного стиля REST / А.П. Демичев, В.А. Ильин, А.П. Крюков,Л.В. Шамардин // Вычислительные методы и программирование. Новые вычислительные технологии. – 2010. – Т. 11. – С. 62–65.




DOI: http://dx.doi.org/10.14529/cmse130302