Об использовании федеральной научной телекоммуникационной инфраструктуры для суперкомпьютерных вычислений

Геннадий Иванович Савин, Борис Михайлович Шабанов, Антон Викторович Баранов, Алексей Павлович Овсянников, Андрей Андреевич Гончар

Аннотация


Статья посвящена перспективам развития научной телекоммуникационной инфраструктуры на базе национальной исследовательской компьютерной сети нового поколения (НИКС), образованной путем интеграции ведомственных научно-образовательных сетей RUNNet и RASNet. Показаны возможности новой сети для объединения и организации взаимодействия суперкомпьютерных ресурсов и обеспечения безбарьерного доступа к ним. На основе обобщенного мирового опыта показано, что суперкомпьютерные инфраструктуры предъявляют специальные требования к телекоммуникационной сети по передаче данных и наличию ряда дополнительных сервисов. Эти требования выходят далеко за рамки услуг коммерческих операторов связи и, как правило, могут быть удовлетворены только объединенными усилиями национальных научно-образовательных сетей.Рассмотрены ключевые элементы федеральной телекоммуникационной инфраструктуры, необходимые для объединения высокопроизводительных вычислительных ресурсов: высокопроизводительные каналы связи с заданным качеством обслуживания, их автоматическое выделение по требованию и по расписанию, доверенная сетевая среда, федеративная аутентификация и авторизация, обеспечение надежности и безопасности, сквозной мониторинг пути передачи данных между конечными пользователями. На основе анализа жизненного цикла суперкомпьютерного задания, мигрирующего в сети суперкомпьютерных центров коллективного пользования (СКЦ), сформулированы требования к телекоммуникационной инфраструктуре НИКС и сервисам на ее основе со стороны распределенной сети СКЦ.

Ключевые слова


национальная сеть науки и образования; суперкомпьютерный центр; центр коллективного пользования; распределенные вычисления; телекоммуникационная инфраструктура

Полный текст:

PDF

Литература


Fortov V.Е., Savin G.I., Levin V.K., Zabrodin A.V., Shabanov B.M. Creation and application of a high-performance computing system based on high-speed network technologies. Journal of Information Technologies and Computing. 2002. no. 1. P. 3. (in Russian)

Deutschen Forschungsnetz. Available at: https://www.dfn.de/ (accessed: 21.08.2019).

CANARIE. Available at: https://www.canarie.ca/ (accessed: 21.08.2019).

Internet2. Available at: https://www.internet2.edu/ (accessed: 21.08.2019).

SURFnet. Available at: https://www.surf.nl/en (accessed: 21.08.2019).

AARNET. Available at: https://www.aarnet.edu.au/ (accessed: 21.08.2019).

China Educational and Research Network. Available at: http://www.edu.cn/english/ (accessed: 21.08.2019).

NORDUnet. Nordic gateway for Research and Education. Available at: https://www.nordu.net/ (accessed: 21.08.2019).

G´EANT. Available at: https://www.geant.org/ (accessed: 21.08.2019).

Asi@Connect. Available at: http://www.tein.asia (accessed: 21.08.2019).

Asia Pacific Advanced Network. Available at: https://apan.net/ (accessed: 21.08.2019).

RedCLARA. Latin American Cooperation of Advanced Networks. Available at: https://www.redclara.net/ (accessed: 21.08.2019).

AfricaConnect2. Available at: https://www.africaconnect2.net/ (accessed: 21.08.2019).

Catlett C. The philosophy of TeraGrid: building an open, extensible, distributed TeraScale facility. Cluster Computing and the Grid 2nd IEEE/ACM International Symposium (CCGRID 2002). 2002. DOI: 10.1109/CCGRID.2002.1017101.

XSEDE — The Extreme Science and Engineering Discovery Environment. Available at: https://www.xsede.org/ (accessed: 21.08.2019).

Bassini S., Cavazonni C., Gheller C. European actions for High-Performance Computing: PRACE, DEISA and HPC-Europa. Il Nuovo Cimento C. 2009. Vol. 32. P. 93–97.

PRACE — Partnetship for Advanced Computing in Europe. Available at: http://www.prace-ri.eu/ (accessed: 21.08.2019).

Matsuoka S., Shimojo S., Aoyagi M., Sekiguchi S., Usami H., Miura K. Japanese Computational Grid Research Project: NAREGI. Proceedings of the IEEE. 2005. Vol. 93, no. 3. P. 522–533. DOI: 10.1109/JPROC.2004.842748.

PRACE: Europe’s supercomputing infrastructure relies on G´EANT. Available at: https://impact.geant.org/portfolio/prace/ (accessed: 21.08.2019).

MD-VPN Product Description. Available at: https://wiki.geant.org/display/PLMTES/MD-VPN+Product+Description (accessed: 21.08.2019).

XSEDE System Requirements Specification v3.1. Available at: http://hdl.handle.net/2142/45102 (accessed: 21.08.2019).

Shabanov B., Ovsiannikov A., Baranov A., Leshchev S., Dolgov B., Derbyshev D. The distributed network of the supercomputer centers for collaborative research. Program systems: Theory and applications. 2017. no. 8:4(35). P. 245–262. (in Russian) DOI: 10.25209/2079-3316-2017-8-4-245-262.

Shabanov B.M., Telegin P.N., Ovsyannikov A.P., Baranov A.V., Tikhomirov A.I., Lyakhovets D.S. The Jobs Management System for the Distributed Network of the Supercomputer Centers. The Proceeding of the Scientific Research Institute for System Analysis of the Russian Academy of Sciences. 2018. Vol. 8, no. 6. P. 65–73. (in Russian) DOI: 10.25682/NIISI.2018.6.0009.

Baranov A.V., Tikhomirov A.I. Methods and Tools for Organizing the Global Job Queue in the Geographically Distributed Computing System. Bulletin of the South Ural State University. Series: Computational Mathematics and Software Engineering. 2017. Vol. 6, no. 4. P. 28–42. (in Russian) DOI: 10.14529/cmse170403.

Shabanov B.M., Telegin P.N., Baranov A.V., Semenov D.V., Chuvaev A.V. Dynamic Configurator for Virtual Distributed Computing Environment. Software Journal: Theory and Applications. 2017. no. 4. (in Russian) DOI: 10.15827/2311-6749.25.272.

Baranov A.V., Savin G.I., Shabanov B.M. et al. Methods of Jobs Containerization for Supercomputer Workload Managers. Lobachevskii Journal of Mathematics. 2019. Vol. 40, no. 5. P. 525–534. DOI: 10.1134/S1995080219050020.

Shabanov B.M., Samovarov O.I. Building the Software Defined Data Center. Proceedings of the Institute for System Programming. 2018. Vol. 30, no. 6. P. 7–24. (in Russian) DOI: 10.15514/ISPRAS-2018-30(6)-1.

Baranov A., Telegin P., Tikhomirov A. Comparison of Auction Methods for Job Scheduling with Absolute Priorities. In: Malyshkin V. (eds) Parallel Computing Technologies (PaCT 2017). Lecture Notes in Computer Science. 2017. Vol. 10421. P. 387–395. DOI: 10.1007/978-3-319-62932-2_37.

Ovsyannikov A.P., Savin G.I., Shabanov B.M. Identity federation of the research and educational networks. Software & Systems. 2012. no. 4. P. 3–7. (in Russian)

Baranov A.V., Shabanov B.M., Ovsyannikov A.P. Federative Identity for the Distributed Infrastructure of the Supercomputer Centers. The Proceeding of the Scientific Research Institute for System Analysis of the Russian Academy of Sciences. 2018. Vol. 8, no. 6. P. 79–83. (in Russian) DOI: 10.25682/NIISI.2018.6.0011.

Koulouzis S., Belloum A., Bubak M., Lamata P., Nolte D., Vasyunin D., de Laat C. Distributed Data Management Service for VPH Applications. IEEE Internet Computing. 2016. Vol. 20, no. 2. P. 34–41. DOI: 10.1109/MIC.2015.71.

Kapadia A., Varma S., Rajana K. Implementing Cloud Storage with OpenStack Swift. Packt Publishing, 2014. 105 p.

Jones M. Anatomy of a cloud storage infrastructure. Models, features, and internals. 2010. Available at: https://developer.ibm.com/articles/cl-cloudstorage/ (accessed: 21.08.2019).

Baranov A.V., Derbyshev D.Yu., Dolgov B.V., Leshchev S.A., Ovsyannikov A.P., Shabanov B.M., Vershinin D.V. Effective usage of the link between geographically distributed supercomputer centers. The Proceeding of the Scientific Research Institute for System Analysis of the Russian Academy of Sciences. 2017. Vol. 7, no. 4. P. 137–142. (in Russian)

Hanemann A. et al. PerfSONAR: A Service Oriented Architecture for Multi-domain Network Monitoring. Lecture Notes in Computer Science. 2005. Vol. 3826. P. 241–254. DOI: 10.1007/11596141_19.




DOI: http://dx.doi.org/10.14529/cmse200102