Микро-потоки работ: сочетание потоков работ и потоковой обработки данных для поддержки цифровых двойников технологических процессов

Амир Басим Абдуламир Алаасам, Глеб Игоревич Радченко, Андрей Николаевич Черных

Аннотация


В последнее время наблюдается взрывной рост в развитии концепции цифровой индустрии. Одним из важнейших элементов этой концепции является применение методов математического моделирования и интеллектуального анализа данных для создания моделей производственных процессов и конечной продукции, базирующихся на обработке сигналов, поступающих с интеллектуальных сенсоров. Совокупность таких моделей, представляющих собой виртуальное представление промышленных процессов, систем и оборудования называют цифровыми двойниками. Цифровые двойники используют данные, получаемые от сенсоров, установленных на производственных линиях или на базе конечной продукции, для прогнозирования сбоев в работе оборудования, оптимизации качества продукции и сокращения негативного воздействия производственных процессов на окружающую среду. Комплексы моделей, лежащие в основе цифровых двойников, могут быть описаны в виде вычислительных потоков работ (Workflow), состоящих из набора вычислительных сервисов, каждый из которых представляет собой модель одного из этапов технологического процесса. Для организации гибкой поддержки облачных вычислений для выполнения цифровых двойников, мы предлагаем концепцию микро-потоков работ (Micro-Workflows), которая сочетает в себе мощность концепции научных потоков работ (Scientific Workflows), гибкость контейнерных технологий и устойчивость подхода потоковой обработки данных (Stream Processing) в распределенных вычислительных системах.


Ключевые слова


цифровые двойники; микросервисы; контейнеризация; микро-потоки работ; Kafka; Kepler

Полный текст:

PDF

Литература


Al-Jarrah O.Y. et al. Efficient Machine Learning for Big Data: A Review. Big Data Res. 2015. vol. 2, no. 3. pp. 87–93. DOI: 10.1016/j.bdr.2015.04.001.

Alaasam A.B.A. et al. Scientific Micro-Workflows : Where Event-Driven Approach Meets Workflows to Support Digital Twins. Proc. Int. Conf. Russ. Supercomput. Days, RuSCDays’18 (Moscow, Russia, September, 24–25, 2018). MSU. 2018. vol. 1. pp. 489–495.

Altintas I. et al. Kepler: an extensible system for design and execution of scientific workflows. Proceedings of the 16th International Conference on Scientific and Statistical Database Management, 2004. vol. I. pp. 423–424. DOI: 10.1109/SSDM.2004.1311241.

Boettiger C. An introduction to Docker for reproducible research. ACM SIGOPS Oper. Syst. Rev. 2015. vol. 49, no. 1. pp. 71–79. DOI: 10.1145/2723872.2723882.

Borodulin K. et al. Towards Digital Twins Cloud Platform : Microservices and Computational Workflows to Rule a Smart Factory. Proc. The 10th Int. Conf. Util. Cloud Comput., UCC ’17 (Austin, Texas, USA, December, 5–8, 2017). pp. 209–210. DOI: 10.1145/3147213.3149234.

Bryner M. Smart manufacturing: The next revolution. Chem. Eng. Prog. 2012. vol. 108, no. 10. pp. 4–12.

Carvalho O., Roloff E., Navaux P.O.A. A Distributed Stream Processing based Architecture for IoT Smart Grids Monitoring. Companion Proc. 10th Int. Conf. Util. Cloud Comput. (Austin, Texas, USA, December, 5–8, 2017). New York, NY, USA: ACM Press, 2017. pp. 9–14. DOI: 10.1145/3147234.3148105.

Davis J. et al. Smart manufacturing, manufacturing intelligence and demand-dynamic performance. Comput. Chem. Eng. 2012. vol. 47. pp. 145–156. DOI: 10.1016/j.compchemeng.2012.06.037.

Deelman E. et al. Pegasus, a workflow management system for science automation. Futur. Gener. Comput. Syst. 2015. vol. 46. pp. 17–35. DOI: 10.1016/j.future.2014.10.008.

Fahringer T. et al. ASKALON: a Grid application development and computing environment. 6th IEEE/ACM Int. Work. Grid Comput. 2005. pp. 10. DOI: 10.1109/GRID.2005.1542733.

Filgueira R. et al. IoT-Hub: New IoT data-platform for Virtual Research Environments. 10th Int. Work. Sci. Gateways, IWSG 2018. 2018. pp. 13–15.

Filguiera R. et al. Dispel4py: A Python framework for data-intensive scientific computing. Int. J. High Perform. Comput. Appl. 2017. vol. 31, no. 4. pp. 316–334. DOI: 10.1177/1094342016649766.

Foster I.T., Gannon D.B. Cloud Computing for Science and Engineering. MIT Press, 2017. 392 p.

Glaessgen E.H., Stargel D.S. The Digital Twin Paradigm for Future NASA and U.S. Air Force Vehicles. 53rd AIAA/ASME/ASCE/AHS/ASC Struct. Struct. Dyn. Mater. Conf. 20th AIAA/ASME/AHS Adapt. Struct. Conf. 14th AIAA. Reston, Virigina: American Institute of Aeronautics and Astronautics, 2012. pp. 1–14. DOI: 10.2514/6.2012-1818.

Hirales-Carbajal A. et al. A Grid simulation framework to study advance scheduling strategies for complex workflow applications. 2010 IEEE Int. Symp. Parallel Distrib. Process. Work. Phd Forum. IEEE, 2010. pp. 1–8. DOI: 10.1109/IPDPSW.2010.5470918.

Hirales-Carbajal A. et al. Multiple Workflow Scheduling Strategies with User Run Time Estimates on a Grid. J. Grid Comput. 2012. vol. 10, no. 2. pp. 325–346. DOI: 10.1007/s10723-012-9215-6.

Huber N. et al. Evaluating and Modeling Virtualization Performance Overhead for Cloud Environments. Proc. 1st Int. Conf. Cloud Comput. Serv. Sci. Noordwijkerhout, The Netherlands: SciTePress - Science and and Technology Publications, 2011. pp. 563–573.

Korambath P. et al. A smart manufacturing use case: Furnace temperature balancing in steam methane reforming process via kepler workflows. Procedia Comput. Sci. Elsevier Masson SAS, 2016. vol. 80. pp. 680–689. DOI: 10.1016/j.procs.2016.05.357.

Kostenetskiy P.S., Safonov A.Y. SUSU Supercomputer Resources. Proc. 10th Annu. Int. Sci. Conf. Parallel Comput. Technol., PCT 2016 (Arkhangelsk, Russia, March, 29–31, 2016). CEUR Workshop Proceedings, 2016. vol. 1576. pp. 561–573.

Lee J., Bagheri B., Kao H.A. A Cyber-Physical Systems architecture for Industry 4.0-based manufacturing systems. Manuf. Lett. 2015. vol. 3. pp. 18–23. DOI: 10.1016/j.mfglet.2014.12.001.

Lewis J., Fowler M. Microservices. Available at: http://martinfowler.com/articles/microservices.html (accessed: 08.11.2019).

Li S., Xu L. Da, Zhao S. The internet of things: a survey . Inf. Syst. Front. 2015. vol. 17, no. 2. pp. 243–259. DOI: 10.1007/s10796-014-9492-7.

Perera C. et al. Sensing as a service model for smart cities supported by Internet of Things. Trans. Emerg. Telecommun. Technol. 2014. vol. 25, no. 1. pp. 81–93. DOI: 10.1002/ett.2704.

Radchenko G., Alaasam A., Tchernykh A. Micro-Workflows: Kafka and Kepler Fusion to Support Digital Twins of Industrial Processes. 2018 IEEE/ACM Int. Conf. Util. Cloud Comput. Companion, UCC Companion. 2018. pp. 83–88.

Radchenko G., Hudyakova E. A service-oriented approach of integration of computer-aided engineering systems in distributed computing environments. UNICORE Summit 2012, Proc. 2012. vol. 15. pp. 57–66. DOI: 10.1109/UCC-Companion.2018.00039.

Rahman M. et al. Adaptive workflow scheduling for dynamic grid and cloud computing environment. Concurr. Comput. Pract. Exp. 2013. vol. 25, no. 13. pp. 1816–1842. DOI: 10.1002/cpe.3003.

Sinha N., Pujitha K.E., Alex J.S.R. Xively based sensing and monitoring system for IoT. 2015 Int. Conf. Comput. Commun. Informatics, ICCCI 2015. 2015. pp. 1–6. DOI: 10.1109/ICCCI.2015.7218144.

Soldatos J. et al. OpenIoT: Open source internet-of-things in the cloud. Lect. Notes Comput. Sci. 2015. vol. 9001. pp. 13–25. DOI: 10.1007/978-3-319-16546-2_3.

Tao F. et al. Digital twin-driven product design, manufacturing and service with big data. Int. J. Adv. Manuf. Technol. 2017. vol. 94, no. 9–12. pp. 3563–3576. DOI: 10.1007/s00170-017-0233-1.

Taylor I. et al. Workflows for e-Science. Springer London, 2007. 523 p.

Tuegel E.J. et al. Reengineering aircraft structural life prediction using a digital twin. Int. J. Aerosp. Eng. 2011. pp. 1–14. DOI: 10.1155/2011/154798.

Xavier M.G. et al. Performance Evaluation of Container-Based Virtualization for High Performance Computing Environments. 2013 21st Euromicro Int. Conf. Parallel, Distrib. Network-Based Process. Belfast, UK: IEEE, 2013. pp. 233–240. DOI: 10.1109/PDP.2013.41.

Savchenko D.I., Radchenko G. Testing methodology for microservice cloud applications. Supercomputer Days in Russia Proceedings of the International Conference. Moscow: Moscow State University, 2015. pp. 245–256. (in Russian)




DOI: http://dx.doi.org/10.14529/cmse190407