\documentclass[10pt]{cmi}
\usepackage{upgreek}

\begin{document}

\classify{УДК 519.63, 524.3}
\author{И.М. Куликов, И.Г. Черных, Э.И. Воробьев, А.В. Снытников, Д.В. Винс, А.А. Московский, А.Б. Шмелёв, В.А. Протасов, А.А. Серенко, В.Е. Ненашев, В.А. Вшивков, А.С. Родионов, Б.М. Глинский, А.В. Тутуков}

\title{Численное гидродинамическое моделирование астрофизических течений на гибридных суперЭВМ, оснащенных ускорителями Intel Xeon Phi%
\protect\footnote{\noindent Статья рекомендована к публикации программным комитетом Международной научной конференции ''Параллельные вычислительные технологии --- 2016''}%
}

\maketitle{}

% оформление аннотации
\begin{abstract}%
В работе представлены исследования кода AstroPhi для численного моделирования астрофизических течений на гибридных суперЭВМ, оснащенных ускорителями Intel Xeon Phi. Описан со-дизайн вычислительной модели для описания астрофизических объектов. Детально описаны  особенности параллельной реализации и исследования производительности кода AstroPhi. Представлены результаты моделирования взаимодействия межгалактического ветра и дисковой галактики. Для кода AstroPhi было достигнуто 134-кратное ускорение в рамках одного ускорителя Intel Xeon Phi, 75-процентная масштабируемость при использовании 224 ускорителей Intel Xeon Phi. На расчетной сетке $7168 \times 1024 \times 1024$ было достигнуто 47 процентов от пиковой скалярной производительности ускорителя Intel Xeon Phi при использовании 53760 нитей.


\keywords{Высокопроизводительные вычисления, вычислительная астрофизика, ускорители Intel Xeon Phi.}
\end{abstract}

%Верхние колонтитулы
%\markboth{А.Б.~Первый, В.Г.~Второй}{Название статьи с многоточием в случае нехватки горизонтального\ldots}

% Заголовки разделов формируются при помощи команд  \section{}, \subsection{}, \subsubsection{}

\section*{Введение}
\label{sec-intro}
Математическое моделирование играет ключевую роль в современной астрофизике. Оно является универсальным инструментом для исследования нелинейных эволюционных процессов во Вселенной. Одними из важнейших задач, решаемых вычислительной астрофизикой, являются задачи столкновения \cite{Tutukov_2011} и эволюции галактик \cite{Mitchell_2013}, процессы коллапса звезд \cite{Ardeljan_1996}, химокинетические процессы в галактиках \cite{Khoperskov_2013}. При конструировании математической модели следует учитывать достижения современной астрономии. Так актуальным является учет магнитного поля в галактиках, так как его наличие обнаружено в рукавах галактики M51 \cite{Fletcher_2011} и влияет на процесс звездообразования. Таким образом, изучение астрофизических процессов усложняется необходимостью учета большого числа подсеточных физических процессов. Кроме того, состав астрофизических объектов состоит из нескольких ингридиентов, для описания которых используются различные математические модели. Данное обстоятельство усложняет разработку эффективных кодов для исследования астрофизических проблем на суперкомпьютерах.

Для моделирования сложных астрофизических процессов в высоком разрешении необходимо использовать наиболее мощные суперкомпьютеры. Два из Top-3 (четыре из Top-10) суперкомпьютера в ноябрьской версии 2015 года списка Top-500 оснащены графическими ускорителями и ускорителями Intel Xeon Phi. Ожидается, что первый суперкомпьютер экзафлопсной производительности будет построен на основе гибридного подхода. Разработка кодов для гибридных суперкомпьютеров не сугубо техническая задача, а отдельная сложная научная задача, требующая со-дизайна алгоритмов на всех стадиях решения задачи --- от физической постановки до инструментов разработки.

Несмотря на большое число разработанных кодов для решения астрофизических задач \cite{Kulikov_2014} остается большое число нерешенных проблем в области математических моделей, численных методов и программных реализаций для изучения астрофизических течений. Авторским коллективом уже на протяжении нескольких лет развивается гибридный эйлерово-лагранжевый подход для решения астрофизических задач. В настоящей статье будет приведено краткое описание и подробное исследование оригинального кода AstroPhi \cite{Kulikov_2015} для моделирования динамики астрофизических объектов.

В первом разделе будут описаны основные компоненты со-дизайна вычислительной схемы, второй раздел посвящен описанию новой версии кода AstroPhi, которая была основана на работе 2013 года \cite{Kulikov_Chelyabinsk_2013} и представляет собой расширение кода на большее число математических моделей при использовании native режима ускорителя Intel Xeon Phi. В третьем разделе приведены результаты исследования производительности кода, четвертый раздел посвящен вычислительным экспериментам по изучению астрофизических течений на различных масштабах. В заключении приведены основные результаты работы и перспективы дальнейшего развития вычислительной модели.  

Основным отличе

\section{Концепция со-дизайна вычислительной схемы}
\label{sec-feel}
Главный фокус наших исследований направлен на моделирование динамики галактик. Поэтому численная модель астрофизических течений ориентирована в основном на описание компонент галактик и подсеточных процессов. В работе \cite{Glinsky_2015} были исследованы вопросы со-дизайна численных моделей астрофизики и физики плазмы. Расссмотрим основные этапы со-дизайна численных моделей для решения астрофизических проблем.
\begin{enumerate}
	\item Этап формулировки физической задачи. Главными ингридиентами галактик является газовая компонента, которая описывает межзвездный газ и равномерно распределенную пыль, и бесстолкновительная компоненты, которая используется для описания звездной компоненты и темной материи. Основными подсеточными физическими процессами являются процессы звездообразования, эффект от взрыва сверхновых, функции охлаждения и нагревания, а также химические реакции \cite{Vorobyov_2015}.
	\item Этап математической формализации. Для описания газовой компоненты используются уравнения гравитационной газовой динамики, которые расширяются на уравнения односкоростной многокмопнентной гравитационной газовой динамики с эффективным показателем адиабаты в случае учета химических реакций. Для описания бесстолкновительной компоненты используются уравнения для первых моментов бесстолкновительного уравнения Больцмана. Такой подход был исследован и успешно использован для решения задач эволюции \cite{Mitchell_2013,Vorobyov_2015} и столкновения галактик \cite{Kulikov_2014,Chernykh_2015}. Такой способ описания бесстолкновительной компоненты позволяет позволяет сформулировать термодинамически согласованную модель звездообразования и эффекта от взрыва сверхновых. 
	\item Этап построения численного метода решения. Особенностью математической формализации является описание газовой и бесстолкновительной компонент галактик с помощью системы гиперболических уравнений. Таким образом, мы можем сформулировать единый численный метод решения гиперболических уравнений. В следующем разделе численный метод будет описан более подробно. Использование единого численного метода позволяет записать единый параллельный алгоритм. В основе такого алгоритма лежит локальность вычислений, что достаточно эффективно проецируется на современные архитектуры суперкомпьютеров.
	\item Этап выбора структур данных. Используемые структуры данных в случае решения гиперболических уравнений полностью согласуются с выбором расчетных сеток. В оригинальном подходе используются регулярные сетки, что позволяет сформулировать простой подход к организации параллельных вычислений \cite{Vshivkov_2009}. Основным из трендов современного численного решения гиперболических уравнений является технология подвижных сеток. В случае использования регулярных структур данных может быть описана технология комфорных подвижных сеток, которая позволяет эффективно моделировать большое число задач механики сплошной среды. При этом сохраняются параллельные алгоритмы, используемые для вычислений на регулярных сетках. В настоящее время, такая технология подвижных сеток не реализована в коде AstroPhi, но в перспективе такая реализация планируется.
	\item Этап учета архитектуры суперкомпьютера. В наших исследованиях используются гибридные суперкомпьютеры с ускорителями Intel Xeon Phi. Логическая архитектуры такого суперкомпьютера представляется в виде линейки ускорителей, взаимодействующих напрямую (в случае использования native режима) или через CPU (в случае использования offload режима). В рамках одного ускорителя вычисления разбиваются на большое (несколько сотен) нитей. Организация вычислений в оригинальном методе позволяет исключить взаимодействие между нитями в рамках одного ускорителя на основных этапах метода, либо сводить такие вычисления к минимуму. Такое взаимодействие возникает в случае вычисления шага по времени из условия Куранта.
	\item Этап использования средств разработки. Организация вычислений оригинального численного метода и архитектуры используемых суперкомпьютеров позволяют нам ограничиться библиотекой MPI для организации межпроцессных взаимодействий и технологией OpenMP для организации многопоточных вычислений.
\end{enumerate}
В следующем разделе будет подробнее описана реализация каждого этапа.


\section{Код AstroPhi}
\label{sec-look}

Для описания газовой компоненты будем использовать систему уравнений односкоростной многокомпонентной гравитационной газовой динамики, записанную в эйлеровых координатах:
$$
\frac{\partial \rho}{\partial t} + \nabla \cdot (\rho \vec{u}) = \mathcal{S} - \mathcal{D},
$$
$$
\frac{\partial \rho_{i}}{\partial t} + \nabla \cdot (\rho_{i} \vec{u}) = -s_{ij} + \mathcal{S}\frac{\rho_{i}}{\rho} - \mathcal{D}\frac{\rho_{i}}{\rho},
$$
$$
\frac{\partial \rho \vec{u}}{\partial t} + \nabla \cdot (\rho \vec{u} \vec{u}) = - \nabla p - \rho \nabla(\Phi) + \vec{v} \mathcal{S} - \vec{u} \mathcal{D},
$$
$$
\frac{\partial \rho E}{\partial t} + \nabla \cdot (\rho E \vec{u}) = - \nabla \cdot (p\vec{v}) - (\rho \nabla(\Phi),\vec{u}) - \Lambda + \Gamma + \varepsilon \frac{\mathcal{S}}{\rho} - \varepsilon \frac{\mathcal{D}}{\rho},
$$
$$
\frac{\partial \rho \varepsilon}{\partial t} + \nabla \cdot (\rho \epsilon \vec{u}) = - (\gamma - 1)\rho \epsilon \nabla \cdot \vec{u} - \Lambda + \Gamma + \varepsilon \frac{\mathcal{S}}{\rho} - \varepsilon \frac{\mathcal{D}}{\rho},
$$
$$
\rho E = \frac{1}{2} \rho \vec{u}^2 + \rho \varepsilon,
$$
$$
p = (\gamma - 1)\rho \varepsilon,
$$
Для описания бесстолкновительной компоненты будем использовать систему уравнений для первых моментов бесстолкновительного уравнения Больцмана, записанную также в эйлеровых координатах:
$$
\frac{\partial n}{\partial t} + \nabla \cdot (n \vec{v}) = \mathcal{D} - \mathcal{S},
$$
$$
\frac{\partial n \vec{v}}{\partial t} + \nabla \cdot (n \vec{v} \vec{v}) = - \nabla \Pi - n \nabla(\Phi) + \vec{u} \mathcal{D} - \vec{v} \mathcal{S},
$$
$$
\frac{\partial \rho W}{\partial t} + \nabla \cdot (\rho W \vec{v}) = - \nabla \cdot (\Pi \vec{v}) - (n \nabla(\Phi),\vec{v}) + \varepsilon \frac{\mathcal{D}}{\rho} - \varepsilon \frac{\mathcal{S}}{\rho},
$$
$$
\frac{\partial \Pi_{\xi \xi}}{\partial t} + \nabla \cdot (\Pi_{\xi \xi} \vec{v}) = - 2 \Pi \nabla \cdot \vec{u} + \varepsilon \frac{\mathcal{D}}{3 \rho} - \varepsilon \frac{\mathcal{S}}{3 \rho},
$$
$$
\rho W = \frac{1}{2} \rho \vec{v}^2 + \frac{\Pi_{xx} + \Pi_{yy} + \Pi_{zz}}{2},
$$
Уравнение Пуассона для обеих компонент записывается в виде:
$$
\Delta \Phi = 4 \pi G (\rho + n),
$$
где $p$ --- давление газа, $\rho_{i}$ --- плотность $i$ компоненты смеси газа, $s_{ij}$ --- скорость прохождения химических реакций, $\rho = \sum_i{\rho_{i}}$ --- плотность смеси газа, $n$ --- плотность бесстолкновительной компоненты, $\vec{u}$ --- скорость газовой компоненты, $\vec{v}$ --- скорость бесстолкновительной компоненты, $\rho E$ --- плотность полной механической энергии газа, $\rho W$ --- плотность полной механической энергии бесстолкновительной компоненты, $\Phi$ --- гравитационный потенциал, $\varepsilon$ --- плотность внутренней энергии газа, $\gamma$ --- эффективный показатель адиабаты, $\Pi_{\xi \xi} = \left( \Pi_{xx} , \Pi_{yy} , \Pi_{zz} \right)$ --- диагональный тензор дисперсии скоростей бесстолкновительной компоненты, $\mathcal{S}$ --- скорость образования сверхновых звезд, $\mathcal{D}$ --- скорость звездообразования, $\Lambda$ --- функция охлаждения,
$\Gamma$ --- функция нагревания от взрыва сверхновых звезд. Мы не будем вводить подробности описания каждого терма для описания подсеточной физики, так подробности их применения могут быть найдены в работах \cite{Vorobyov_2015,Khoperskov_2013,KulikovBulletin_2015}.

\subsection{Описание численного метода}

Для численного решения уравнений гравитационной газовой динамики был использован оригинальный численный метод, основанный на комбинации метода Годунова, метода разделения операторов и кусочно-параболического метода на локальном шаблоне для обеспечения высокого порядка точности \cite{Ustyugov_2007,Ustyugov_2008}. Система уравнений решается в два этапа: эйлеров, на котором решаются уравнения без адвективных членов, и лагранжев, на котором происходит адвективный перенос гидродинамических величин. На эйлеровом этапе гидродинамические уравнения для обеих компонент записываются в неконсервитивной форме и исключаются адвективные члены. В результате такая система на интерфейсе двух ячеек имеет аналитическое решение, которое используется для записи потоков через интерфейс двух ячеек \cite{Vshivkov_2011}. Для повышения порядка точности используется кусочно-параболический метод на локальном шаблоне (PPML), который состоит в построении локальных парабол внутри ячеек для каждой гидродинамической величины. Главное отличие PPML от классического PPM метода состоит в использовании локального шаблона для вычислений. Это позволяет на этапе параллельной реализации, в основе которой геометрическая декомпозиция расчетной области, использовать только один слой перекрытия подобластей, что упрощает реализацию граничных условий и уменьшает количество пересылок, следовательно способствует росту эффективности параллельной реализации. На лагранжевом этапе используется аналогичный численный подход. На данный момент решение уравнения Пуассона основано на Fast Fourier Transform методе. Это связано с тем, что решение уравнения Пуассона занимает несколько процентов от времени счета, но в дальнейшем мы планируем перейти к итерационным методам решения таким как SOR и CGM. После решения уравнения Пуассона и гидродинамических уравнений происходит корректировка решения overdefinition системы уравнений, для этого используется оригинальная процедура для сохранения полной энергии системы и гарантии неубывания энтропии \cite{Godunov_2014,Vshivkov_2011_2}. В результате разработанный численный метод решения обладает следующими свойствами: высокий порядок точности на гладких решениях и малая диссипация в случае разрывных решений; отсутствие необходимости введения члена искусственной вязкости или ограничителей; инвариантность получаемого численного решения относительно поворота и отсутствие карбункул-эффектов; гарантированное неубывание энтропии; возможность расширения на более сложные гидродинамические модели; простота программной реализации; потенциально бесконечная масштабируемость. Последний пункт нам наиболее важен и основан на том факте, что все вычисления в ячейках происходят независимо, регулярно и на локальном шаблоне. Численный метод был протестирован на следующих задачах:
\begin{enumerate}
	\item одномерные тесты Годунова о распаде разрыва,
	\item одномерный тест Аксенова с непрерывным периодическим решением,
	\item задача Седова о точечном взрыве,
	\item двумерная неустойчивость Релея-Тейлора,
	\item двумерная неустойчивость Кельвина-Гельмгольца,
	\item задача коллапса Эврарда.
\end{enumerate}
Подробное описание численного метода и его верификация приведена в работе \cite{Birds_2016}. Также разработано расширение численного метода на решение МГД уравнений \cite{Kulikov_2015_book}.

\subsection{Декомпозиция расчетной области}

Со-дизайн \cite{Glinsky_2015} физико-математической модели, численного метода и структур данных позволяет использовать геометрическую декомпозицию расчетной области с одним слоем перекрытия подобластей. Такую возможность мы имеем за счет построения парабол на предыдущем шаге, что требует только локального взаимодействия между ячейками. На рисунке ~\ref{percents.eps} приведены процентные соотношения между этапами
%
% FIGURE 1 \label{percents}
%
\fig{scale=0.6}{percents.eps}{Процентное соотношение между этапами в коде AstroPhi}

Для решения уравнения Пуассона, в основе которого быстрое преобразование Фурье для суперЭВМ с распределенной памятью была использована библиотека FFTW \cite{FFTW_2005}. В основе этой библиотеки лежит процедура ALLTOALL, которая ''транспонирует'' трехмерный массив, перераспределяя значительные объемы памяти между всеми процессами. Безусловно, это дорогая сетевая операция, которая требует отказа от всего алгоритма в случае использовании сколь либо значительного количества вычислителей. Однако, эта процедура в случае использования сетевой инфраструктуры InfiniBand не занимает критическое время и, по всей видимости, оптимизирована на низком сетевом уровне \cite{Kalinkin_2009}.

Основными этапами вычислительной схемы являются эйлеров и лагранжев этапы. Мы сосредоточимся именно на этих этапах, как на наиболее затратных. Также вне нашего рассмотрения в плане ускорения останутся процедуры, в которых ''деление'' импульса на функцию плотности и перезапись массивов. В этих процедурах фактически происходит копирование памяти из одной области в другую, в дальнейшем мы также рассмотрим эти операции отдельно с точки зрения обобщенной функции MEMCPY. 

Отдельно остановимся на процедуре вычисления шага по времени, исходя из условия Куранта. В случае использования графических ускорителей данная процедура была реализована только на CPU \cite{Kulikov_2014} (также было сделано и в коде GAMER \cite{Schive_2010}). Причина этого --- отсутствие эффективной реализации редуцирующей операцией $min$ в технологии CUDA. В то время как в OpenMP такая операция эффективно реализована. Стоимость этой процедуры составляет порядка одного процента от общего времени вычислений и практически не влияет на эффективность параллельной реализации. Однако, при увеличении количества графических ядер до нескольких тысяч и стократного ускорения в рамках одного графического процессора суммарно всех остальных процедур, может возникнуть курьезная ситуация, когда процедура вычисления шага по времени будет выполняться дольше всех остальных. При том, что авторами уже было достигнуто 55-кратное ускорение в рамках одного GPU \cite{Kulikov_2014} и количество графических ядер в одном ускорителе увеличивается, то такая ситуация может быть достигнута в ближайшие пару лет. Стоит отметить, что такая проблема в принципе невозможна на ускорителях Intel Xeon Phi. 

Использование равномерной сетки в декартовых координатах для решения уравнений гидродинамики позволяет использовать произвольную декартову топологию для декомпозиции расчетной области. Такая организация вычислений имеет потенциально бесконечную масштабируемость. В коде AstroPhi используется многоуровневая одномерная декомпозиция расчетной области. По одной координате внешнее одномерное разрезание происходит средствами технологии MPI, внутри каждой подобласти разрезание происходит средствами OpenMP, адаптированного для MIC-архитектур (рис. ~\ref{decomposition.eps}). 
%
% FIGURE 2 \label{decomposition}
%
\fig{scale=0.4}{decomposition.eps}{Схема геометрической декомпозиции в коде AstroPhi}

Такой подход использовался также и в первой версии программного кода AstroPhi \cite{Kulikov_2015} c учетом использования offload режима. Такая декомпозиция связана с топологией и архитектурой гибридного суперЭВМ RSC PetaStream, который был использован для вычислительных экспериментов. 

\subsection{Шаблоны программирования для Intel Xeon Phi}
Для использования Intel Xeon Phi использован регулярный шаблон вычислений, который следует из схемы декомпозиции расчетной области и состоит в распределении работ по нитям (см. рис. ~\ref{mycode.txt}).

\code[10.5cm]{frame=single}{mycode.txt}{Pattern for Intel Xeon Phi procedure}

В листинге приведена заготовка для использования offload режима использования ускорителя Intel Xeon Phi, аналогичный подходу используемому в работе \cite{Kulikov_2015}.

\subsection{Шаблоны сетевых взаимодействий}
Межпроцессное взаимодействие средствами MPI осуществляется с помощью шаблона передачи по двунаправленному списку (см. рис. ~\ref{pattern.txt}) крайних элементов одномерного массива размером $N$ элементов.
\code[10.5cm]{frame=single}{pattern.txt}{Pattern for MPI communications}

Указанный шаблон является очень простым, однако именно на нем построены более сложные межпроцессные  взаимодействия обмена срезами трехмерных массивов.

\section{Исследование производительности}
Для экспериментов были использованы два гибридных суперкомпьютера на основе архитектуры RSC PetaStream: МВС-10П МСЦ РАН (64 ускорителя Intel Xeon Phi 7120 D) и Политехник RSC PetaStream СПбПУ (256 ускорителя Intel Xeon Phi 5120 D). Далее приведем исследования производительности различных подсистем кода: исследование ускорения, масштабируемости, имитационного моделирования масштабируемости, пропускной способности памяти и скорость сетевых коммуникаций. В наших исследованиях вопросы масштабируемости и ускорения были исследованы на обеих архитектурах, вопросы связанные с организацией вычислений были проведены на суперкомпьютере МВС-10П МСЦ РАН. 

В силу разного объема памяти на ускорителях Intel Xeon Phi 7120 D исследование ускорения проводилось на сетке $512^3$, на ускорителях Intel Xeon Phi 5120 D была использована сетка $512 \times 256^2$. Это максимальные размеры сеток, которые могут поместиться в один ускоритель. Для измерения ускорения замерялось время каждого этапа численного метода, в секундах, а затем  вычислялась их сумма при различном числе используемых логических ядер (Threads). Ускорение P (SpeedUp) вычислялось по формуле \ref{speedup}:
\begin{equation}
P = \frac{Total_1}{Total_K}
\label{speedup}
\end{equation}
где $Total_1$ --- время вычислений на одном логическом ядре, $Total_K$ --- время вычислений при использовании $K$ логических ядер. Результаты исследований ускорения для суперкомпьютера МВС-10П МСЦ РАН (JSCC) и Политехник RSC PetaStream СПбПУ (SPb) приведены на рисунке ~\ref{speedup.eps}.

\fig{scale=0.6}{speedup.eps}{Исследование ускорения кода AstroPhi}

Таким образом, было получено 134-кратное ускорение (масштабируемость в сильном смысле) в рамках одного ускорителя Intel Xeon Phi 7120 D и 84-кратное ускорение в рамках одного ускорителя Intel Xeon Phi 5120 D. Такие значения ускорения по всей видимости напрямую связаны с производительностью каждого ускорителя. Так исследования ускорения (и дальнейшей масштабируемости) на суперкомпьютере МВС-10П МСЦ РАН было сделано в апреле 2015 года, а исследования на суперкомпьютере Политехник RSC PetaStream СПбПУ было сделано в ноябре 2015 года.

Проводилось исследование масштабируемости кода AstroPhi на ускорителях Intel Xeon Phi 7120 D на сетке $512p \times 512 \times 512$, на ускорителях Intel Xeon Phi 5120 D была использована сетка $512p \times 256 \times 256$ в обеих случаях использовались четыре логических ядра на каждый ускоритель, где $p$ --- число используемых ускорителей. Таким образом, на каждый ускоритель приходится одинаковый размер подобласти при любом числе исследуемых ускорителей. Для исследования масштабируемости замерялось время каждого этапа численного метода, в секундах, а затем вычислялась их сумма (Total) при различном числе используемых ускорителей Intel Xeon Phi (MIC).  Масштабируемость T (Scalability) вычислялось по формуле 
\begin{equation}
T = \frac{Total_1}{Total_p}
\end{equation}
где $Total_1$ --- время вычислений на одном ускорителе при использовании одного ускорителя, $Total_p$ --- время вычислений на одном ускорителей при использовании $p$ ускорителей. Результаты исследований масштабируемости приведены на рисунке ~\ref{scalability.eps}.

\fig{scale=0.6}{scalability.eps}{Исследование масштабируемости кода AstroPhi}

Таким образом, была получена 92-процентная эффективность (масштабируемость в слабом смысле) на 64 ускорителях Intel Xeon Phi 7120 D и 75-процентная эффективность на 224 ускорителях Intel Xeon Phi 5120 D. Заметим, что эффективность быстрее просаживается на суперкомпьютере СПбПУ, что вероятно связано со сложностью сетевой инфраструктуры и дополнительными сетевыми расходами на организацию обменов.

Особенностью оригинального подхода является возможность простой геометрической декомпозиции расчетной области и последующим обменом граничных значений между только соседними вычислительными узлами. Имитационная модель организации вычислений строится из следующих предположений:
\begin{enumerate}
	\item для нахождения общего времени выполнения вычислений на каждом этапе будем предполагать, что нам известно среднее время вычислений на одну ячейку, таким образом, предполагая однородность вычислений по всей расчетной области; 
	\item в качестве вычислительного узла выбирается ускоритель Intel Xeon Phi полностью, тем самым не моделируется масштабируемость вычислений внутри одного устройства;
	\item время выполнения коммуникаций будем считать линейной функцией от числа передаваемых элементов с учетом латентности;
	\item количество передаваемых элементов, а, следовательно, и время передачи, после каждого из этапов численного метода одинаково;
	\item используется сетевая инфраструктура ССКЦ ИВМиМГ СО РАН; 
	\item используется одномерная декомпозиция расчетной области;
	\item рассматривается только экстенсивность вычислительной системы при сохранении производительности отдельного устройства.
\end{enumerate}
Построенная на таких допущениях имитационная модель кода AstroPhi была смоделирована с помощью комплекса AGNES \cite{Podkorytov_2010} на различном числе модельных ускорителей. Вычислительные эксперимены показали, что программный комплекс AstroPhi может быть с 70-процентной эффективностью масштабируем до одного миллиона вычислительных устройств. Такое число ускорителей соответствует экзафлопсному уровню вычислений. 

\section{Вычислительные эксперименты}

\subsection{Моделирование образования крупномасштабных космологических структур}
С момента времени, соответствующему $z= 99$ будем рассматривать расширяющуюся кубическую область с длиной куба $L = 100/h$ Mpc $ = 3 \times 10^{23}/h$ m, и периодическими граничными условиями по каждому измерению. В качестве характерного значения плотности взято значение $\rho = 1.88 \times 10^{-26} h^2$ kg/m$^3$. Доля темной энергии $\Omega_{\Lambda} = 0.73$, темной материи $\Omega_D = 0.226$, видимой барионной материи $\Omega_B = 0.044$ (в начальный момент времени предполагается отсутствие звезд). Температура газовой компоненты $T = 10^4$ K. Постоянная Хаббла $H = 67.8$ км/сек/мпс. Для задания начальных данных задаются малые флуктуации равномерно распределенной плотности. Для задания случайных возмущений формируется нормальное распределение c амплитудой, соответствующей энергетическому космологическому спектру. Затем выполняется обратное преобразование Фурье. В рамках двухфазной многокомпонентной гидродинамической модели с учетом космологического расширения и подсеточных процессов было смоделировано (см. рис. ~\ref{z0_dark.EPS}) образование крупномасштабных космологических структур --- волос (филаменты в зарубежной литературе), стен (блинчики Я.Б. Зельдовича в российской литературе), скоплений (кластеры в зарубежной литературе) галактик, пустот (войды в зарубежной литературе).
\fig{scale=0.6}{z0_dark.EPS}{Плотность темной материи в моменты $z = 0$} 
В результате вычислительного эксперимента было показано качественное соответствие структуры смоделированного и наблюдаемых скоплений, количественное соответствие масс смоделированных галактик и расстояний между ними с наблюдаемыми значениями.

\subsection{Моделирование образования спиральных рукавов галактик}
Объяснен механизм образования спиральных неустойчивостей в галактическом диске в модели изотермической гидродинамики, приводящий к образованию многорукавных галактик (двух-, четырех- и семирукавная структура) в ходе развития гравитационной неустойчивости. Определены параметры для образования каждого вида галактик (см. рис. \ref{galaxy}).
\begin{figure}
\centering
\begin{minipage}[h]{0.32\linewidth}
\center{ \includegraphics[bb = 0 0 325 262, clip, width=1\linewidth, height=0.9\textwidth]{./arm2.eps} }
\end{minipage}
\hfill
\begin{minipage}[h]{0.32\linewidth}
\center{ \includegraphics[bb = 0 0 325 262, clip, width=1\linewidth, height=0.9\textwidth]{./arm4.eps} }
\end{minipage}
\hfill
\begin{minipage}[h]{0.32\linewidth}
\center{ \includegraphics[bb = 0 0 325 262, clip, width=1\linewidth, height=0.9\textwidth]{./arm7.eps} }
\end{minipage}
\caption{
Cтолбцевая плотность (в $M_{\odot} pc^{-2}$)  двухрукавной (слева), четырехрукавной (посередине) и семирукавной (справа) галактик}
\label{galaxy}
\end{figure}

\subsection{Моделирование образования спиральных рукавов галактик}
Исследована задача образования молекулярных облаков в ходе развития МГД турбулентности (см. рис. \ref{turbulence}).
\begin{figure}[ht]
\centering
\includegraphics[width = 0.6\linewidth]{./turbulence.EPS} 
\caption{Задача развития МГД турбулентности межзвездной среды. На рисунке приведена концентрация газа в см$^{-3}$ в момент времени $t = 15$ млн. лет. После процесса ионизации водорода происходит процесс образования облачных структур. Для вычислительного эксперимента использовалось сетка $512^3$ ячеек.}
\label{turbulence}
\end{figure}
для которой также была проанализирована зависимость альфвеновской скорости от плотности газа (см. рис. \ref{turbulenceanalysis} слева) и косинуса угла колинеарности между векторами скорости и магнитного поля от плотности газа (см. рис \ref{turbulenceanalysis} справа). 
\begin{figure}
\centering
\includegraphics[width = 0.48\linewidth]{./TurbulenceAplhen.EPS} 
\includegraphics[width = 0.48\linewidth]{./TurbulenceCosinus.EPS}
\caption{Задача развития МГД турбулентности межзвездной среды. На рисунках приведена зависимость альфвеновской скорости от плотности газа (слева) и косинуса угла колинеарности между векторами скорости и магнитного поля от плотности газа (справа).}
\label{turbulenceanalysis}
\end{figure}
Из рисунков видно, что для альфвеновского числа Маха прослеживается корреляция $\mathcal{M} \sim n^2$, показанная белой линией и большая часть облака $n > 10$ см$^{-3}$ попадают в сверхальфвеновскую область (см. рис. \ref{turbulenceanalysis} слева). Причина возникновения такого режима связано с самоорганизацией в замагниченной турбулентной межзвездной среде в трансальфеновском режиме $\mathcal{M} \sim 1$ при $n \sim 1$. При таких плотностях (см. рис \ref{turbulenceanalysis} справа) контуры косинуса угла колинеарности между векторами скорости и магнитного поля образуют седловидную структуру, что говорит о том, что сжатие происходит вдоль силовых  линий магнитного поля. Затем за счет влияния самогравитации происходит дальнейшее увеличение массы и плотности облаков. В свою очередь в полученных плотных облаках турбулентность является только сверхальфвеновской с числом 
Маха $\mathcal{M} > 100$. 

\subsection{Задача высоко-скоростного столкновения дисковой галактики с межгалактическим ветром}
В качестве одного из вычислительных экспериментов выбрана задача высоко-скоростного столкновения дисковой галактики с межгалактическим ветром в гидродинамической модели. В результате такого взаимодействия образуется механизм набегающего потока и происходит обтекание с образованием неустойчивостью за галактикой. Образование подобных неустойчивостей и хвостов важны для изучения механизма образования пекулярных галактик и процесса звездообразования \cite{Jaffe_2015,Vollmer_2001}. Дисковая галактика задается равновесной конфигурацией сферического гало с NFW-профилем плотности и равновесным экспонециальным профилем плотности с дифференциальным вращением. Общая масса галактики составляет $M = 10^{13} M_{\odot}$. Скорость набегающего потока составляет $v = 600$ km/sec. Постановка задачи изображена на рисунке ~\ref{rampressure.eps}.

%
% FIGURE 3 \label{astroproblem}
%
\fig{scale=0.4}{rampressure.eps}{Постановка задачи набегания газа на галактику}

Результаты моделирования представлены на рисунке ~\ref{simulation.eps}, которые согласуются с результатами аналогичного моделирования \cite{Vollmer_2001} и наблюдениями \cite{Cayatte_1994}. Расчеты были проведены на последовательности сеток от $896 \times 128 \times 128$ до $7168 \times 1024 \times 1024$. На последней сетке было достигнуто 47 процентов от пиковой скалярной производительности ускорителя Intel Xeon Phi при использовании 53760 нитей.

%
% FIGURE 4 \label{simulation}
%
\fig{scale=0.6}{simulation.eps}{Результаты моделирования. Столбцевая плотность в $M_{\odot} pc^{-2}$}

На рисунке ~\ref{simulation.eps} видно образование хвоста за фронтом галактики, который образуется в следствии набегания газа на галактику.

\section*{Заключение}
В работе были представлены исследования кода AstroPhi для численного моделирования астрофизических течений на гибридных суперЭВМ, оснащенных ускорителями Intel Xeon Phi. Подробно описан со-дизайн вычислительной модели для описания астрофизических объектов. Детально описаны  особенности параллельной реализации и исследования производительности кода AstroPhi. Для кода AstroPhi было достигнуто 134-кратное ускорение в рамках одного ускорителя Intel Xeon Phi, 75-процентная масштабируемость при использовании 224 ускорителей Intel Xeon Phi. Представлены результаты моделирования взаимодействия межгалактического ветра и дисковой галактики. На расчетной сетке $7168 \times 1024 \times 1024$ было достигнуто 47 процентов от пиковой скалярной производительности ускорителя Intel Xeon Phi при использовании 53760 нитей. В будущем планируется разработка векторизованного варианта кода AstroPhi, что позволит получить сверхвысокую производительность вплоть до 1 терафлопса на один ускоритель Intel Xeon Phi.

\vspace{1em}
{\it Работа поддержана грантом Российского фонда фундаментальных исследований 15---31---20150 мол-а-вед, 15---01---00508 и 16---07---00434, грантом Президента РФ MK --- 6648.2015.9. Работа выполнена при частичной поддержке проектной части госзадания № 3.961.2014/К Министерства Образования и Науки Российской Федерации (Э.И. Воробьев).}


\begin{biblio}
	
\bibitem{Tutukov_2011}
Tutukov~A., Lazareva~G., Kulikov~I. Gas Dynamics of a Central Collision of Two Galaxies: Merger, Disruption, Passage, and the Formation of a New Galaxy / A.~Tutukov // Astronomy Reports. 2011. Vol.~55, No.~9. P.~770--783.

\bibitem{Mitchell_2013}
Mitchell~N., Vorobyov~E., Hensler~G. Collisionless Stellar Hydrodynamics as an Efficient Alternative to N-body Methods / N.~Mitchell // Monthly Notices of the Royal Astronomical Society. 2013. V.~428, No.~3. P.~2674--2687.

\bibitem {Ardeljan_1996}
Ardeljan~N.V., Bisnovatyi-Kogan~G.S., Kosmachevskii~G.S., Moiseenko~S.G. An implicit Lagrangian code for the treatment of nonstationary problems in rotating astrophysical bodies / N.V.~Ardeljan // Astronomy and Astrophysics Supplement Series. 1996. Vol.~115. P.~573--594.

\bibitem{Khoperskov_2013}
Khoperskov~S.A, Vasiliev~E.O., Sobolev~A.M., Khoperskov~A.V. The simulation of molecular clouds formation in the Milky Way / S.A.~Khoperskov // Monthly Notices of the Royal Astronomical Society. 2013. Vol.~428. P.~2311--2320.

\bibitem{Fletcher_2011}
Fletcher~A., Beck~R., Shukurov~A., Berkhuijsen~E., Horellou~C. Magnetic fields and spiral arms in the galaxy M51 / A.~Fletcher // Monthly Notices of the Royal Astronomical Society. 2014. Vol.~412. P.~2396--2416.

\bibitem{Kulikov_2014}
Kulikov~I. GPUPEGAS: A New GPU-accelerated Hydrodynamic Code for Numerical Simulations of Interacting Galaxies / I.~Kulikov // The Astrophysical Journal Supplement Series. 2014. Vol.~214, Id.~12.

\bibitem{Kulikov_2015}
Kulikov~I.M., Chernykh~I.G., Snytnikov~A.V., Glinskiy~B.M., Tutukov~A.V. AstroPhi: A code for complex simulation of dynamics of astrophysical objects using hybrid supercomputers / I.M.~Kulikov // Computer Physics Communications. 2015. Vol.~186. P.~71--80.

\bibitem{Kulikov_Chelyabinsk_2013}
Куликов~И.М., Черных~И.Г., Глинский~Б.М. AstroPhi: программный комплекс для моделирования динамики астрофизических объектов на гибридных суперэвм, оснащенных ускорителями Intel Xeon Phi / И.М.~Куликов // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2013. Т.~2, № 4. С. 57--79.  

\bibitem{Glinsky_2015}
Glinskiy~B., Kulikov~I., Snytnikov~A., Romanenko~A., Chernykh~I., Vshivkov~V. Co-design of Parallel Numerical Methods for Plasma Physics and Astrophysics / B.~Glinskiy // Supercomputing frontiers and innovations. 2015. Vol.~1, No.~3. P.~88--98.

\bibitem{Vorobyov_2015}
Vorobyov~E., Recchi~S., Hensler~G. Stellar hydrodynamical modeling of dwarf galaxies: simulation methodology, tests, and first results / E.~Vorobyov // Astronomy \& Astrophysics. 2015. Vol.~579, Id.~A9.

\bibitem{Chernykh_2015}
Kulikov~I., Chernykh~I. Glinskiy~B., Weins~D., Shmelev~A. Astrophysics simulation on RSC massively parallel architecture / I.~Kulikov // Proceedings -- 2015 IEEE/ACM 15th International Symposium on Cluster, Cloud, and Grid Computing, CCGrid 2015. 2015. P.~1131--1134.

\bibitem{Vshivkov_2009}
Vshivkov~V., Lazareva~G., Snytnikov~A., Kulikov~I. Supercomputer Simulation of an Astrophysical Object Collapse by the Fluids-in-Cell Method / V.~Vshivkov // Lecture Notes of Computer Science. 2009. Vol.~5698. P.~414--422.

\bibitem{KulikovBulletin_2015}
Kulikov~I., Chernykh~I., Katysheva~E., Protasov~A., Serenko~A. The numerical simulation of interacting galaxies by means of hybrid supercomputers / I.~Kulikov // Bulletin NCC: Numerical analysis. 2015. Vol.~17. P.~17--33.

\bibitem{Ustyugov_2007}
Popov~M., Ustyugov~S. Piecewise parabolic method on local stencil for gasdynamic simulations / M.~Popov // Computational Mathematics and Mathematical Physics. 2007. Vol.~47, No.~12. P.~1970--1989.

\bibitem{Ustyugov_2008}
Popov~M., Ustyugov~S. Piecewise parabolic method on a local stencil for ideal magnetohydrodynamics / M.~Popov // Computational Mathematics and Mathematical Physics. 2008. Vol.~48, No.~3. P.~477--499.

\bibitem{Vshivkov_2011}
Vshivkov~V., Lazareva~G., Snytnikov~A., Kulikov~I., Tutukov~A. Hydrodynamical code for numerical simulation of the gas components of colliding galaxies / V.~Vshivkov // The Astrophysical Journal Supplement Series. 2011. Vol.~194, Id.~47.

\bibitem{Godunov_2014}
Godunov~S., Kulikov~I. Computation of Discontinuous Solutions of Fluid Dynamics Equations with Entropy Nondecrease Guarantee / S.~Godunov // Computational Mathematics and Mathematical Physics. 2014. Vol.~54. P.~1012--1024.

\bibitem{Vshivkov_2011_2}
Vshivkov~V., Lazareva~G., Snytnikov~A., Kulikov~I., Tutukov~A. Computational methods for ill-posed problems of gravitational gasodynamics / V.~Vshivkov // Journal of Inverse and Ill-posed Problems. Vol.~19, No.~1. P.~151--166.

\bibitem{Birds_2016}
Kulikov~I., Vorobyov~E. Using the PPML approach for constructing a low-dissipation, operator-splitting scheme for numerical simulations of hydrodynamic flows / I.~Kulikov // The Journal of Computational Physics. (submitted, 2016)

\bibitem{Kulikov_2015_book}
Kulikov~I., Chernykh~I., Snytnikov~A., Protasov~V., Tutukov~A., Glinsky~B. Numerical Modelling of Astrophysical Flow on Hybrid Architecture Supercomputers / I.~Kulikov // In Parallel Programming: Practical Aspects, Models and Current Limitations (ed. M. Tarkov). 2015. P.~71--116.

\bibitem{FFTW_2005}
Frigo~M., Johnson~S. The Design and Implementation of FFTW3 / M.~Frigo // Proceedings of the IEEE. 2005. Vol.~93, No.~2. P.~216--231.

\bibitem{Kalinkin_2009}
Kalinkin~A., Laevsky~Y., Gololobov~S. 2D Fast Poisson Solver for High-Performance Computing / A.~Kalinkin // Lecture Notes in Computer Science. 2009. Vol.~5698. P.~112--120.

\bibitem{Schive_2010}
Schive~H., Tsai~Y., Chiueh~T. GAMER: a GPU-accelerated Adaptive-Mesh-Refinement Code for Astrophysics / H.~Schive // The Astrophysical Journal. 2010. Vol.~186. P.~457--484.

\bibitem{Podkorytov_2010}
Podkorytov~D., Rodionov~A., Sokolova~O., Yurgenson~A. Using Agent-Oriented Simulation System AGNES for Evaluation of Sensor Networks / D.~Podkorytov // Lecture Notes of Computer Science. 2010. Vol.~6235. P.~247--250.

\bibitem{Jaffe_2015}
Jaffe~Y.L., Smith~R., Candlish~G., Poggianti~B.M., Sheen~Y.-K., Verheijen~M.A.W. BUDHIES II: A phase-space view of HI gas stripping and star-formation quenching in cluster galaxies / Y.~Jaffe // Monthly Notices of the Royal Astronomical Society. 2015. Vol.~448. P.~1715--1728.

\bibitem{Vollmer_2001}
Vollmer~B., Cayatte~V., Balkowski~C., Duschl~W.J. Ram pressure stripping and galaxy orbits: The case of the Virgo cluster / B.~Vollmer // The Astrophysical Journal. 2001. Vol.~561. P.~708--726.

\bibitem{Cayatte_1994}
Cayatte~V., Kotanyi~C., Balkowski~C., van Gorkom~J.H. A very large array survey of neutral hydrogen in Virgo Cluster spirals. 3: Surface density profiles of the gas / V.~Cayatte // The Astronomical Journal. 1994. Vol.~107, No.~3. P.~1003--1017.
\end{biblio}

%%% Сведения об авторах (фамилия, имя, отчество автора, ученая степень, ученое звание, место работы полностью (подразделение и организация) с указанием в скобках города и страны, адрес электронной почты) %%%
{Куликов Игорь Михайлович,
к.ф.-м.н., % без звания
лаборатория Параллельных алгоритмов решения больших задач,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), kulikov@ssd.sscc.ru}

{Черных Игорь Геннадьевич,
к.ф.-м.н.,
лаборатория Сибирский суперкомпьютерный центр,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), chernykh@parbz.sscc.ru}

{Воробьев Эдуард Игоревич,
к.ф.-м.н., 
Лаборатория космических исследований,
Южный федеральный университет (Ростов-на-Дону, Российская Федерация),eduard.vorobiev@univie.ac.at}

{Снытников Алексей Владимирович,
к.ф.-м.н., % без звания
лаборатория Параллельных алгоритмов решения больших задач,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), snytav@gmail.com}

{Винс Дмитрий Владимирович,
лаборатория Сибирский суперкомпьютерный центр,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), wns.dmitry@gmail.com}

{Московский Александр Александрович,
к.х.н.,
РСК Технологии (Москва, Российская Федерация),moskov@rsc-tech.ru}

{Шмелев Алексей Борисович,
РСК Технологии (Москва, Российская Федерация),alexeysh@rsc-tech.ru}

{Протасов Виктор Александрович,
Новосибирский государственный технический университет (Новосибирск, Российская Федерация),
inc\_13@mail.ru}

{Серенко Александр Андреевич,
Новосибирский государственный технический университет (Новосибирск, Российская Федерация),
fafnur@yandex.ru}

{Ненашев Владислав Евгеньевич,
Новосибирский государственный технический университет (Новосибирск, Российская Федерация),
arni.12@mail.ru}

{Вшивков Виталий Андреевич,
д.ф.-м.н., профессор,
лаборатория Параллельных алгоритмов решения больших задач,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), vsh@ssd.sscc.ru}

{Родионов Алексей Сергеевич,
д.т.н., профессор,
лаборатория Моделирования динамических процессов в информационных сетях,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), alrod@sscc.ru}

{Глинский Борис Михайлович,
д.т.н., профессор,
лаборатория Сибирский суперкомпьютерный центр,
Институт вычислительной математики и математической геофизики Сибирского отделения Российской академии наук (Новосибирск, Российская Федерация), gbm@opg.sscc.ru}


{Тутуков Александр Васильевич,
д.ф.-м.н., профессор,
Отдел физики и эволюции звезд,
Институт Астрономии РАН (Москва, Российская Федерация), atutukov@inasan.ru}
%%% Сведения об авторах (фамилия, имя, отчество автора, ученая степень, ученое звание, место работы полностью (подразделение и организация) с указанием в скобках города и страны, адрес электронной почты) %%%


\clearpage
{\phantom{eee} \hrule \vskip 4 pt}
\classify{} % Код MSC не нужен
%\classify{MSC 00000} % Коды MSC см. http://www.ams.org/msc/
\author{I.M.~Kulikov, I.G.~Chernykh, E.I.~Vorobyov, A.V.~Snytnikov, D.V.~Weins, A.A.~Moskovsky, A.B.~ Shmelev, V.A.~Protasov, A.A.~Serenko, V.E.~Nenashev, V.A.~Vshivkov, A.S.~Rodionov, B.M.~Glinsky, A.V.~ Tutukov}
\title{Numerical Hydrodynamics Simulation of Astrophysical Flows at Intel Xeon Phi supercomputers}
\maketitle{}

\begin{abstract}%
	In this paper we propose a research of AstroPhi code for numerical simulation of astrophysical flows at Intel Xeon Phi supercomputers. The co-design of a computational astrophysics model are described. The parallel implementation and scalability tests of the AstroPhi code are presented. The results of simulation of interaction between intergalactic wind and a disk galaxy are provided. For AstroPhi code 
	a 134x speed-up with one Intel Xeon Phi accelerator and 75\% weak scaling efficiency on 224x Intel Xeon Phi accelerators was obtained. We got peak of performance on a $7168 \times 1024 \times 1024$ mesh size by means 53760 RSC PetaStream threads.
	
	\keywordsen{High performance computing, Numerical astrophysics, Intel Xeon Phi accelerators.}
\end{abstract}

\begin{biblio_lat}
\bibitem{eTutukov_2011}
Tutukov~A., Lazareva~G., Kulikov~I. Gas Dynamics of a Central Collision of Two Galaxies: Merger, Disruption, Passage, and the Formation of a New Galaxy / A.~Tutukov // Astronomy Reports. 2011. Vol.~55, No.~9. P.~770--783.

\bibitem{eMitchell_2013}
Mitchell~N., Vorobyov~E., Hensler~G. Collisionless Stellar Hydrodynamics as an Efficient Alternative to N-body Methods / N.~Mitchell // Monthly Notices of the Royal Astronomical Society. 2013. V.~428, No.~3. P.~2674--2687.

\bibitem {eArdeljan_1996}
Ardeljan~N.V., Bisnovatyi-Kogan~G.S., Kosmachevskii~G.S., Moiseenko~S.G. An implicit Lagrangian code for the treatment of nonstationary problems in rotating astrophysical bodies / N.V.~Ardeljan // Astronomy and Astrophysics Supplement Series. 1996. Vol.~115. P.~573--594.

\bibitem{eKhoperskov_2013}
Khoperskov~S.A, Vasiliev~E.O., Sobolev~A.M., Khoperskov~A.V. The simulation of molecular clouds formation in the Milky Way / S.A.~Khoperskov // Monthly Notices of the Royal Astronomical Society. 2013. Vol.~428. P.~2311--2320.

\bibitem{eFletcher_2011}
Fletcher~A., Beck~R., Shukurov~A., Berkhuijsen~E., Horellou~C. Magnetic fields and spiral arms in the galaxy M51 / A.~Fletcher // Monthly Notices of the Royal Astronomical Society. 2014. Vol.~412. P.~2396--2416.

\bibitem{eKulikov_2014}
Kulikov~I. GPUPEGAS: A New GPU-accelerated Hydrodynamic Code for Numerical Simulations of Interacting Galaxies / I.~Kulikov // The Astrophysical Journal Supplement Series. 2014. Vol.~214, Id.~12.

\bibitem{eKulikov_2015}
Kulikov~I.M., Chernykh~I.G., Snytnikov~A.V., Glinskiy~B.M., Tutukov~A.V. AstroPhi: A code for complex simulation of dynamics of astrophysical objects using hybrid supercomputers / I.M.~Kulikov // Computer Physics Communications. 2015. Vol.~186. P.~71--80.

\bibitem{eKulikov_Chelyabinsk_2013}
Kulikov~I.M., Chernykh~I.G., Glinskiy~B.M. AstroPhi: a hydrodynamical code for complex modelling of astrophysical objects dynamics by means of hybrid architecture supercomputers on Intel Xeon Phi base / I.M.~Kulikov // Bulletin of The South Ural State University. Series: Computational Mathematics and Software Engineering. 2013. Vol.~2, I. 4. P. 57--79.

\bibitem{eGlinsky_2015}
Glinskiy~B., Kulikov~I., Snytnikov~A., Romanenko~A., Chernykh~I., Vshivkov~V. Co-design of Parallel Numerical Methods for Plasma Physics and Astrophysics / B.~Glinskiy // Supercomputing frontiers and innovations. 2015. Vol.~1, No.~3. P.~88--98.

\bibitem{eVorobyov_2015}
Vorobyov~E., Recchi~S., Hensler~G. Stellar hydrodynamical modeling of dwarf galaxies: simulation methodology, tests, and first results / E.~Vorobyov // Astronomy \& Astrophysics. 2015. Vol.~579, Id.~A9.

\bibitem{eChernykh_2015}
Kulikov~I., Chernykh~I. Glinskiy~B., Weins~D., Shmelev~A. Astrophysics simulation on RSC massively parallel architecture / I.~Kulikov // Proceedings -- 2015 IEEE/ACM 15th International Symposium on Cluster, Cloud, and Grid Computing, CCGrid 2015. 2015. P.~1131--1134.

\bibitem{eVshivkov_2009}
Vshivkov~V., Lazareva~G., Snytnikov~A., Kulikov~I. Supercomputer Simulation of an Astrophysical Object Collapse by the Fluids-in-Cell Method / V.~Vshivkov // Lecture Notes of Computer Science. 2009. Vol.~5698. P.~414--422.

\bibitem{eKulikovBulletin_2015}
Kulikov~I., Chernykh~I., Katysheva~E., Protasov~A., Serenko~A. The numerical simulation of interacting galaxies by means of hybrid supercomputers / I.~Kulikov // Bulletin NCC: Numerical analysis. 2015. Vol.~17. P.~17--33.

\bibitem{eUstyugov_2007}
Popov~M., Ustyugov~S. Piecewise parabolic method on local stencil for gasdynamic simulations / M.~Popov //
Computational Mathematics and Mathematical Physics. 2007. Vol.~47, No.~12. P.~1970--1989.

\bibitem{eUstyugov_2008}
Popov~M., Ustyugov~S. Piecewise parabolic method on a local stencil for ideal magnetohydrodynamics / M.~Popov //
Computational Mathematics and Mathematical Physics. 2008. Vol.~48, No.~3. P.~477--499.

\bibitem{eVshivkov_2011}
Vshivkov~V., Lazareva~G., Snytnikov~A., Kulikov~I., Tutukov~A. Hydrodynamical code for numerical simulation of the gas components of colliding galaxies / V.~Vshivkov // The Astrophysical Journal Supplement Series. 2011. Vol.~194, Id.~47.

\bibitem{eGodunov_2014}
Godunov~S., Kulikov~I. Computation of Discontinuous Solutions of Fluid Dynamics Equations with Entropy Nondecrease Guarantee / S.~Godunov // Computational Mathematics and Mathematical Physics. 2014. Vol.~54. P.~1012--1024.

\bibitem{eVshivkov_2011_2}
Vshivkov~V., Lazareva~G., Snytnikov~A., Kulikov~I., Tutukov~A. Computational methods for ill-posed problems of gravitational gasodynamics / V.~Vshivkov // Journal of Inverse and Ill-posed Problems. Vol.~19, No.~1. P.~151--166.

\bibitem{eBirds_2016}
Kulikov~I., Vorobyov~E. Using the PPML approach for constructing a low-dissipation, operator-splitting scheme for numerical simulations of hydrodynamic flows / I.~Kulikov // The Journal of Computational Physics. (submitted, 2016)

\bibitem{eKulikov_2015_book}
Kulikov~I., Chernykh~I., Snytnikov~A., Protasov~V., Tutukov~A., Glinsky~B. Numerical Modelling of Astrophysical Flow on Hybrid Architecture Supercomputers / I.~Kulikov // In Parallel Programming: Practical Aspects, Models and Current Limitations (ed. M. Tarkov). 2015. P.~71--116.

\bibitem{eFFTW_2005}
Frigo~M., Johnson~S. The Design and Implementation of FFTW3 / M.~Frigo // Proceedings of the IEEE. 2005. Vol.~93, No.~2. P.~216--231.

\bibitem{eKalinkin_2009}
Kalinkin~A., Laevsky~Y., Gololobov~S. 2D Fast Poisson Solver for High-Performance Computing / A.~Kalinkin // Lecture Notes in Computer Science. 2009. Vol.~5698. P.~112--120.

\bibitem{eSchive_2010}
Schive~H., Tsai~Y., Chiueh~T. GAMER: a GPU-accelerated Adaptive-Mesh-Refinement Code for Astrophysics / H.~Schive // The Astrophysical Journal. 2010. Vol.~186. P.~457--484.

\bibitem{ePodkorytov_2010}
Podkorytov~D., Rodionov~A., Sokolova~O., Yurgenson~A. Using Agent-Oriented Simulation System AGNES for Evaluation of Sensor Networks / D.~Podkorytov // Lecture Notes of Computer Science. 2010. Vol.~6235. P.~247--250.

\bibitem{eJaffe_2015}
Jaffe~Y.L., Smith~R., Candlish~G., Poggianti~B.M., Sheen~Y.-K., Verheijen~M.A.W. BUDHIES II: A phase-space view of HI gas stripping and star-formation quenching in cluster galaxies / Y.~Jaffe // Monthly Notices of the Royal Astronomical Society. 2015. Vol.~448. P.~1715--1728.

\bibitem{eVollmer_2001}
Vollmer~B., Cayatte~V., Balkowski~C., Duschl~W.J. Ram pressure stripping and galaxy orbits: The case of the Virgo cluster / B.~Vollmer // The Astrophysical Journal. 2001. Vol.~561. P.~708--726.

\bibitem{eCayatte_1994}
Cayatte~V., Kotanyi~C., Balkowski~C., van Gorkom~J.H. A very large array survey of neutral hydrogen in Virgo Cluster spirals. 3: Surface density profiles of the gas / V.~Cayatte // The Astronomical Journal. 1994. Vol.~107, No.~3. P.~1003--1017.	
\end{biblio_lat}

\end{document}
