Код Cosmos помогает исследовать космические странности: программа XSEDE ECSS помогает оптимизировать код астрофизики для процессоров Knights Landing на суперкомпьютере Stampede2

Компьютерный код под названием Cosmos теперь используется для суперкомпьютерного моделирования струй черных дыр и начинает раскрывать тайны черных дыр и другие космические странности.«Космос, корень названия, произошел от того факта, что код изначально был разработан для космологии.

Он превратился в широкий спектр астрофизики», — объяснил Крис Фрагайл, профессор кафедры физики и астрономии Колледжа Чарльстон. Fragile участвовал в разработке кода Cosmos в 2005 году, работая исследователем с докторской степенью в Ливерморской национальной лаборатории Лоуренса (LLNL) вместе со Стивеном Мюрреем (LLNL) и Питером Анниносом (LLNL).Хрупкий указал, что Космос дает астрофизикам преимущество, потому что он остается в авангарде общей релятивистской магнитогидродинамики (МГД). МГД-моделирование, магнетизм электропроводящих жидкостей, таких как струи черных дыр, добавляют уровень понимания, но, как известно, трудны даже для самых быстрых суперкомпьютеров.

«Другая область, в которой Cosmos всегда имел некоторое преимущество, — это то, что в ней много пакетов физики», — продолжил Fragile. «Это было первоначальной мотивацией Питера Анниноса, так как он хотел один вычислительный инструмент, в который он мог бы вложить все, над чем он работал на протяжении многих лет». Fragile перечислил некоторые из пакетов, которые включают химию, ядерное сжигание, ньютоновскую гравитацию, релятивистскую гравитацию и даже радиацию и радиационное охлаждение. «Это довольно уникальное сочетание», — сказал Fragile.Текущая версия кода — CosmosDG, использующая прерывистые методы Геларкина. «Вы берете физическую область, которую хотите смоделировать, — объяснил Хрупкий, — и разбиваете ее на кучу маленьких, крошечных вычислительных ячеек или зон. Вы в основном решаете уравнения гидродинамики в каждой из этих зон. . " Согласно результатам, опубликованным в Astrophysical Journal в августе 2017 года, CosmosDG позволил добиться гораздо более высокого порядка точности, чем когда-либо прежде.

«Мы смогли продемонстрировать, что достигли на много порядков более точных решений в том же количестве вычислительных зон», — заявил Фрагайл. «Таким образом, особенно в сценариях, где вам нужны очень точные решения, CosmosDG может быть способом получить это с меньшими вычислительными затратами, чем нам пришлось бы использовать с предыдущими методами».XSEDE ECSS помогает Cosmos развиватьсяС 2008 года Техасский центр передовых вычислений (TACC) предоставил вычислительные ресурсы для разработки кода Cosmos — около 6,5 миллионов часов ядра суперкомпьютера в системе Ranger и 3,6 миллиона часов ядра в системе Stampede.

XSEDE, eXtreme Science and Engineering Discovery Environment, финансируемая Национальным научным фондом, предоставила группе Fragile грант.«Я не могу достаточно похвалить, насколько значимы ресурсы XSEDE, — сказал Фрагайл. «Наука, которой я занимаюсь, была бы невозможна без таких ресурсов.

Такой объем ресурсов, безусловно, никогда не смог бы поддержать такое небольшое учреждение, как мое. иначе не было бы сделано ".И дело в том, что занятые ученые иногда могут работать со своим кодом рукой. Помимо доступа, XSEDE также предоставляет пул экспертов в рамках расширенных служб совместной поддержки (ECSS), чтобы помочь исследователям в полной мере использовать преимущества некоторых из самых мощных суперкомпьютеров в мире.Fragile недавно заручился поддержкой XSEDE ECSS для оптимизации кода CosmosDG для Stampede2, суперкомпьютера, способного выполнять 18 петафлопс и флагмана TACC в Техасском университете в Остине.

Stampede2 включает 4200 узлов Knights Landing (KNL) и 1736 узлов Intel Xeon Skylake.Воспользовавшись приземлением рыцарей и паническим бегом2

По словам Деймона Макдугалла, научного сотрудника TACC, а также Института вычислительной инженерии и наук в Остине, многоядерная архитектура KNL ставит перед исследователями новые задачи, пытающиеся добиться максимальной вычислительной производительности. Каждый узел Stampede2 KNL имеет 68 ядер, с четырьмя аппаратными потоками на ядро. Это много движущихся частей, которые нужно координировать.

«Это компьютерный чип с большим количеством ядер по сравнению с некоторыми другими чипами, с которыми можно было бы взаимодействовать в других системах», — пояснил Макдугалл. «Больше внимания необходимо уделять разработке программного обеспечения для эффективной работы на этих типах микросхем».С помощью ECSS Макдугалл помог Fragile оптимизировать CosmosDG для Stampede2. «Мы продвигаем определенный тип параллелизма, называемый гибридным параллелизмом, при котором вы можете смешивать протоколы интерфейса передачи сообщений (MPI), который является способом передачи сообщений между вычислительными узлами, и OpenMP, который является способом связи на одном вычислительном узле. , — сказал Макдугалл. «Смешивание этих двух параллельных парадигм — это то, что мы поощряем для этих типов архитектур.

Это тип совета, который мы можем дать и помочь ученым реализовать на Stampede2 через программу ECSS».«За счет сокращения объема коммуникаций, который вам нужно делать, — сказал Фрагайл, — это одна из идей о том, откуда вы получите выгоду от Stampede2. Но это означает, что нужно немного поработать для устаревших кодов, таких как наш, которые не были созданы. чтобы использовать OpenMP. Мы должны модифицировать наш код, чтобы включить в него некоторые вызовы OpenMP.

Это одна из вещей, которые Дэймон помог нам сделать этот переход как можно более плавным ».Макдугалл охарактеризовал работу ECSS с CosmosDG как «очень зарождающуюся и продолжающуюся», с большой начальной работой по отслеживанию «горячих точек» распределения памяти, в которых код замедляется.

«Одна из вещей, в которой Дэймон Макдугалл действительно помог, — это помочь нам сделать коды более эффективными и помочь нам более эффективно использовать ресурсы XSEDE, чтобы мы могли заниматься еще большей наукой с тем уровнем ресурсов, который нам предоставляют, "Хрупкий добавил.Колебание черной дырыЧасть науки, которую Fragile и его коллеги уже сделали с помощью кода Cosmos, помогла изучить аккрецию, падение молекулярных газов и космического мусора в черную дыру. Его струи питаются от аккреции черной дыры. «Я думаю, что одна из вещей, которыми я наиболее известен, — это изучение аккреционных дисков, в которых диск наклонен», — объяснил Фрагайл.

Черные дыры вращаются. То же самое и с диском из газов и мусора, который окружает его и падает внутрь.

Однако они вращаются по разным осям вращения. «Мы были первыми, кто изучил случаи, когда ось вращения диска не совпадает с осью вращения черной дыры», — сказал Фрагайл. Общая теория относительности показывает, что вращающиеся тела могут оказывать крутящий момент на другие вращающиеся тела, которые не выровнены с ним.

Моделирование Хрупайла показало колебания черной дыры, движение, называемое прецессией, из-за крутящего момента вращающегося аккреционного диска. "По-настоящему интересно то, что за последние пять лет или около того наблюдатели — люди, которые фактически используют телескопы для изучения систем черных дыр — увидели доказательства того, что диски могут действительно делать ту прецессию, которую мы впервые показали в наших симуляциях. , "Сказал Хрупкий.Fragile и его коллеги используют код Cosmos для изучения других космических странностей, таких как приливные сбои, которые происходят, когда молекулярное облако или звезда проходит достаточно близко, чтобы черная дыра разорвала их на части. Другие примеры включают Объект Минковского, где моделирование Cosmos поддерживает наблюдения, что струя черной дыры сталкивается с молекулярным облаком, чтобы вызвать звездообразование.Золотой век астрономии и вычислений«Мы живем в золотой век астрономии», — сказал Фрагайл, имея в виду богатство знаний, полученных с помощью космических телескопов, таких как Хаббл, грядущего космического телескопа Джеймса Уэбба, наземных телескопов, таких как Кек, и других.

По словам Фрагайл, вычисления помогли поддержать успех астрономии. «То, что мы делаем в современной астрономии, невозможно было бы сделать без компьютеров», — заключил он. "Моделирование, которое я делаю, двоякое. Они помогают нам лучше понять сложную физику, лежащую в основе астрофизических явлений. Но они также помогают нам интерпретировать и предсказывать наблюдения, которые либо были, могут быть, либо будут сделаны. в астрономии ».