Смена плана — 2016 год, и HTCondor готовится к новому столкновению: помогая ученым обнаруживать гравитационные волны, вызванные 1,3 миллиарда лет назад столкновением двух черных дыр, в 30 раз массивнее нашего Солнца.Программное обеспечение HTCondor High Throughput Computing (HTC) оказалось незаменимым для обработки обширных и сложных данных, производимых крупной международной наукой, от обнаружения бозона Хиггса, одной из мельчайших частиц, известных науке, до обнаружения невероятно массивной астрофизики черных дыр. Ученые-компьютерщики из Университета Висконсин-Мэдисон первыми разработали эти распределенные вычислительные технологии с высокой пропускной способностью за последние три десятилетия.Объявление в феврале о том, что ученые из обсерватории гравитационных волн с лазерным интерферометром (LIGO) открыли последнюю дверь в Теорию относительности Альберта Эйнштейна — доказательство того, что гравитационные волны вызывают рябь в пространстве и времени — имеет богатую предысторию, связанную с HTCondor.
С 2004 года HTCondor является основной частью проекта по анализу данных, в котором участвуют более 1000 ученых из 80 организаций из 15 стран.Судя по цифрам, более 700 ученых LIGO использовали HTCondor за последние 12 лет для запуска сложных рабочих процессов анализа данных на вычислительных ресурсах, разбросанных по США и Европе.
Около 50 миллионов часов работы в ядре, которыми HTCondor управляла только за последние шесть месяцев, подтвердили анализ данных, который привел к обнаружению, о котором сообщалось в документах за февраль 2016 года.Путь HTCondor к LIGO был проложен благодаря сотрудничеству, начавшемуся более десяти лет назад между двумя командами Университета Висконсина — командой LIGO из 29 человек в UW-Milwaukee и командой HTCondor в UW-Madison. Это междисциплинарное сотрудничество помогло преобразовать вычислительную модель LIGO и продвинуть вперед современные достижения HTC.Команду HTCondor возглавляет Мирон Ливни, профессор компьютерных наук из Мэдисона и технический директор Исследовательского института Моргриджа и Висконсинского института открытий.
В программном обеспечении HTCondor реализованы инновационные вычислительные технологии с высокой пропускной способностью, которые используют мощность десятков тысяч сетевых компьютеров для выполнения больших ансамблей вычислительных задач.«У нас есть опыт двух школ UW System, объединившихся для решения сложной проблемы анализа данных», — говорит Томас Даунс, старший научный сотрудник физики UW-Milwaukee и исследователь LIGO. «Проблема заключалась в том, как управлять тысячами и тысячами взаимосвязанных заданий по анализу данных таким образом, чтобы ученые могли эффективно их использовать? И ее было гораздо легче решить, потому что Милуоки и Мэдисон находятся прямо напротив друг друга».Команда UW-Milwaukee начала использовать HTCondor в начале 2000-х в рамках проекта NSF по исследованиям информационных технологий (ITR).
Его тогдашний ведущий ученый Брюс Аллен получил должность директора Института гравитационной физики Альберта Эйнштейна в Ганновере, Германия, одного из ведущих центров проекта LIGO. Дункан Браун, затем доктор философии по физике в Милуоки. кандидат, стал профессором физики в Сиракузском университете, возглавляя усилия этого университета по LIGO.Аллен, Браун и другие много работали в Милуоки, чтобы продемонстрировать ценность подхода HTCondor к миссии LIGO, что в конечном итоге привело к его внедрению на других сайтах LIGO. HTCondor вскоре стала технологией для основных групп данных LIGO в UW-Milwaukee, Сиракузском университете, Институте Альберта Эйнштейна, Калифорнийском технологическом институте (Caltech) и Кардиффском университете в Великобритании.
Питер Куварес всесторонне рассматривает отношения HTCondor и LIGO. Он работал в команде HTCondor в течение 10 лет в UW-Madison и управлял отношениями между LIGO и HTCondor в течение примерно пяти лет после того, как присоединился к команде LIGO, возглавляемой Брауном в Сиракузах.
Сегодня он является старшим научным сотрудником Калифорнийского технологического института, управляющим командой LIGO, занимающейся анализом данных.Почему программное обеспечение HTCondor является таким благом для таких крупных научных исследований, как LIGO?«Мы знаем, что это сработает — это отличная особенность HTCondor», — говорит Куварес.Это работает, добавляет он, потому что HTCondor серьезно относится к основной проблеме распределенных вычислений: невозможно предположить, что сеть из тысяч отдельных компьютеров не будет иметь локальных сбоев.
HTCondor закладывает это предположение в свое основное программное обеспечение.«Команда HTCondor всегда просит людей заранее подумать о проблемах, которые могут возникнуть в реальных производственных средах, и они хороши в том, чтобы не позволять пользователям HTCondor использовать ярлыки или делать неверные предположения», — добавляет Куварес.В таком проекте, как LIGO, этот подход особенно важен. Постоянный поток данных от детекторов LIGO представляет собой смесь гравитационной информации и шума, такого как сейсмическая активность, ветер, температура и свет, — все это помогает определять и различать как хорошие, так и плохие данные.
«В отсутствие шума это был бы очень простой поиск», — говорит Куварес. «Но хитрость заключается в том, чтобы вытащить иголку из стога шума. Самая большая уловка при анализе данных в LIGO — придумать лучшее соотношение сигнал / шум».Стюарт Андерсон, старший научный сотрудник LIGO в Калтехе, более десяти лет поддерживает использование HTCondor в LIGO. По его словам, причина успеха HTCondor связана не столько с технологиями, сколько с человеческим фактором.
«Команда HTCondor обеспечивает такой уровень долгосрочного сотрудничества и поддержки в кибер-инфраструктуре, которого я больше нигде не видел», — говорит он. «Команда предоставила высочайшее качество технических знаний, коммуникативных навыков и совместного решения проблем, с которыми я имел честь или работал».Тодд Танненбаум, нынешний технический руководитель HTCondor, который тесно сотрудничает с Андерсоном и Куваресом, добавляет: «Наши отношения с LIGO взаимовыгодны. Улучшения, внесенные в наши отношения с LIGO, принесли огромную пользу HTCondor и всему сообществу высокопроизводительных вычислений».Эва Дилман, доцент и директор по исследованиям Института информационных наук Университета Южной Калифорнии (ISI), стала сотрудничать с HTCondor в 2001 году, когда она запустила Pegasus, систему, которая автоматизирует рабочий процесс для ученых, использующих такие системы, как HTCondor.
Вместе Pegasus и HTCondor помогают снизить технологические барьеры для ученых.«Я думаю, что автоматизация и надежность, обеспечиваемые Pegasus и HTCondor, являются ключом к тому, чтобы ученые могли сосредоточиться на своей науке, а не на деталях лежащей в основе кибер-инфраструктуры и ее неизбежных сбоях», — говорит она.Будущее LIGO невероятно захватывающее, и лежащие в основе технологии высокопроизводительных вычислений HTCondor будут меняться вместе с наукой и компьютерными технологиями.
Большинство согласны с тем, что с первоначальным наблюдением гравитационных волн Вселенная ожидает потенциальное цунами данных.«Область гравитационно-волновой астрономии только началась, — говорит Куварес. «Это был физический и инженерный эксперимент. Теперь это астрономия, где мы видим вещи.
В течение 20 лет LIGO пыталась найти иголку в стоге сена. Теперь мы собираемся построить фабрику по обнаружению игл».Ливни добавляет: «То, что началось 15 лет назад как местное сотрудничество Мэдисон-Милуоки, превратилось в вычислительную основу для новой области астрономии. Мы готовы и стремимся удовлетворить растущие потребности HTC в этой новой области.
Сотрудничая с учеными из других стран. Благодаря международным усилиям, в рамках которых используются различные технологии, от детектора нейтрино на Южном полюсе (IceCube) до плавающего в космосе телескопа (Hubble) для сбора данных о нашей Вселенной, HTC будет продолжать поддерживать научные открытия ».