Федерация Грид-систем Земли, межведомственная инициатива, которая собирает и распространяет данные для прогнозов климата Земли высшего уровня, готовит серию обновлений, которые сделают использование данных проще и быстрее, одновременно улучшая порядок обработки информации.

Федерация, возглавляемая Национальной лабораторией Ок-Риджа Министерства энергетики в сотрудничестве с Аргоннской и Ливерморской национальными лабораториями имени Лоуренса, является неотъемлемой частью некоторых из наиболее важных, действенных и широко уважаемых прогнозов будущего климата Земли: тех, которые были сделаны учеными, работающими в проектах Совместного сопоставления моделей для мирового климата Исследовательская программа.

"Данные ESGF касаются будущего жизни на Земле", - сказал Хоффман. "Предоставляя ученым легкий доступ к полной коллекции международных моделей, ESGF позволяет им сделать самое лучшее предположение о будущей траектории нашего климата".

Ключевая миссия ESGF заключается в поддержке потребностей в данных ученых, которые готовят всеобъемлющие оценки климата Межправительственной группы экспертов Организации Объединенных Наций по изменению климата, публикуемые каждые шесть-семь лет. Данные ESGF лежат в основе знаковых докладов МГЭИК, таких как недавний Шестой отчет об оценке, AR6, и выводы его рабочей группы. Эти данные также используются в специальных докладах МГЭИК, посвященных уязвимости климата, сценариям адаптации и стратегиям смягчения последствий.

Другим важным аспектом миссии ESGF является обеспечение прозрачности, сотрудничества и воспроизводимости научных исследований, учитывая их прямое влияние на исследования климата во всем мире и потенциальное использование при принятии решений.

"Все данные модели земной системы, которые входят в отчеты МГЭИК, и все наиболее важные модели климата со всего мира хранятся в ESGF и становятся доступными благодаря предоставляемым нами сервисам", - сказал Форрест Хоффман, руководитель ESGF и группы вычислительных наук о Земле в ORNL. "Федерация получает данные в руки десятков тысяч исследователей, которые анализируют их и сравнивают с данными наблюдений, чтобы постоянно обновлять наши лучшие прогнозы на будущее".

В новой итерации проекта ESGF ученые-вычислители работают над улучшением обнаружения данных, доступа к ним и их хранения. В работе будут использоваться новейшие программные средства, ресурсы облачных вычислений, самые мощные суперкомпьютеры в мире и сеть энергетических наук Министерства энергетики США, или ESnet. В настоящее время ESnet обеспечивает передачу данных со скоростью 100 гигабит в секунду между национальными лабораториями и подключение к национальным и международным университетам и исследовательским центрам. Обновление, ожидаемое к концу года, увеличит скорость передачи данных ESnet до 400 Гбит/с.

"Мы разработаем и внедрим совершенно новую, модернизированную и кибербезопасную систему для распространения выходных данных модели среди научного сообщества", - сказал Хоффман.

Федерация функционирует как сеть крупных компьютерных узлов, размещенных в Соединенных Штатах и 17 других странах, функционирующих в тандеме как один большой архив данных. ORNL, ANL и LLNL работают над повышением надежности и масштабируемости системы, обеспечивая плавный процесс репликации данных, который гарантирует более широкому научному сообществу доступ к данным от всех партнеров ESGF. ORNL и ANL также разместят двойную резервную копию более чем 10 петабайт (и подсчитывают) совокупных данных и моделей ESGF, используя преимущества вычислительных систем мирового класса, размещенных в лабораториях.

Разработка надежных пользовательских интерфейсов и безопасных архивов

Многолетний проект обновления уже реплицировал существующие данные и предоставляет услуги хранения и вычислений, необходимые для динамической генерации данных для сообщества пользователей, в то время как он создает новую инфраструктуру и сервисы. ESGF разработала дорожную карту для руководства своей работой по разработке.

ORNL привносит значительный опыт работы с большими центрами обработки данных и крупномасштабным моделированием в свою руководящую роль в ESGF. В лаборатории находится вычислительный центр Oak Ridge Leadership Computing Facility, пользовательский центр Управления науки Министерства обороны США, чья вычислительная система Frontier exascale недавно была признана самой быстрой в мире, а также Научный институт изменения климата, который объединяет экспертов по данным, моделистов и экспериментаторов для ускорения понимания изменения климата и его последствий..

"ORNL находится в уникальном положении, поскольку знает о больших данных, а также о климате и служит местом размещения очень крупных центров обработки данных и интерфейсов, которые делают эту информацию легко доступной для ученых по всему миру", - сказал Хоффман.

Вычислительный центр Argonne Leadership предоставляет федерации свои уникальные возможности, а также систему управления данными Globus research, которой для исследовательского сообщества управляет Чикагский университет. Сервисы Globus будут использоваться в обновленном ESGF для аутентификации и для индексации данных, доступа и репликации.

"Терабайты и петабайты, генерируемые современными климатическими моделями, требуют новых подходов к управлению данными и их анализу", - сказал Иэн Фостер, руководитель проекта ANL. "Мы обеспечим не только более быструю загрузку подмножеств данных, но и ранее невозможный анализ данных на суперкомпьютерах ANL и ORNL". ALCF - это пользовательское учреждение Министерства образования и науки США.

Лоуренс Ливермор также привносит в ESGF богатый опыт и возможности в области высокопроизводительных вычислений и центров обработки данных, креативных технологий и программных решений, а также свой опыт в качестве первоначального руководителя ESGF.

"Обновления облегчат и ускорят доступ пользователей к данным, которые могут помочь нам лучше понять, как будет выглядеть климат в будущем", - сказала Саша Эймс, руководитель LLNL в федерации.