Верификация прогноза на 24 часа на сайте «Погода 45»

В середине ноября на моём сайте «Погода 45» появился прогноз на 24 часа, в котором указывается ход температуры в течение суток и прогнозируемое количество осадков. Спустя 50 дней после запуска я решил проверить качество этого прогноза по ряду критериев и сопоставить их с другими прогнозами.

О прогнозе

Прогноз на сайте "Погода 45" представляет из себя мультимодельный ансамбль, состоящий из данных модели европейского центра прогнозирования погоды (ECMWF), данных американской компьютерной модели (GFS) и комплексного ансамбля с сайта методического кабинета Гидрометцентра России. В качестве членов комплексного ансамбля взяты глобальные прогнозы, рассчитанные на основе моделей общей циркуляции атмосферы зарубежных метеорологических центров: Великобритании (UKMO), США (NCEP) и Японии (JMA) для "срочной" температуры. Ансамблевый прогноз получен путём статистической обработки результатов включенных моделей. При этом для температуры воздуха привлекается архив прогнозов за предшествующие 20 дней по соответствующим моделям и фактические данные на станции.

Критерии оценки

Исследование проводилось с 17 ноября 2016 по 5 января 2017 года. 50 дней или 400 сроков наблюдения. В качестве оценочных критериев использовалось четыре базовых параметра: оправдываемость в процентах, средняя погрешность в градусах, количество ошибок и завышение/занижение прогнозируемого значения относительно фактического.

В качестве оценки оправдываемости прогноза было использовано наставление по краткосрочным прогнозам погоды общего назначения утверждённое в Росгидромете. В наставлении сказано, что прогноз считается оправдавшимся лишь тогда, когда фактическое значение вписывается в допустимую погрешность в 3 градуса. Например, по прогнозу в 14 часов ожидается температура +10 градусов, тогда допустимым коридором будет считаться интервал от +7 до +13 градусов. По факту температура составила +12 – прогноз оправдался, ему ставится 100%.

В качестве фактических данных были использованы цифры курганской метеостанции с индексом 28661 за аналогичные сроки наблюдения: 2, 5, 8, 11, 14, 17 и 23 часа. Анализировалась только «срочная» температура.

Контрольная модель

В качестве контрольной модели были использованы данные американской компьютерной модели GFS (Global Forecast System), которая на данный момент в списке мировых моделей занимает вторую строчку, после европейской модели (ECMWF). Модель GFS используется на многих зарубежных и русскоязычных сайтах (windguru.cz, worldweatheronline.com, wetteronline.de, kachelmannwetter.com, meteocenter.asia). Как правило, если на сайте используется прогноз сроком свыше 10 суток, значит, в нём наиболее вероятно используются данные американской модели. Это связано с тем, что GFS рассчитывает прогноз на 384 вперед (16 суток), а Европейская модель лишь на 240 часов (10 суток). Но нас будет интересовать только прогноз на следующие сутки.

Результаты исследования

В ходе исследования удалось установить, что ансамблевый прогноз на 24 часа по температуре на сайте «Погода 45» показывает большую эффективность, чем прогноз одной американской модели. Средняя точность ансамблевого прогноза составила 86.5%, что на 7.7% выше, чем у американской модели. Средняя погрешность также оказалась ниже на 0,4 градуса. Из 400 значений американская модель ошиблась 85 раз, в то время как ансамблевый прогноз выдал 54 ошибки. Под ошибкой понимается непопадание фактического значения в интервал допустимой погрешности 3 градуса.

Ансамблевый прогноз на сайте «Погода 45»

Ансамблевый прогноз показывает более высокую оправдываемость в 11 и 23 часа (90% и 92%). Наиболее низкая оправдываемость отмечается в ночные и утренние часы. В 5 и 8 часов – 82%.

Это связано со сложностями расчёта ночного выхолаживания, которое часто отмечается утром. В большинстве случаев в 5 часов прогноз занижает прогнозируемое значение, в среднем на 0.6 градуса.

В целом в прогнозе не выявлена чёткая тенденция к завышению или занижению прогнозов. Среднее занижение составило -0.06, что выводит прогноз в практически нулевое состояние. Максимальное занижение прогноза отмечается лишь в 5 часов утра (-0.6).

Американская компьютерная модель GFS

У американской модели в целом отмечается завышение прогнозов. (+0,31). Сильное завышение фиксируется в ночные и утренние часы, а вот в 17 часов модель занижает значения.

По факту температура чаще оказывается выше, скорее всего это связано с тем, что модель не совсем адекватно рассчитывает прогрев воздуха, особенно в ясную погоду.

В некоторых случаях наблюдается сильное завышение виртуальной высоты снежного покрова и не совсем корректный прогноз облачности.

Вывод

Ансамблевый прогноз показывает большую эффективность, чем одна модель. В тех случаях, когда одна модель завышает показания, другая её компенсирует и выводит конечное значение в допустимый коридор. Аналогичная ситуация отмечается и в случаях с завышением значений. Модели словно дополняют друг друга, выстраивая наиболее вероятный коридор возможных значений. Максимальное количество ошибок было отмечено в переходные периоды, когда одна воздушная масса сменяла другую. В таких случаях моделям гораздо сложнее рассчитать поведение переходной зоны между тёплым и холодным воздухом. Сразу же после «погружения» станции в воздушную массу, точность резко возрастает.