На основе байесовского подхода к выбору лучшей гипотезы, я предложил коэффициент для выбора лучшей прогнозной модели. Иван Светуньков предложил мне использовать не просто среднюю геометрическую коэффициента детерминации априорного и апостериорного для моделей коэффициента детерминации, а использовать нормированные коэффициенты детерминации.

Мои исследования показали, что нормированный R2 надо использовать только для априорной части коэффициента.

Для того, чтобы получить аргументы, подтверждающие научную значимость нашего с Иваном коэффициента, я проводил сравнительное исследование точности моделей, рекомендуемых BIC и рекомендуемых нашим коэффициентом. Чтобы легче было подводить итоги, я довёл число рядов, на которых считал авторегрессии, до 100.

Вот какие итоги получились.

Для каждого ряда имеется одна своя лучшая модель, которая на проверочном множестве работает лучше всех. Мы эту модель не знаем и с помощью критериев отбора пытаемся её выбрать.

Из 100 случаев критерий BIC выбрал модели, которые на проверке оказались лучшими, только 2 раза.

Из этих же 100 случаев наш критерий выбрал модели, которые оказались лучшими, 13 раз. Отличный результат, не правда ли?

Перед прогнозистом стоит задача выбора лучшей модели из множества возможных либо с помощью информационных критериев (в моём случае BIC), либо с помощью нашего критерия. Какова вероятность того, что выбранная с помощью нашего критерия модель окажется лучше модели по критерию BIC? Считайте сами: в 54 случаях из 100 модель, которую рекомендует наш критерий, даёт более точный прогноз, чем модель, которую рекомендует BIC. В 27 случаях точнее оказалась модель, которую рекомендует BIC, чем та, которую рекомендует наш с Иваном коэффициент. И в 19 случаях оба критерия указали на одну и ту же модель.