Парадокс точности для прогнозной аналитики
Парадокс точности (accuracy) для прогнозной аналитики гласит, что прогнозные модели с меньшим уровнем точности могут обладать большей прогностической силой, чем модели с более высокой точностью.
Точность часто является отправной точкой для анализа качества прогнозирующей модели, а также очевидным критерием прогнозирования.
Точность измеряет отношение правильных прогнозов к общему количеству оцененных случаев. Может показаться очевидным, что это соотношение должно быть ключевым показателем. Однако, прогностическая модель может иметь высокую точность, но быть бесполезной.
Рассмотрим примерную модель прогноза о страховом мошенничестве. В ней будут исследованы все случаи, прогнозируемые моделью как имеющие высокий риск.
Для оценки эффективности модели страховая компания создала выборочный набор данных из 10 000 претензий. Все 10 000 дел в проверочном образце были тщательно проверены, и известно, какие случаи являются мошенническими.
Точность вычисляется по следующей формуле.
A(M) = (TN+TP)/( TN+FP+FN+TP)
где
TN - количество истинно отрицательных случаев,
FP - количество ложноположительных случаев,
FN - количество ложноотрицательных случаев,
TP - количество истинно положительных случаев.
Пусть для заданной модели наблюдаются следующие случаи (Модель М1):
|
|
Прогнозируемые Отрицательные |
Прогнозируемые Положительные |
|
Отрицательные случаи |
9 700 |
150 |
|
Положительные случаи |
50 |
100 |
Рассчитаем точность для этой модели:
A(M1) = (9700+100)/(9700+150+50+100)=98 %
Эта модель, кажется, работает довольно хорошо. Парадокс заключается в том, что точность можно легко улучшить до 98,5%, всегда предсказывая «не мошенничество» (Модель М2).
|
|
Прогнозируемые Отрицательные |
Прогнозируемые Положительные |
|
Отрицательные случаи |
9 850 |
0 |
|
Положительные случаи |
150 |
0 |
A(M2) = (9850+0)/(9850+150+0+0)=98.5 %
Таким образом, в модели М2 уровень неточных прогнозов снижен с 2% до 1,5%. Это
видимое улучшение на 25%.
Но очевидно, что новая модель является совершенно бесполезной. Она не представляет никакой ценности по предотвращению мошенничества для компании. Менее точная модель более полезна, чем более точная модель.
Модельные улучшения не должны измеряться только с точки зрения повышения точности. Конечно, нельзя сказать, что точность совсем не имеет значения, но следует соблюдать осторожность при ее использовании в оценке прогнозных моделей.
