Сергей Макаров

Как рассчитать доверительный интервал для коэффициента конверсии в Excel

Представим, что перед нами стоит задача оптимизировать объявления в рекламной кампании по показателю коэффициента конверсии (далее CR).

confidence_intervals_1
Если судить по данным из таблицы, то наиболее высокий показатель CR у объявлений под номером 1,2 и 4. Объявления 3,5 и 6 с низким CR.

Верны ли эти выводы?

Проблема в том, что CR — это среднее значение. Истинное значение лежит в пределах интервала, который называется доверительным. Чем меньше данных, тем шире интервал.

Чтобы проверить выводы, рассчитаем нижнюю и верхнюю границу доверительного интервала.

Порядок расчета

Выбрать распределение
Для определения доверительного интервала выберем модель распределения вероятностей. Я остановился на бета-распределении. В сравнении с нормальным распределением обладает большей гибкостью, и интервалы для такого распределения легко вычислить в Excel (функция BETA.INV).

Определить вероятность ошибки расчета
Вероятность ошибки в 5% означает, что с вероятностью 95% все измерения коэффициента конверсии попадут в рассчитываемый интервал.

Рассчитать нижнюю границу

=IF(C5=0,0,BETA.INV($C$1/2,C5,B5-C5+1))

Рассчитать верхнюю границу

=IF(C5=B5,1,BETA.INV(1-$C$1/2,C5+1,B5-C5))

confidence_intervals_2

Анализ границ интервалов

Из этих данных получаем только один вывод: с вероятностью 95% у объявления 2 больше показатель CR, чем у 5-го. Чтобы определить минимальный процент выигрыша, вычтем значение CR верхней границы объявления 5 из значения CR нижней границы объявления 2.

CR(2)min - CR(5)max = 0,28%

По остальным объявлениям нельзя сделать достоверных выводов из-за пересечения доверительных интервалов.

Если нужно провести оптимизацию и нет времени ждать данных, то увеличьте вероятность ошибки. Это сузит доверительный интервал.

confidence_intervals_3

Поделиться
Отправить