信頼区間を使って有意差をつける

数学の勉強みたいな内容ですが、数字の比較するときにこちらは便利と思ったので記事にします。

ABテストして、コンバージョン率を算出したのですが、日によってAが良かったり、Bが良かったりして、有意差がわからないってことが稀に発生します。

そんな時に信頼区間を使ったら、有意差がわかりやすいです。

計算式は下記の通りらしい。

　(X – μ)　÷　√(σ*σ/n)

僕も理系でしたが、この数式を見てもピンとこなかったので、もっとわかりやすいものを使いたいと思います。

　(分子 / 分母) ± (1.96 / 分母 * sqrt( 分子 * (分母 – 分子)) / 分母))

上記でもわからない人もいるかも知れないんで具体的にCTRを比較するときの計算式はこんな感じです。

※CTR = click / imp

CTR + (1.96 / imp * sqrt(click * (imp – click)) / imp))
CTR – (1.96 / imp * sqrt(click * (imp – click)) / imp))

信頼区間のブレ幅の枠に含まれているときは誤差の範囲であるので有意差が出ていないと判別できます。

コンバージョン率を見るときはある程度の母数を見て比較しないと数字が変動が発生します。

ある程度の数字を貯めてから評価することが大切です。

時を待って、数字を出さないと結果がわからないが、試した人は早く効果を知りたい。

このジレンマってずっと起こりうることですよね。

色々なテストをしながら、経験を積んで、結果を見切れるようにしていきます。

カケル

DBエンジニアのカケルと申します。

父親が国家公務員だった為、小学校と中学校の入学と卒業した学校が違う為、
環境へ溶け込めるの得意な方です。

学生の頃はバスケをやっており、ランニングが趣味です。
ハーフマラソンは完走経験があるので次はフルマラソンも視野に入れるか検討中。

ハマると2年は続ける傾向あり。
ボーリング2年(ハイスコア238、最高アベレージ170)
スキューバー2年(沖縄、伊豆、グアムでのエントリー経験あり、50本くらい)
ゴルフ2年(最低スコア231、最高スコア117)

仕事はスタートアップ事業の黒字化に向けて、マーケターのサポートしてます。

必要なデータのプラスワンを見出すためには何が必要か？を求めながら仕事してます。