こんばんは。カケルです。
次の元号が令和に決まったと同時に平成の幕が閉じるのが近づいている実感してきました。
今週は仕事に追われていたのでいつも以上に数字を出しまくりました。
今まで出してきて当たり前に考えているものを記事にしたいと思います。
今回の大きな項目はこちらです。
①公平さ
②初速のスピード
③算出方法について
①公平さ
僕はA/Bテストをやるとき、施策を打ったときの効果検証をすることがよくあるのですが、その時にどういう風に数字を出してるかそれは公平さをしっかりもっていないとミスリードする。
当たり前のことですが、期間は必ず同じ周期にする必要がある。
曜日によって数字が変動がする可能性が高いので、日数が短い比較する時は必ず同じ曜日で検証したほうが良い。
例
土日に集客が多いサイトで土日を含めた施策後の数字場合
土日を含めた施策後の数字
土日を含めない施策前の数字
上記の場合、ミスリードしてコンバージョン率が下がるかもしれない。
また、A/Bテストの場合、流入経路とIMP数が公平でないと計測した方が良い。
一番理想の理想はA/Bテストする経路は一緒でロードバランサーでAとBへ振り分けて検証するのがベストです。
公平にしてない場合はCTRやコンバージョン率を算出する時、数字が小さければ小さいほど、TAPやコンバージョンの1が大きな影響を及ぼします。
ロードバランサーで振り分けるのが難しい場合は期間をずらしてやってみるでも良いと思ってます。
第1週目：AのLP
第2週目：BのLP
上記のやり方だと月末月初で数字が変わってしまう等の問題がありますが、
早く検証したいや運用で回したいという方はこれで行くのが良いかと思います。
時間かけてじっくりやるならば、月の周期も考慮してABテストやれば良いと思います。
Monthlyの周期についてはこちらの記事を参照ください。
②初速のスピード
効果検証は少し間違えても良いので速報値を出してあげたほうが喜ばれる。
優秀なディレクターはリリース直後に初速の数字を気にされる方が多いです。
少し間違えても良いのでざっくりの数値を出してあげることは大切にしてます。
完璧な数字のほうが良いから時間を書けたいや抽出期間が短いからまだ出したくないと言って期限を延ばしていたら意思決定が遅くなります。
まずは数字を出してその中で色々議論して意思決定をしていくことが大切です。
③数字の出し方について
平均を出す時は少しのとり方だけで若干数字が変わるので注意です。
離脱率
Dailyの離脱率の平均
全体のPV / 全体の離脱数
ここでも数字が変わってしまう。
〇〇率を使う時は様々な分母分子が出てくる可能性があるのでそこは色々な視点で検証できるかを考える必要がある。
最後に
僕が数字出す時は依頼されたものも出すことはあるが、自分でこの数字の内訳ってどうなっているのだろうと主体的に色々なものを見ていくことが大切にしてます。
自分が扱っているサービスやものに興味を持って色々なものを探求していくことが大切だと思ってます。
数字を眺めて仮設をしていくが大事だが、自分より優れている人もしくは同等の人と相談しながら連携をとっていくことが大切です。
数字を出す目的は真実や実態を把握するために出す。実態と社内の仮設はどうしてもズレが生じるのでそれを埋めるのは数字だと思っているのでこれからも数字を出し続けます。
DBエンジニアのカケルと申します。
父親が国家公務員だった為、小学校と中学校の入学と卒業した学校が違う為、
環境へ溶け込めるの得意な方です。
学生の頃はバスケをやっており、ランニングが趣味です。
ハーフマラソンは完走経験があるので次はフルマラソンも視野に入れるか検討中。
ハマると2年は続ける傾向あり。
ボーリング2年(ハイスコア238、最高アベレージ170)
スキューバー2年(沖縄、伊豆、グアムでのエントリー経験あり、50本くらい)
ゴルフ2年(最低スコア231、最高スコア117)
仕事はスタートアップ事業の黒字化に向けて、マーケターのサポートしてます。
必要なデータのプラスワンを見出すためには何が必要か？を求めながら仕事してます。
関連記事一覧
コメント ( 0 )
トラックバックは利用できません。
この記事へのコメントはありません。