A/Bテスト、いつまで続けますか?
A/Bテストで最も重要なのは「有意差が出るまで待つこと」ではありません。「負けパターン(損失を生んでいるパターン)を一刻も早く止めること」です。
統計的な厳密さを追い求めすぎて、明らかにCVRが低いパターンBを1ヶ月も回し続けるのは、ビジネスとして大きな機会損失です。
このツールは、学術的な厳密さよりも「ビジネス判断」を優先し、今のデータで「Go(継続)」か「Stop(停止)」かの意思決定をサポートします。
このツールの使い方
- 訪問数とCV数を入力するだけ: 面倒な計算は一切不要です。
- リアルタイム判定: 入力した瞬間から確率を計算し、グラフ化します。(※判定ボタン推奨)
- 判断に迷わない: 「有意差あり」だけでなく「どっちを止めるべきか」を明確に言語化します。
注意
本ツールは正規分布近似(Z検定)を用いて簡易的に信頼区間を計算しています。サンプル数が極端に少ない場合(例: CV数5回以下など)は、結果のブレが大きくなる可能性があります。あくまで意思決定の補助としてご利用ください。
本ツールは正規分布近似(Z検定)を用いて簡易的に信頼区間を計算しています。サンプル数が極端に少ない場合(例: CV数5回以下など)は、結果のブレが大きくなる可能性があります。あくまで意思決定の補助としてご利用ください。