A/B テストカルキュレータ

A/Bテストの実験において統計的有意性と言えば、コントロールバージョンとテストバージョンの差異が、エラーや偶然に起因しない可能性の高さを指します。

たとえば、95%の有意水準でテストを実施した場合は、差異が実際の差異であることを95%確信できます。

ビジネスの世界では、実験がCVR（顧客転換率）にどのように影響するかを調べる目的で使用されることが多く、アンケートの世界では、アンケート結果がどの程度信頼できるかを確認する手段として使用されます。たとえば、広告コンセプトAと広告コンセプトBのどちらが好きかをアンケートした場合なら、結果の差異が統計的に有意であることを確かめてから、採用するコンセプトを決定すべきでしょう。

最初のステップは、仮説を立てることです。どのような実験でも、比較対象の間には関係がないとする帰無仮説と、対立仮説があります。対立仮説とは、関係の存在を証明しようとするもので、あなたが裏付けようとする命題です。CVRのA/Bテストについて言えば、ページにボタンや画像、宣伝コピーなどを加えたときに、それがCVRに影響するかどうかを仮説とすることが考えられます。上記の例のようにアンケートを通じてコンセプトテスティングを実施する場合は、異なる広告バリエーションをテストし、どれが最も魅力的かを調べることで仮説を立てます。

統計の世界では、帰無仮説と対立仮説を立てたあと、仮説に問題がないかを確認するために検定を行うことがあります。Zスコアは、帰無仮説の妥当性を評価し、比較対象の間に本当に関係がないときにそれを示してくれます。p値は、対立仮説を支持する証拠が強力であるかどうかを示します。

有意性検定を行う場合、片側検定にするか、両側検定にするかを決めておくと便利です。片側検定は、対立仮説の効果が一方向であると仮定し、両側検定は、仮説の効果が両方向（良い影響と悪い影響）である可能性も考慮します。一般に、両側検定の方が保守的です。

プロの統計学者でも、有意性やそれを裏付ける検定の計算に統計モデリングソフトウェアを使っているぐらいなので、これ以上深く掘り下げるのはよしましょう。もしA/Bテストを実施する場合は、ページ上部にあるカルキュレータを使えば、結果の統計的有意性が計算できます。SurveyMonkeyでは、アンケート結果の有意性を自動計算することも可能です。