A/B テスト計算ツール

A/Bテストの実験において、統計的有意性とは、実験のコントロールバージョンと、テストバージョンの差異が、エラーや偶発性に起因しない可能性の高さを示します。

たとえば、95%の有意性レベルのテストを実施した場合、差異が実際にあることを95%確信できます。

ビジネスにおいては、実験がCVR（顧客転換率）にどのように影響するかを確認するために使用されることが多く、アンケートにおいては、アンケート結果にどの程度信頼性をおけるかを確認する方法として通常は使用されます。たとえば、広告コンセプトAと広告コンセプトBのどちらが好きかをアンケートした場合、採用するコンセプトを決定する前に、アンケート結果の差異が統計的に有意であるかを確認したくなるものです。

最初のステップは、仮説を立てることです。どのような実験でも、比較対象の間に何の関係もないとする帰無仮説と、対立仮説があります。対立仮説とは、関係を証明しようとするもので、あなたがこれから裏付けにする理論です。CVRのA/Bテストに関していうと、仮説としては、あるページにボタンや画像、宣伝コピーなどを加え、CVRに影響するかを確認することが考えられます。上記の例のようにコンセプトテストに関するアンケートを使用する場合は、さまざまな広告バリエーションをテストし、どれが最も魅力的かを調べることで仮説を立てるでしょう。

統計学者は、帰無仮説と対立仮説を立てたあと、仮説に問題がないかを確認するために検定を行うことがあります。Zスコアは帰無仮説の妥当性を評価し、比較対象の間に実際に関係がないかがわかります。p値は、対立仮説を証明する必要のある証拠が強力であるかどうかを示します。

統計的有意性検定を実行する場合、片側検定にするか、両側検定にするかをあらかじめ決めておくと便利です。片側検定は、対立仮説が方向性効果を与えると想定しますが、両側検定は、仮説が結果に悪影響を与える可能性があるかどうかも考慮します。一般的に、両側検定の方が手堅い選択です。

プロの統計学者でも、有意性やそのバックアップとなる検定を計算するために、統計モデリングソフトウェアを使用しているので、これ以上は深く掘り下げませんが、もしあなたがA/Bテストを実施する場合は、ページ上部にある計算ツールを使えば、結果の統計的有意性が計算できます。SurveyMonkeyでは、アンケート結果の有意性の計算を自動で行うことも可能です。