A/Bテスト計算ツールで統計的有意性を求める

A/Bテストを行う場合は、統計的有意性を計算して、結果が偶然によるものではないことを証明することが重要です。 

上記のSurveyMonkeyのA/Bテスト有意差計算ツールを使うと、すばやく答えが見つかります。

A/Bテスト（スプリットテストともいう）は、製品コンセプトや広告クリエイティブなどを2種類提示してパフォーマンスを比較し、ターゲット層にとってどちらがより魅力的かを調べます。

リサーチャーやCX担当者、マーケターは、Webサイトに新しいボタンを追加するときや、ホームページのデザインを変えるときなど、小さな変更をテストする際にA/Bテストを使用します。A/Bテストでは、どのバージョンを採用すべきかの指針となるフィードバックやデータが直接手に入ります。 

A/Bテストにおける統計的有意性とは、コントロールバージョンとテストバージョンに見られる差が、誤差や偶然に起因しない確かなものである可能性の高さを示します。

たとえば、95%の有意水準でテストを実施した場合、差が実際にあることを95%確信できます。

統計的有意性からは、テストが会社のコンバージョンレートにどのように影響するかを確認できます。アンケートにおける統計的有意性は、結果の信頼性を示します。 

たとえば、消費者を対象に、広告コンセプトのAとBのどちらが好きかをアンケートで調べた場合、結果にしたがって採用する広告コンセプトを決める前に、結果に見られる差が統計的に有意であることを確認すべきでしょう。

まず、仮説を立てる必要があります。どのような実験を行う場合でも、帰無仮説は、「比較する2つのものの間に関係がない」という仮説です。

あなたが実証したい仮説は、それに対する対立仮説であり、「2つの対象物の間に関係性がある」というものです。

たとえば、コンバージョンレートのA/Bテストを実施するとしましょう。次のような仮説を立てます。

統計の分野では、帰無仮説と対立仮説を立てた後、仮説に問題がないかを確認するために検定を行うことがあります。

Zスコアは、信頼水準を示し、帰無仮説の妥当性を評価します。これにより、比較対象の間に実際に関係がないかがわかります。p値は、対立仮説を証明する必要のある証拠が強力であるかどうかを示します。

次に、片側検定にするか、両側検定にするかを決めます。片側検定は、対立仮説が方向性効果を与えると想定しますが、両側検定は、仮説が結果に悪影響を与える可能性があるかどうかも考慮します。

たとえば、コンバージョンレートのA/Bテストの例なら、検定は次のようになります。

次に、A/Bテストを行い、結果を収集します。コントロール（A）バージョンとテスト（B）バージョンの各種指標などです。

この例では、A/Bテストの結果は次のようになります。

次に、Zスコアを計算します。Zスコアは、観測された結果がどれだけ帰無仮説から離れているかを測定したもので、AとBの差が統計的に有意かどうかを判断する上で役立ちます。

加えて、観測された差が偶然によるものである確率を示すp値も計算します。小さいp値は、帰無仮説を棄却するための強い証拠になります。 

この例では

統計的有意性を判断するためには、有意水準（α）を設定します。通常は、0.05（5%）の値を使用し、これが帰無仮説を誤って棄却してしまうリスクの許容レベルとなります。

次に、p値を有意水準と比較します。p値が有意水準より小さい場合は、帰無仮説を棄却し、差は統計的に有意であると結論します。 

この例では、p値が有意水準より小さいため、14%の差は、統計的に有意と考えられます。

さて、結果を解釈する段階です。有意な結果が出た場合は、観測された差が偶然に起因する可能性が低いことを示し、対立仮説を支持するための証拠となります。有意でない結果が出た場合は、帰無仮説を棄却するには証拠が十分でないことを示し、観測された差がランダムな変動に起因する可能性が高いことを意味します。

次のような計算ツールを使用すると、効率的にプロセスを進めることができます。

かいつまんで言えば、統計的有意性は、A/Bテスト有意差計算の結果を検証するものです。A/Bテストの結果を使って情報に基づいた決定を下すためには、統計的有意性を考慮することが重要です。

ページ冒頭にある計算ツールを使用して、アンケート結果の有意性を自動的に計算してみましょう。